Його брати та сестра швидко втішилися. Роджер теж начебто заспокоївся. Проте, хоч до нього й повернулася мова, спогад про матір був темою, якої він ніколи не торкався. Коли хтось із родичів нагадував йому про неї, він замовкав і замикався у своєму німуванні, доки та особа не змінювала тему. Коли йому не спалося, він переживав відчуття, як крізь темряву сумно дивиться на нього обличчя нещасливої Анни Джефсон.
Але хто так і не зміг утішитися й знову стати самим собою, то це капітан Роджер Кейсмент. Позаяк він не був чоловіком темпераментним, і ні Роджер, ні його брати й сестра ніколи не бачили, щоб він виявляв якісь ознаки ніжності у ставленні до їхньої матері, четверо дітей були здивовані тим, якою катастрофою обернулося для їхнього батька зникнення дружини. Він, раніше такий чепурун, тепер ходив одягнений абияк, із щетиною на обличчі, з насупленими бровами й таким неприязним поглядом, ніби діти були винні в його вдівстві. Невдовзі після смерті Анни він вирішив покинути Дублін і послав своїх чотирьох дітей до Ольстеру в Маґерінтемпл-гауз, родовий будинок, у якому відтоді їхній двоюрідний дід по батьківській лінії Джон Кейсмент та його дружина Шарлотта взяли на себе обов’язок виховання братів і сестри, їхній батько, ніби бажаючи відокремитися від них, оселився за сорок кілометрів відтіля в готелі «Адер Армз» у провінції Баллімена, де, як іноді неохоче розповідав їхній двоюрідний дід Джон, капітан Кейсмент, «напівзбожеволівши від болю й самотності», присвячував свої дні та ночі спіритизмові, намагаючись увійти в контакт із мертвою дружиною за допомогою медіумів, карт та скляних куль.
Відтоді Роджер зустрічався з батьком дуже рідко й більше ніколи не чув, щоб той розповів бодай одну історію про Індію або Афганістан. Капітан Роджер Кейсмент помер від сухот 1876 року, через три роки після смерті дружини. Роджерові виповнилося тоді дванадцять років. У єпархіальній школі провінції Баллімена, де він навчався три роки, він був учнем дуже неуважним і регулярно одержував добрі оцінки лише з латини, французької мови та античної історії, бо ці уроки йому подобалися. Він писав вірші, здавався завжди замисленим і поглинав книжки, в яких описувалися подорожі по Африці та на Далекому Сході. Займався спортом, віддаючи перевагу плаванню. У кінці тижня він навідував замок Ґалґорм, що належав родині Янґ, куди його запрошував товариш по школі. Але Роджер проводив більше часу, аніж із ним, із Роуз Мод Янґ, дівчиною вродливою, освіченою і схильною писати, яка мандрувала по рибальських і польових селах провінції Антрим, записуючи поеми, легенди та пісні ґельською мовою. З її уст він уперше почув про епічні битви ірландської міфології. Замок, вимуруваний із чорних каменів із баштами, гербами, димарями та монументальним церковним фасадом, був збудований у сімнадцятому сторіччі Александром Колвілем, теологом із моторошно бридким обличчям, — як видно було на його портреті у вестибюлі, — котрий, як розповідали в Баллімені, уклав угоду з дияволом, і його привид блукав по навколишній місцевості. Тремтячи, кількома місячними ночами Роджер наважувався шукати з ним зустрічі, блукаючи порожніми коридорами та кімнатами, проте жодного разу його не зустрів.
Лише через багато років він призвичаївся почувати себе затишно в Маґерінтемпл-гаузі, родовому будинку Кейсментів, який раніше називався Черчфілд і був парафіяльним домом англіканської парафії Калфейґтрін. Бо протягом тих шістьох років, які він там жив, від дев’яти до п’ятнадцяти років свого віку, з двоюрідним дідом Джоном і двоюрідною бабусею Шарлоттою та іншими родичами по батьківській лінії, він завжди почував себе ніби чужинцем у тому великому особняку, вимуруваному з сірих каменів, з його трьома поверхами, високими шпилями, обвитими плющем стінами, дахами фальшиво готичного стилю та шторами, за якими, здавалося, ховаються привиди. Великі зали, довгі коридори і сходи з потертою оббивкою на дерев’яних перилах та скрипучими приступками поглиблювали його самотність. Натомість він щиро втішався свіжим повітрям між кряжистими в’язами, яворами й абрикосовими деревами, що чинили опір ураганним вітрам, невисокими пологими пагорбами, на яких паслися корови та вівці і з яких було видно містечко Баллікасл, море, спінені рифи біля острова Ретлін, об які розбивався морський прибій, а в ясні сонячні дні — розпливчастий силует Шотландії. Він часто ходив у сусідні села Кушендан і Кушендол, які здавалися сценою стародавніх ірландських легенд і дев’яти ґленів Північної Ірландії, цих вузьких долин, оточених пагорбами, зі скелястими схилами, над вершинами яких описували кола в небі орли, видовище, яке вселяло йому відчуття відваги й екзальтованої радості. Його улюбленою розвагою були мандри по тій суворій землі, населеній старими, як і той краєвид, селянами, декотрі з яких розмовляли між собою стародавньою ірландською мовою, з якої його двоюрідний дід Джон та його друзі жорстоко глузували. Ані Чарлз, ані Том не поділяли його ентузіазму до життя на свіжому повітрі й не втішалися мандрівками ані у відкрите поле, ані на круті вершини арнімських скель; натомість Ніна його розуміла й тому, хоч і була на вісім років старша за нього, складала йому товариство, і з нею він завжди почувався найкраще. З Ніною він ходив у кілька мандрівок до затоки Мерло, оточеної гострими чорними скелями і з кам’янистим пляжем на початку долини біеншеск, спогад про яку супроводжуватиме його протягом усього життя і про яку він завжди згадував у своїх листах до родини, називаючи її «отим куточком раю».