Мать будущего поэта, Сара Кеннеди, была последовательницей протестантской секты ирвингиан, основанной радикальным шотландским проповедником Эдвардом Ирвингом, который проповедовал мистическое учение о скором пришествии Христа и необходимости возрождения раннехристианской церкви. По характеру Сара была полной противоположностью мужу — меланхоличной, мечтательной, склонной к мистическим озарениям. Принято считать, что это от нее Джеймс Томсон унаследовал меланхолическую натуру, впечатлительность и бурное воображение. Мать воспитывала его в строгих религиозных правилах: в совсем еще нежном возрасте он должен был заучивать наизусть Вестминстерский краткий катехизис, а единственным его чтением вплоть до переезда в Лондон были популярные в среде ирвингиан духовные гимны и трактаты. Тогда же произошло событие, оставившее свой глубокий след на всей дальнейшей жизни и творчестве Томсона: умерла трехлетняя сестренка Джеймса, заразившись корью от него. Позднее Томсон признавался, что тогда впервые познал отчаяние и печаль, которые уже никогда его не отпускали.
С болезнью кормильца семья стала испытывать серьезные финансовые трудности, и в 1840 году Сара решила перевезти немощного мужа и детей в Лондон. Поселились в Ист Энде, на Мэри-Энн-Стрит, где Сара стала шить на заказ. Ее заработок был единственным доходом семьи Томсонов. Она взялась шить платье для придворных — за такую работу платили больше. Но работа придворной швеи была сезонной: два раза в год (с апреля по конец июля и с октября до Рождества) придворные дамы лихорадочно обновляли туалеты, и в это время портнихи трудились на износ целыми сутками. Летом 1841 года выяснилось, что Сара ждет ребенка, но предрождественский сезон пропустить было нельзя, и она работала наравне с другими швеями. В феврале 1842-го она родила мальчика, названного Джоном Паркером Томсоном, и сразу слегла. Тогда-то и было решено отдать восьмилетнего Джеймса в Каледонскую приютскую школу в Излингтоне, где воспитывались дети шотландских солдат, павших или покалеченных на войне. Сара попросила финансовой помощи у своего земляка, некоего Джеймса Бойда, сахарозаводчика, и уже в декабре 1842 года Джеймс Томсон был зачислен в школу. Через полгода, в мае 1843-го, Сара Кеннеди скончалась — «от водянки», как было указано в свидетельстве о смерти, — а в том же году в рождественском номере «Панча» была напечатана знаменитая «Песня о Рубашке» Томаса Гуда, эпитафия бесчисленным лондонским швеям и портнихам, сгоревшим от непосильного труда: «Швея! За твоею спиною Лишь сумрак шумит дождевой, — Ты медленно бледной рукою Сшиваешь себе для покоя Холстину, что сложена вдвое, — Рубашку для тьмы гробовой…» (Пер. Э. Багрицкого).
Восемь лет, проведенные в Каледонской школе, стали для Томсона самым счастливым временем. Он был одним из лучших учеников в классе: здесь проявились его огромный интерес к книгам и незаурядные математические способности. Томсон покинул школу в августе 1850 года, незадолго до своего шестнадцатилетия. Он хотел устроиться на работу в какой-нибудь банк или торговую компанию, но у него не было денег на период стажировки. Он смог только устроиться монитором еще в одну школу — Королевский военный приют в Челси. Работа монитором была первой ступенью на пути к званию армейского учителя, и Томсон решил выбрать именно эту стезю.
Корпус армейских учителей был сформирован незадолго до того, в 1845 году. Во времена зачисления в школу Томсона учебная работа там уже не базировалась на системе взаимного обучения, хотя берт-ланкастерские школы (названные так по имени основателей этого учебного метода) оставались популярными в Великобритании вплоть до конца XIX века. Если раньше обучение в школе было построено на том, что старшие и более знающие ученики (мониторы) обучают учеников младшего возраста, то с 1847 года, когда на базе Королевского военного приюта была основана «модельная» школа, к процессу обучения были привлечены профессиональные наставники с целью подготовки учителей для британской армии. Отныне после двух лет работы монитором ученик поступал в распоряжение полкового учителя в качестве его ассистента. Через два года он должен был вернуться в Королевский военный приют, чтобы пройти годовую практику, и только после этого допускался до квалификационных экзаменов.
В 1851 году монитор Джеймс Томсон был послан нести службу ассистента учителя в ирландский городок Баллинколлиг, не примечательный ничем, кроме большого порохового завода. Однако там, в Баллинколлиге, Томсон познакомился с человеком, чья дружба определила его жизнь на многие годы. В марте 1852 года в составе 7-го драгунского гвардейского полка в Баллинколлиг прибыл рядовой Чарльз Брэдлаф. Всего на год старше Томсона, этот юноша уже сумел ярко заявить о себе в лондонских вольнодумных кругах. За свои атеистические взгляды он был изгнан из семьи и нашел пристанище в доме Элизабет Шарплз, гражданской жены радикального журналиста Ричарда Карлайла, одного из самых категоричных борцов за свободу печати, проведшего в заключении девять лет по обвинению в богохульстве за распространение атеистической литературы. В свои семнадцать лет Брэдлаф стал активным участником вольнодумных сборищ в доме Элизабет Шарплз. На одном из таких собраний он прочитал лекцию о прошлом, настоящем и будущем теологии — причем председательствовал на том собрании не кто иной, как Джордж Джейкоб Холиок, известный публицист и деятель рабочего движения, введший в обиход термин «секуляризм». В том же 1850 году Брэдлаф опубликовал (под псевдонимом «Иконоборец») брошюру «Несколько слов о христианском вероучении», сочинение яростно антирелигиозное. Но открывавшейся карьере вольнодумного публициста мешало одно ощутимое препятствие: после изгнания из дома у Брэдлафа не осталось никаких средств к существованию, а просить помощи у новообретенных соратников ему не хотелось. Надеясь на то, что его отправят в Индию, где он сможет поправить дела, он записался в армию, но вместо Индии его отправили в Ирландию. Так юный атеист оказался в Баллин-коллиге.