Все начинается с бессвязных, но ярких воспоминаний о младенчестве и раннем детстве — человек помнит, как его отнимали от кормилицы, помнит долгую болезнь, от которой он чуть не умер, — одно солнечное утро, когда ему стало легче, странной формы бутылку рейнвейну, висюльки сосновой смолы в новом деревянном доме и т. д. Самый частый образ — дорога: путешествия считались лекарством. (Подробное описание переездов в сотни верст — к родным, в гости и т. п. — занимает большую часть «Детских годов».) Выздоравливает Сережа после того, как ему становится особенно плохо в большом путешествии и родители, принужденные остановиться в лесу, постлали ему постель в высокой траве, где он и пролежал двенадцать часов, не в силах пошевелиться, и «вдруг точно проснулся». После болезни ребенок испытывает «чувство жалости ко всему страдающему».
С каждым воспоминанием Сережи «сливается постоянное присутствие матери», которая его выходила и любила, может быть поэтому, больше других своих детей.
Последовательные воспоминания начинаются с четырехлетнего возраста. Сережа с родителями и младшей сестрой живут в Уфе. Болезнь «довела до крайней восприимчивости» нервы мальчика. По рассказам няньки, он боится мертвецов, темноты и проч. (разнообразные страхи будут мучить его и дальше). Читать его научили так рано, что он даже не помнит об этом; книга у него была только одна, он знал ее наизусть и каждый день читал вслух сестре; так что когда сосед С. И. Аничков подарил ему «Детское чтение для сердца и разума» Новикова, мальчик, увлекшись книгами, был «точно как помешанный». Особенное впечатление произвели на него статьи, объясняющие гром, снег, метаморфозы насекомых и т. п.
Мать, измученная болезнью Сережи, боялась, что сама заболела чахоткой, родители собрались в Оренбург к хорошему доктору; детей же отвезли в Багрово, к родителям отца. Дорога поразила ребенка: переезд через Белую, собранная галька и окаменелости — «штуфы», большие деревья, ночевки в поле и особенно — рыбная ловля на Деме, которая сразу свела мальчика с ума не меньше чтения, огонь, добытый кремнем, и огонь лучины, родники и т. п. Любопытно все, даже то, «как налипала земля к колесам и потом отваливалась от них толстыми пластами». Отец радуется всему этому вместе с Сережей, а любимая мать, наоборот, равнодушна и даже брезглива.
Встреченные в пути люди не только новы, но и непонятны: непонятна радость родовых багровских крестьян, встретивших семью в деревне Парашине, непонятны отношения крестьян со «страшным» старостой и т. п.; ребенок видит, между прочим, жатву в жару, и это вызывает «невыразимое чувство сострадания».
Патриархальное Багрово не нравится мальчику: дом маленький и печальный, бабушка и тетушка одеты не лучше слуг в Уфе, дед суров и страшен (Сережа был свидетелем одного из его безумных припадков гнева; позже, когда дед увидел, что «маменькин сынок «любит не только мать, но и отца, их отношения с внуком внезапно и резко изменились). Детей гордой невестки, «брезговавшей» Багровом, не любят. В Багрове, до того негостеприимном, что даже кормили детей плохо, брат и сестра прожили с лишком месяц. Сережа развлекается, пугая сестру рассказами о небывалых приключениях и вслух читая ей и своему любимому «дядьке» Евсеичу. Тетушка дала мальчику «Сонник» и какой-то водевиль, сильно подействовавшие на его воображение.
После Багрова возвращение домой так подействовало на мальчика, что он, опять окруженный обшей любовью, вдруг повзрослел. В доме гостят молодые братья матери, военные, окончившие Московский университетский благородный пансион: от них Сережа узнает, что такое стихи, один из дядей рисует и учит этому Сережу, отчего кажется мальчику «высшим существом». С. И. Аничков дарит новые книги: «Анабасис» Ксенофонта и «Детскую библиотеку» Шишкова (которую автор очень хвалит).
Дяди и приятель их адъютант Волков, играя, дразнят мальчика, между прочим, за то, что он не умеет писать; Сережа обижается всерьез и однажды кидается драться; его наказывают и требуют, чтобы он просил прощенья, но мальчик считает себя правым; один в комнате, поставленный в угол, он мечтает и, наконец, заболевает от волнения и усталости. Взрослые пристыжены, и дело кончается общим примирением.
По просьбе Сережи его начинают учить писать, пригласив учителя из народного училища. Однажды, видимо, по чьему-то совету, Сережу посылают туда на урок: грубость и учеников и учителя (который был так ласков с ним дома), порка виноватых очень пугают ребенка.