«… Мне — было тогда три года. Я помню, как экипаж остановился, как взяли меня на руки (кто[-то] светил, идя впереди) и внесли в комнату, в которой был наполовину разобран пол и виднелись земля и поперечины. В следующей комнате я увидел двух старушек, сидевших перед нагоревшей свечой друг против друга за небольшим столом; они вязали чулки, и обе были в очках. Впоследствии я спрашивал у нашей матери, действительно ли было что-нибудь подобное при первом вступлении нашем в наследственный отцовский приют. Она удостоверила, что всё было точь-в-точь так, и немало подивилась моей памяти. Я сказал ей, что помню еще что-то про пастуха и медные деньги. «И это было дорогой, — сказала она, — дорогой, на одной станции я держала тебя на руках и говорила с маленьким пастухом, которому дала несколько грошей. Не помнишь ли еще, что было в руках у пастуха?» Я не помнил. «В руке у пастуха был кнут» — слово, которое я услыхал тогда в первый раз. Хорошая память всю жизнь составляла одно из главных моих качеств.
Старушки были — бабушка и тетка моего отца».
Здесь поэта опять подводят память и типичное небрежное отношение к прошлому: ни бабушки отца, ни его собственных бабушек давно не было в живых. Однако тетка отца по женской линии Степанида Степановна Грановская, вольноотпущенная крестьянка семьи Некрасовых, действительно жила в доме в Грешневе, занимаясь ведением хозяйства и нянча детей племянника.
Семья поселилась в доме, доставшемся Алексею Сергеевичу при разделе имений. Опись, сделанная в 1815 году, дает его подробное описание: «Господский дом деревянного строения, в нем малых покоев с перегородками восемь, с тремя дверьми растворчатыми плотничьей работы. Печь голландская с лежанкой изразцовая. С семью окошками и с двойными рамами, обиты шпалерами. Наверху светелка с голландской печью… во внутренности выщекотурено, с печью и с лежанкой изразцовой, с семью окошками и двойными рамами. Одни сени и два чулана под одной крышей, покрыты тесом». Из мебели были «стенное зеркало о двух стеклах в рамах красного дерева, под ним конторка, оклеена красным деревом с бронзою ветхой. Шкаф со стеклами, под ним комод с четырьмя ящиками, ветхий… Комод, оклеенный красным деревом, с четырьмя ящиками, ветхий. Один ломберный стол, оклеенный разным деревом с бронзою, внутри обит зеленым сукном, ветхий. Шесть кресел простого дерева под чехлами полосатой затрапезы, ветхие. Одно конопе, обито полосатой затрапезой, ветхое. Стульев деревянных окрашенных двенадцать, с досчатым сиденьем, вообще ветхие. Столов простых два, в том числе один «с полами», ветхие. Два шкафа плотничьей работы, ветхие». Стены украшали «разных картин семнадцать с простыми рамами за стеклами, из оных без стекла», и 20 икон, среди которых — большой образ «Ахтырской Божьей Матери в серебряном окладе под золотом». Имелись и книги: «Псалтырь, один ветхий. Русских разных ветхих шесть. Старых годов календарей пять. Отрывок французского букваря. Две расходные книжки старинные».
При доме имелись усадебные строения, обозначенные в описи как «ветхие»:
«В особливом корпусе баня, со всеми внутренними принадлежностями, покрыта тесом.
Два каретных сарая, конюшня с денником под одной крышей, покрыто тесом.
Амбар с погребом под одной крышей, покрыто тесом.
Флигель с сенями, с принадлежащей к нему кухней, с дверями, с семью окошками и с рамами, под одной крышей, покрыто тесом.
Изба людская, с принадлежащим строением, покрыта соломой.
Скотный двор, при оном две избы с горенкой и два денника, покрыты соломой.
Погреб, покрыт соломой.
Три денника и при оных сарай с голубятней под одной крышей, покрыты соломой.
В саду беседка на столбах, обшита тесом и отчасти покрашена.
Двор с двумя воротами растворчатыми и при одной калитке, обнесен оный и сад досчатым и бревенчатым забором».
В этой обстановке прошло детство Некрасова — до 1842 года значительных изменений ни в дом, ни в усадебные постройки не вносилось. Сразу за забором, огораживавшим усадьбу, «длинная бревенчатая деревня», «начинающаяся столбом с надписью: «Сельцо Грешнево, душ столько-то господ Некрасов[ых]». Сельцо состояло из примерно тридцати дворов, из которых отцу Некрасова принадлежала по разделу только небольшая часть (постепенно со смертью братьев и успехом в тяжбе против сестры в его владение переходили всё новые дворы). За деревней — простые, заурядные пейзажи, привычные глазу русского человека: «местность ровная и плоская, извилистая река (Самарка), за нею перед бесконечным дремучим лесом — пастбища, луга, нивы. Невдалеке река Волга». В усадьбе Некрасову запомнился «старый обширный сад», за усадьбой — Ярославско-Костромской «столбовой почтовый тракт», видная из окон барского дома дорога, «называемая Сибиркой». Из окон можно было видеть «всё, что по ней шло и ехало и было ведомо, начиная с почтовых троек и кончая арестантами, закованными в цепи, в сопровождении конвойных». Так выглядел детский мир Некрасова. Поскольку будущий поэт оказался в нем в четырехлетием возрасте, еще не менее трех-четырех лет значимыми персонажами этого мира были отец, мать, братья и сестры.