Дед оставил по себе память как строгий, но умный помещик. Толстой слышал от крестьян о нем только добрые слова, полные похвалы его умелому хозяйствованию. Он всячески заботился об их благосостоянии, справедливо полагая, что благополучие крепостных — залог благополучия барина. В Ясной Поляне он много строил; при кажущейся внешней простоте все возведенное им не только функционально, но и отличается своеобразным изяществом. Хорош был и разбитый им парк. Все это позволило Толстому отметить у деда тонкое эстетическое чувство. Старый воин также любил музыку и содержал для себя и своей дочери небольшой оркестр.
Пути судьбы неисповедимы. На закате жизни дед писателя неожиданно для самого себя сблизился с той самой Варенькой Энгельгардт, о которой некогда неблагосклонно выразился. Она вышла замуж за князя С. Ф. Голицына, на которого посыпались чины и ордена. Оба семейства сдружились до такой степени, что юная княжна Мария была с детства обручена с одним из сыновей Вареньки Энгельгардт — Львом. Л. Н. Толстой считает, что этот молодой человек был предметом единственной подлинной любви его матери. К сожалению, свадьбе не суждено было состояться; жених неожиданно умер от горячки накануне венчания. По семейному преданию, будущий писатель был назван в его память; но сам он этому не особенно верил.
Вскоре после смерти Энгельгардта М. Н. Волконская вышла замуж за сына казанского губернатора Н. И. Толстого. По всеобщему мнению, брак отца и матери писателя был устроен родственниками. Невеста была богатой, но уже не первой молодости. Брак оказался счастливым; молодые поселились в Ясной Поляне. Крестьяне считали своего барина добряком, но находили, что у него уже нет хозяйственной хватки старого князя Волконского. Его любимым занятием была охота.
Первой постройкой в Ясной Поляне был так называемый «дом Волконского». Он стоит с конца XVIII века. Дед писателя выстроил его сразу же по приезде в усадьбу для собственного житья. Это вытянутое одноэтажное строение простой, но не лишенной выразительности архитектуры, по-видимому, с самого начала рассматривалось владельцем как временное пристанище. Действительно, вскоре он приступил к масштабному оборудованию своей вотчины. На высоком месте началось возведение основного усадебного ансамбля. Он состоял из главного дома и двух флигелей. Работа растянулась на годы; старик Волконский не дожил до завершения ее; строительство закончил отец писателя в 1824 году. В прежнем же «доме Волконского» были поселены дворовые.
О главном доме Ясной Поляны можно судить только по старым фотографиям. Он был в три этажа со строгим фронтоном, лишенным каких-либо украшательств. Его поддерживали неизменные восемь дорических колонн, стоявших в ряд по балкону фасада. В этом доме родился Л. Н. Толстой. Но, к сожалению, до наших дней он не дошел. Уже в 1854 году его продали на своз помещику-соседу в село Долгое. К концу века он окончательно обветшал, и накануне Первой мировой войны то, что от него осталось, разобрали. Последний раз Толстой видел его в декабре 1897 года, когда ездил в Долгое, и написал в дневнике об умиленном настроении при виде гибнущего дома и о нахлынувшем рое воспоминаний.
После продажи главным домом стал бывший северо-восточный флигель старого «дома Волконского». Он был значительно перестроен и расширен. Более скромный, он, по-видимому, соответствовал вкусам писателя.
В усадьбе не было церкви, и это особенность Ясной Поляны. Владельцы и крестьяне были прихожанами Никольской церкви в селе Кочаки, находящейся в двух с половиной километрах. Она построена около 1650 года, но последующие «топорные» переделки и прибавления отнюдь не способствовали сохранению ее первоначального облика. Кладбище около церкви стало семейным некрополем Толстых. В фамильном склепе похоронены отец и мать писателя; в 1928 года на это кладбище был перенесен из московского Спасо-Андроньевского монастыря прах «старого князя» Н. С. Волконского.
Л. Н. Толстой был последним из четырех братьев. Правда, разница в возрасте между братьями была небольшая. Старший Николай превосходил Льва всего лишь шестью годами. Уже в детстве он проявил себя человеком замечательных душевных качеств. Л. Н. Толстой вспоминал:
«Он-то, когда нам с братьями было — мне 5, Митеньке 6, Сереже 7 лет, объявил нам, что у него есть тайна, посредством которой, когда она откроется, все люди сделаются счастливыми, не будет ни болезней, никаких неприятностей, никто не будет сердиться и все будут любить друг друга, все сделаются муравейными братьями. (Вероятно, это были Моравские братья, о которых он слышал или читал, но на нашем языке это были муравейные братья.) И я помню, что слово „муравейные“ особенно нравилось, напоминая муравьев в кочке. Мы даже устроили игру в муравейные братья, которая состояла в том, что садились под стулья, загораживали их ящиками, завешивали платками и сидели там в темноте, прижимаясь друг к другу. Я, помню, испытывал особенное чувство любви и умиления и очень любил эту игру.