Его мать умерла, когда ему было полтора года, а отец, когда ему исполнилось девять лет: он шел в Туле по улице и вдруг скончался. Одни говорили, что он умер от удара, а другие, что его отравил его камердинер, так как все наличные деньги его пропали, а именные бумаги, которые были при нем, потом принесла Толстым в Москве какая-то таинственная нищенка. Впоследствии Толстой рассказывал, что смерть отца впервые вызвала в нем чувство религиозного ужаса пред тайной жизни и смерти. Он как-то не верил в смерть и все надеялся среди московской сутолоки на улицах — они переехали в Москву ради образования детей — встретить отца живым. И это чувство неверия в смерть — для него чрезвычайно характерное: ни в ком, кажется, жизнь не била с такой силой, как в нем, — вызывало в нем чувство умиления.
Сироты остались на попечении той бабушки, которая делала руками такие великолепные мыльные пузыри и воспоминание о которой тесно сливалось в душе ребенка с воспоминанием о солнечном осеннем дне, горьком и приятном запахе орешника и хрустении сочных, ядреных орехов. Но и она пробыла с ними недолго. Был какой-то праздник. Маленькие Толстые устроили у себя в комнате веселую потеху: они жгли в ночных горшках бумагу и восхищались этим. И вдруг среди этого веселья в комнату входит их француз-гувернер, Проспер С. Тома, и, не обращая никакого внимания на глупости ребят, с дрожащей нижней челюстью говорит:
— Ваша бабушка умерла!
«… Помню потом, как всем нам сшили новые курточки черного казинета, обшитые белыми тесемками плерез, — рассказывает Толстой. — Страшно было видеть и гробовщиков, сновавших около дома, и потом принесенный гроб с глазетовой крышкой, и строгое лицо бабушки с горбатым носом в белом чепце и белой косынкой на шее, высоко лежащей в гробу на столе, и жалко было видеть слезы тетушек и Пашеньки, но вместе с этим и радовали новые казинетовые курточки с плерезами и соболезнующее отношение к нам окружающих. Помню, как мне было приятно подслушать разговоры каких-то чужих кумушек о нас, говоривших: „круглые сироты — только отец умер, а теперь и бабушка…“».
Отец очень поправил дела деда, но тем не менее состояние их оставалось довольно запутанное, как это было большею частью в помещичьих семьях. Ради экономии часть семьи, меньших, снова отвезли в Ясную, где и стали они жить под надзором доброй тетушки своей Татьяны Александровны, немцев-гувернеров и семинаристов-учителей. Опекуншей над ними была назначена другая их тетушка, графиня А. И. Остен-Сакен.
Семейная жизнь ее была исключительно тяжела: сумасшедший муж, который раз покушался на ее жизнь и серьезно ранил ее, смерть первого и единственного ребенка и одиночество. Толстой так характеризует ее: «Тетушка эта была истинно религиозная женщина. Любимые занятия ее были чтения жития святых, беседы со странниками, юродивыми, монахами, монашенками, из которых некоторые жили всегда в нашем доме, а некоторые только посещали тетушку. В числе почти постоянно живших у нас была монахиня Марья Герасимовна, крестная мать моей сестры, ходившая в молодости странствовать под видом юродивого Иванушки. Крестною матерью сестры Марья Герасимовна была потому, что мать обещала взять ее кумой, если она вымолит у Бога дочь, которую матери очень хотелось иметь после четырех сыновей. Дочь родилась, и Марья Герасимовна была ее крестною матерью, и жила частью в тульском женском монастыре, частью у нас дома.
Тетушка Александра Ильинична не только была внешне религиозна, соблюдала посты, много молилась, общалась с людьми святой жизни, каков был в ее время старец Леонид в Оптиной пустыни, но сама жила истинно христианской жизнью, стараясь не только избегать всякой роскоши и услуг, но стараясь, сколько возможно, служить другим. Денег у нее никогда не было, потому что она раздавала просящим все, что у нее было.
Горничная Гаша, после смерти бабушки перешедшая к тетушке Александре Ильиничне, рассказывала мне, как она во время московской жизни, идя к заутрене, старательно на цыпочках проходила мимо спящей горничной и сама делала все то, что по принятому обычаю делалось горничной. В пище, одежде она была так проста и нетребовательна, как только можно себе представить. Как мне ни неприятно это сказать, я с детства помню особенно кислый запах тетушки Александры Ильиничны, вероятно, происходивший от неряшества ее туалета. И это была та грациозная, с прекрасными голубыми глазами поэтическая Aline, любившая читать и списывать французские стихи, игравшая на арфе и всегда имевшая большой успех на самых больших балах».