Вернулся в Россию Николай Ильич в 1814 году, и его назначили адъютантом к командиру корпуса кавалергардского полка, генерал-лейтенанту князю Андрею Ивановичу Горчакову, троюродному брату его матери. В 1817 году Толстого перевели с чином майора в гусарский полк принца Оранского. Причина перевода такова, что Толстой, «имея ревностное желание продолжать службу вашему императорскому величеству во фронте, по недостаточному своему состоянию не имеет возможности продолжать служение в кавалергардском полку». А означало сие, что у графа Толстого крайне стесненное материальное положение и что блистательной военной карьеры не случилось.
В марте 1819 года Николай Толстой «по болезни» ушел в отставку в чине подполковника и вернулся к родителям в Казань, где губернаторствовал его разорившийся отец. В 1821 году, после смерти отца, он вместе с избалованной матушкой, Пелагеей Николаевной, и своей кузиной, приехал в Москву, где поступил на службу в Военно-сиротское отделение при Московском комендантском управлении в должности смотрительского помощника, по факту заместителя директора сиротского приюта. Хотя заведение представляло собой не обычный интернат, а приют для детей военных, жалованье было небольшим, но относительно стабильным, квартирка скромная, и впереди никаких перспектив.
В эти годы на руках у Николая Ильича осталась семья, требующая заботы и немалых финансовых затрат: маменька, привыкшая к роскоши, кузина Татьяна Ергольская, воспитывавшаяся с самого детства вместе с ним, и неудачно вышедшая замуж сестра Александра Толстая, по мужу Остен-Сакен, со своей приемной дочерью Пелагеей. После смерти отца от состояния остались лишь огромные долги. К счастью, младшая сестра Николая Толстого, Пелагея, уже не нуждалась в попечении брата. Она стала женой Владимира Ивановича Юшкова, принадлежавшего к высшему свету Казани. Две родные сестры Николая Толстого сыграют впоследствии важную роль в воспитании малолетнего Левушки.
В таком положении у Николая Ильича была одна надежда – удачный брак. Когда-то граф Толстой питал романтические чувства к своей троюродной сестре, Татьяне Ергольской, и она испытывала взаимную симпатию, но узами брака не спешила себя связывать, прекрасно понимая, что Николай может найти более богатую и выгодную партию, чтобы поправить дела семейства. Так и произошло. Но о сем чуть дальше.
Поговорим пока о чувствах и воспоминаниях самого Льва Николаевича об отце. Да, к великому сожалению, Николай Толстой умер, когда его сыну было девять лет, но память о нем затронула струны души маленького ребенка.
По мнению Льва Толстого, Николай Ильич не был так одухотворен, как мать, и производил впечатление более простой натуры. Возможно, это шло оттого, что матери своей Лев Толстой не помнил и собирал ее образ из рассказов других людей, из прочитанных стихов, из крохотных записочек, и она всегда олицетворяла для него неземной идеал. Отца же он пусть недолго, но знал, он был для него обычным земным человеком.
Так вот. Основными занятиями графа Николая Толстого были: хозяйство, решение насущных дел и проблем прошлых лет, любимая помещичья забава – охота, ружейная и псовая. Занятия явно неинтеллектуальные. Конечно, имелась и библиотека, составленная соответственно духу времени: сочинения французских классиков и книги по истории. Со слов Льва Николаевича, отец «не имел склонности к наукам, но был на уровне образованья людей своего времени». Также Толстой отмечал у своего отца характерное чувство собственного достоинства, юмор и склонность к сочинительству шуток и веселых рассказов.
Внешне Николай Ильич считался привлекательным человеком, «среднего роста, хорошо сложенный, живой сангвиник, с приятным лицом и с всегда грустными глазами». Он быстро и бодро ходит, склонен к некоторой неумеренности в употреблении спиртных напитков, к тому моменту не сильно здоров – все-таки плен и тяготы походного прошлого дают о себе знать.
В произведениях Льва Толстого в его героях всегда присутствуют «настоящность» и жизненность. Причиной этому является колоссальная наблюдательность писателя и использование образов людей, которых он знал в жизни. Не простое использование, а удивительно живое, на стыке эмоций, цветов и звуков. Поэтому отец не мог не стать прототипом некоторых героев Толстого. Его образ и некоторые эпизоды из жизни будут прописаны в Николае Ильиче Ростове («Война и мир») и в отце Николеньки («Детство», «Отрочество», «Юность»).