Еще одно из ранних воспоминаний — благоговейное ожидание, когда закончит свою работу обожаемый папа, откроется запретная до поры до времени дверь его кабинета, отец выйдет, подхватит сына на руки, прижмет к груди. Теперь можно зайти в кабинет, взобраться в удобное кресло, оглядеть исписанные листки на столе, горы аккуратно уложенных в стопки книжек с закладками. Трогать без разрешения ничего нельзя — отец поддерживает в своем кабинете идеальный порядок и приучает к порядку Анатолия. Когда он в хорошем настроении, Анатолию разрешается поиграть отцовскими чубуками, посмотреть в красивый бронзовый бинокль. Но главное удовольствие заключается в другом — они садятся вместе на диван и рассматривают картинки роскошных фолиантов. На картинках, проложенных шуршащей папиросной бумагой, закованные в латы всадники скачут с копьями наперевес навстречу друг другу, присягают на верность королю, воюют с сарацинами за гроб господен… Подолгу рассматривал Толя и большую картину над письменным столом отца — привязанного к кресту стройного мужчину истязали какие-то злые люди. Мальчику было страшно, но он сидел словно завороженный и смотрел, как мучается святой, до тех пор, пока жалость и сострадание не заставляли его залиться слезами. Отец очень любил эту картину, и она путешествовала с ним из квартиры в квартиру до самой его смерти. Называлась она «Мучения святого Лаврентия». Когда отец скончался, Анатолий Федорович выкупил ее у кредиторов и подарил младшему брату.
К сожалению, семья редко была в сборе. Отцу приходилось выезжать по делам в Москву. Летом мать с мальчиками жила на даче, чаще всего в Петергофе, а иногда в сельце Кораллово Звенигородского уезда под Москвой.
В 1846 году отец уехал на несколько месяцев за границу. Петербургский военный губернатор писал министру внутренних дел: «Состоящий при Дворянском полку учителем коллежский асессор Федор Алексеевич Кони с высочайшего разрешения уволен и отпущен за границу для излечения болезни сроком на 5-ть месяцев, а потому обратился ко мне с просьбою о выдаче ему заграничного паспорта на отъезд в Германию, Англию и Италию…»
Толя очень скучал. «Просто хоть вон беги, — писала Ирина Семеновна своему Теодору (так называла она в письмах мужа), — где папа да и только… Теперь только и просит, что написать к тебе письма: как встанет, то первое слово: мама полно спать… давай перо, Толя хочет писать папе».
«…Толя так мил и умен, что действительно я часто плачу от радости, смотря на него. Представь, он всякий день здоровается с тобою, т. е. с твоим портретом, а вечером прощается, как скоро вымою его, то он обернется к портрету и скажет адьё папа миньки. Вчера уморил меня. Утром он помолился богу и сказал обычную фразу к портрету: гутъ моргенъ, адьё и здравствуй папушка, потом поцеловал портрет и сказал: папа миньки».
Мальчику, здоровавшемуся по-немецки и по-французски, было немногим более двух лет…
Экспансивная Ирина Семеновна тяжело переживала долгие отлучки мужа. Ее письма к нему — некоторые она подписывала «Арина» — полны призывов беречь себя и поскорее возвращаться. Она даже детей использует, чтобы «разжалобить» своего Теодора: «Пока прощай и помни, что щастие двух малолеток зависит от твоей жизни, что же до меня то весть о твоей смерти покажет и мой конец — я не переживу тебя». И дальше приписка, конечно же, сделанная рукою матери: «Папа, мы тебя ждем, поживи для нас, ты нас родил, не губи же нас Толя».
Велика была радость, когда почтальон наконец-то приносил открытки с видами городов, где останавливался отец. С помощью матери Толя даже выучил стишок поэта Ивана Мятлева о почтальоне:
Однажды почтальон принес небольшую посылку от отца из Парижа — мантилью для Ирины Семеновны и две красивые рубашки для Толи.
Радость закончилась слезами, так как нельзя было надеть две рубашки сразу. А Толя не хотел ни в какую расставаться с папиным подарком.
«Ах мой друг, — писала Ирина Семеновна, — что за милый мальчик, он развивается и умнеет не по дням, а по часам, от скуки я учу его маленькие басни, иногда он меня очень стыдит, представь, что и он в свою очередь учит Женю, т. е. думает, что учит; точно так же садится, как я, и говорит, ну Женя, что ты знаешь посмотрим, можно ли будет написать папе, что ты паинька…»
Уже с малолетства у мальчика чувствовался характер. Как-то ходили с матерью в церковь Николы-угодника и встретили там свадьбу. Торжественный обряд венчания, богатые наряды жениха и невесты, весь свадебный кортеж произвели на Толю впечатление.