Тут, в Глебовском, семью постигла беда: скоропостижно умер от удара, не выдержав дорожных тягот и ранения, Павел Иванович Голохвастов. У 17-летней Сашиной матери Луизы, еще не понимавшей даже по-русски, смерть эта, в отсутствии Ивана Алексеевича, отняла единственную сейчас на чужбине родственную опору. Она осталась одна с грудным сыном и 9-летним пасынком Егором среди крепостных крестьян. Люди эти, озабоченные войной и «нашествием иноплеменников», показались ей сперва сумрачными, недобрыми. Но очень скоро молоденькая мамаша уразумела, как эти хмурые подневольные мужики и их сердобольные жены сочувствуют ее бедам и страхам, как они посильно стараются облегчить ее участь. В глухую пору войны они баловали ее даже изюмом и пряниками, для чего приходилось отряжать тележку в город Ярославль, верст за двадцать.
Тем временем Сашин отец, Иван Алексеевич, сидел в Санкт-Петербурге под арестом в доме самого страшного человека в России и самого близкого лица к государю. По должности он был председателем департамента военных дел Государственного Совета, а Пушкин звал его «всей России притеснитель». От фамилии его произведено жутковатое слово: аракчеевщина, то есть режим насилия и подавления.
Граф Аракчеев вручил государю Александру Первому письмо Наполеона, доставленное Яковлевым. Царь решил, что писать Наполеону не станет: ответ, мол, будет дан ядрами русских пушек, штыками пехоты и казачьими пиками.
Под арестом в доме Аракчеева Иван Алексеевич пробыл месяц. Он оказался первым из прибывших в Петербург очевидцев захвата Москвы. О подробностях расспрашивал его сам Аракчеев да еще адмирал Шишков. Яковлеву запретили встречаться с кем-либо, кроме старшего брата. Скоро ему позволили вернуться к семье в поместье, не поставив в вину, что брал пропуск у неприятеля.
«Рассказы о пожаре Москвы, о Бородинском сражении, о Березине, о взятии Парижа были моей колыбельной песнью, детскими сказками, моей Илиадой и Одиссеей» — так написал Герцен о своем детстве.
Семья Яковлевых скоро вернулась в опустошенную Москву, и Иван Алексеевич снял уцелевший и наспех починенный дом вблизи Страстного монастыря и затейливой церковки Рождества Богородицы в Путинках. (Сейчас на месте Страстного монастыря находится кинотеатр «Россия», а некогда монастырь примыкал к древней стене Белого Города.) В восемнадцатом столетии стену снесли и разбили на ее месте кольцо бульваров. Поэтому перекрестки улиц и Бульварного кольца до сих пор хранят название «ворот» — это память о реально существовавших въездных воротах в городской центр, или Белый Город.
В этом же старинном, просторном доме в Путинках поселился и брат Ивана Алексеевича, сенатор Лев Алексеевич Яковлев, имевший придворное звание камергера. В недавнем прошлом Лев Алексеевич был видным дипломатом.
Москва тех лет превратилась как бы в огромную строительную площадку и возрождалась из руин и пепла с необыкновенной быстротою. Чинились взорванные французами при отступлении кремлевские стены и башни — Никольская, Собакина, Арсенальная и другие. Расширилась и очистилась Красная площадь — там засыпали старый Алевизов ров и убрали ненужные мосты к Спасской, Никольской и Константино-Еленинской башням.
Против Сенатской башни Кремля, спиною к Торговым рядам, воздвигли памятник героям освобождения Москвы от поляков в 1612 году, Минину и Пожарскому. Это была первая в Москве городская скульптура, и народ понимал ее как памятник победы над иноплеменниками в двух войнах.
Возник Александровский сад над взятой в трубу Неглинною рекою. Интересно задуманный Манеж (строил его инженер Бетанкур) украсил сразу две улицы — Моховую и Неглинную. Классическое здание Манежа протянулось вдоль Александровского сада между выходами к нему двух улиц — Большой Никитской и Воздвиженки. Оперный Большой театр получил свой великолепный фасад с колоннадой и колесницей по проекту Бове, а Тверскую улицу уже в начале 30-х годов завершила и как бы приподняла великолепная Триумфальная арка в честь побед российского оружия.