Среди нанимателей была и семья Пушкиных, жившая здесь с 24 ноября 1801 года по 1 июня 1803 года. В то время эта часть Большого Харитоньевского переулка была известна как Большая Хомутовка.
Пушкин не раз мысленно обращался к детским годам, проведенным в Большом Харитоньевском переулке. И процитированные строки из седьмой главы «Евгения Онегина» – яркое тому подтверждение. Татьяна Ларина была поселена автором именно «у Харитонья в переулке», то есть рядом с церковью Св. Харитония.
Поселившаяся здесь семья Пушкиных состояла из пяти человек: глава семьи Сергей Львович Пушкин, московский чиновник средней руки; его жена Надежда Осиповна, урожденная Ганнибал; дети – Ольга, Александр и Николай. Позже у Сергея и Надежды Пушкиных родилось еще пятеро детей. Из них выжил только Левушка, остальные же – сыновья Михаил, Павел, Платон и дочь Софья – умерли в раннем возрасте.
В усадьбе Юсупова в начале XIX века стояло три каменных дома, один из которых – средний – и был арендован Сергеем Львовичем Пушкиным. В результате более поздних перестроек дом стал частью одного большого здания. Сегодня это его левое крыло (по другому мнению, Пушкины жили в несо-хранившемся деревянном флигеле).
В 1801 году Николай Борисович вдобавок к своему терему решил прикупить соседний особняк, принадлежавший семье коллежского асессора X. Христиана (ныне Большой Харитоньевский, 24) для размещения в нем домашнего театра и, главным образом, актрис, столь любимых князем. Дом как дом, а вот примыкавший к нему большой сад был даже более удачным приобретением, простираясь до современного Фурманного переулка. Юсупов решил сделать из него Версаль в миниатюре с регулярной планировкой, украсить его статуями древних богинь, разбить посередине круглый пруд со спускавшимися к нему двумя лестницами, устроить искусственный грот, беседки, аллеи и клумбы. Войти в него можно было через красивые ворота с Большого Харитоньевского. Юсуповский сад славился на всю Москву, усадебное садоводство на иноземный манер – английский или французский – было в ту пору в большой моде. Маленький Саша Пушкин много времени проводил в саду князя.
«Сад был великолепный. У Юсупова была татарская страсть к плющу, прохладе и фонтанам и любовь парижского жителя к правильным дорожкам, просекам и прудам. Из Венеции и Неаполя, где он долго был посланником, он привез старые статуи с обвислыми задами и почерневшими коленями. Будучи по-восточному скуп, он ничего не жалел для воображения. Так в Москве, у Харитонья в Огородниках, возник этот сад, пространством более чем на десятину.
Александр Пушкин. Худ. О. Кипренский
Князь разрешал ходить по саду знакомым и людям, которым хотел выказать ласковость; неохотно и редко допускал детей. Конечно, без людей сад был бы в большей сохранности, но нет ничего печальнее для суеверного человека, чем пустынный сад. Знакомые князя, сами того не зная, оживляли пейзаж. Пораженный Западом москвич шел по версальской лестнице, о которой читал или слышал, и его московская походка менялась. Сторожевые статуи встречали его. Он шел вперед и начинал, увлекаемый мерными аллеями, кружить особою стройною походкой вокруг круглого пруда, настолько круглого, что даже самая вода казалась в ней выпуклой, и, опустясь через час все той же походкой к себе в Огородники, он некоторое время воображал себя прекрасным и только потом, заслышав: “Пироги! Пироги!” или повстречав знакомого, догадывался, что здесь что-то неладно, что Версаль не Версаль и он не француз. Сад был открыт для няньки Арины с барчуками», – писал Юрий Тынянов.
Почти через четверть века после того, как Пушкины жили у Харитонья в Огородниках, в 1830 году поэт принимается за автобиографию. Он набрасывает «Программу автобиографии», в которой описание своего детства начинает именно отсюда: «Первые впечатления. Юсупов сад». И в это же время он сочиняет стихотворение «В начале жизни школу помню я», где рисует восхитительную картину сада: