В годы правления императрицы Анны Иоанновны владельцем двора был дальний ее родственник по матери Василий Федорович Салтыков, ставший сторонником цесаревны Елизаветы Петровны. В свои шестьдесят шесть лет, переодевшись в простое крестьянское платье, он на облучке ее кареты принял участие в аресте правительницы Анны Леопольдовны и дворцовом перевороте в пользу дочери Петра I.
С двором связаны имена его детей – Марии, жены статс-секретаря Екатерины II А. В. Олсуфьева, помогавшей вместе с мужем императрице в сочинении ее литературных опусов; Анны Гагариной, поплатившейся за «дерзость» отрезанной по царскому повелению косой; Екатерины Измайловой, жены генерал-лейтенанта П. И. Измайлова, любимца Павла I; Сергея, ставшего предметом увлечения Екатерины II в бытность ее великой княгиней. Удаленный из Петербурга на дипломатическую службу, С. В. Салтыков был затем русским посланником в Швеции, Гамбурге, Париже и Дрездене.
После смерти отца двор наследовал его сын Петр Васильевич, камергер, женатый на дальней родственнице А. С. Пушкина, княжне М. Ф. Солнцевой-Засекиной (ее матерью была М. Ф. Пушкина). Именно она оказывается в дальнейшем владелицей усадьбы. К этому времени окружение былого «Дегтярева огорода» становится одним из самых аристократических кварталов старой столицы. Среди соседей «камергерши» дочь фельдмаршала А. А. Хитрово, князья Несвицкие, К. Г. Разумовский, Урусовы, Хилковы, Мельгуновы, Толстые.
Со смертью пережившей мужа М. Ф. Салтыковой родовое гнездо переходит к родственнику известного историка, специалиста по Москве XVII века Болтина – Д. С. Болтину, который деятельно принимается за его перестройку. Он повторяет в общих чертах изменения, возникавшие во всех выходивших на распланированный в 1796 году Никитский бульвар усадьбах. Поныне существующие ограда и ворота устанавливаются со стороны бульвара. Вместо многочисленных разбросанных служб строится одно объединившее их здание напротив главного дома. Главный же дом достраивается до красной черты бульвара, то есть увеличивается как на размер будущей гоголевской половины. В этом варианте он не имел со стороны двора аркады и покоящегося на ней балкона, тогда как хозяйственный корпус сразу строится с порталом. Все работы были осуществлены в 1807-1812 годах.
Пожар 1812 года захватил весь район Никитского бульвара. Третьего сентября он начался на Арбате и на следующий день выжег все салтыковские владения. Как и во многих других городских усадьбах, восстановление оказалось не по средствам старому владельцу. Ее хозяином стал А. И. Талызин.
Адмирал И. Л. Талызин, пользовавшийся особой благосклонностью императрицы Елизаветы Петровны, после ее смерти принимает сторону будущей Екатерины II. В момент переворота Екатерина доверяет И. Л. Талызину захват Кронштадта, где мог найти себе надежное убежище Петр III. И. Л. Талызин является в крепость с собственноручной запиской Екатерины: «Господин адмирал Талызин от нас уполномочен в Кронштадте, а что он прикажет, то исполнять». Появившийся здесь с некоторым опозданием Петр III был встречен знаменитой талызинской фразой: «Поскольку у вас не хватило решительности задержать меня именем императора, я вас беру под стражу именем императрицы».
Вместе с дядей в перевороте участвовали три племянника адмирала. В свою очередь, один из них – Петр, дослужившийся до чина генерал-поручика, стал участником заговора против Павла I, но в последний момент изменил плану заговорщиков и поддержал Александра I в деле сохранения самодержавия. Его последовавшую через два месяца смерть современники объяснили местью былых товарищей по заговору. Вместе с дядей в заговоре принимал участие его племянник капитан лейб-гвардии Измайловского полка А. И. Талызин, который и приобрел в 1716 году салтыковский дом.
А. И. Талызин восстанавливает и здание служб, и главный дом, которые получают одинаковые балконы на грузных каменных арках, что придает усадьбе вид единого архитектурного ансамбля.
У Толстых сразу по приезде в Москву не было ни времени, ни возможности заниматься меблировкой и устройством дома. Все было сохранено с талызинских времен. Гоголю достались две комнаты нижнего этажа с самостоятельным входом из сеней. Хозяева заняли верх: графиня – часть, находившуюся над гоголевской половиной и сообщавшуюся внутренней лестницей с комнатой горничной, граф – часть, обращенную к бывшей Мамстрюковой улице, также с внутренней лестницей, которая вела к дверям нижней гостиной. Вместо общей столовой использовалась зала с выходом на балкон, где Гоголю доводилось в погожие дни читать вслух хозяйке дома.
У гоголевской половины были свои удобства. Прежде всего изолированность от всего остального дома. Но и свои достаточно существенные недостатки. Это низкие окна, выходившие на тротуар Никитского бульвара и к парадному подъезду, где прямо около них разворачивались экипажи. И главное – сырость, которая давала о себе знать во все времена года. Состояла половина из приемной с двумя большими диванами (здесь же, за одним из диванов, ночью спал «человек» Гоголя) и часто топившимся камином (печью?) и кабинета, служившего писателю и спальней. Здесь, стоя у окна, он писал на конторке и перебеливал рукописи за столом у дивана.
Первые четыре года после смерти Гоголя чета Толстых не предпринимает в доме никаких перемен, и только неожиданное возвращение графа Александра Петровича на действительную службу рождает планы обновления усадьбы. 1856 год приносит графу назначение обер-прокурором Синода.
Но проекты остаются проектами. Сначала переезд в Петербург, а затем жизнь за границей делают невозможной их реализацию. В 1873 году А. Е. Толстая возвращается в Москву, чтобы похоронить скончавшегося в Женеве мужа и немедленно расстаться с талызинским домом. Владелицей усадьбы становится вдова брата бабушки М. Ю. Лермонтова – А. А. Столыпина, бывшего предводителя дворянства Саратовской губернии. М. А. Столыпиной наследует одна из ее дочерей – двоюродная тетка Лермонтова, Н. А. Шереметева. Именно она и осуществляет в 1888 году часть задуманных Толстыми перестроек.
Надстраивается в камне гоголевская половина (до того времени второй этаж был деревянным). Перегородки в бывших комнатах писателя делаются капитальными, образуя четыре помещения для швейцара и прислуги. Сводчатые перекрытия подвала заменяются асфальтированным бетоном с выводными каналами. Но главное – переделываются на обоих этажах голландские печи с трубами, причем при верхних печах устраиваются вентиляционные камины. Иными словами, сохранившиеся до наших дней печи не имеют ничего общего с гоголевскими и не позволяют решить вопроса о камине, в котором погибла вторая часть «Мертвых душ» и многие другие рукописи. С пристройкой в 1901 году трехэтажного доходного дома по Никитскому бульвару (ныне встроен в дом Главсевморпути, 9-11) кабинет Гоголя превращается в его швейцарскую.