После смерти сановника наследники продали особняк князю Дмитрию Михайловичу Голицыну (1721–1793), чей поколенный портрет кисти Ф. Рокотова выставлен в Третьяковской галерее. Портрет написан в 1760-е годы, когда Голицын уже владел домом на набережной.
Дмитрий Михайлович, сын известного фельдмаршала, по материнской линии приходился племянником екатерининского приближенного князя А.Б. Куракина. В 1751 году он женился на княжне Екатерине Дмитриевне Кантемир (1720–1761), сестре талантливого поэта Антиоха Кантемира. Скорее всего тогда же и приобрел особняк на набережной. Детей у супругов не было, и после смерти жены Голицын уехал послом в Вену, где провел более 30 лет, занимаясь благотворительностью и покровительствуя ученым и художникам. «Человек почтенный, добрый, всеми любимый…», – писал его однофамилец Ф.Н. Голицын. Прекрасный дипломат и знаток искусства князь собрал ценную коллекцию картин, которую подарил Голицынской больнице, выстроенной в Москве на завещанные им средства.
С.С. Потоцкий. Дж. Доу.
Бывая в Петербурге лишь изредка, Голицын здешний дом сдавал купцу Питеру Томсену, а в 1787 году продал его Марии Адамовне Олсуфьевой (1757–1820), замужем за камергером князем Николаем Алексеевичем Голицыным. На той же набережной (№ 24) в это время жила мать княгини.
Е.К. Сангушко
H.A. Голицын (1751–1809) служил при дворе цесаревича Павла Петровича и выполнял дипломатические поручения Екатерины II. В 1798 году, выйдя в отставку, он продал, вероятно, столичный дом, вмещавший 33 покоя и расширенный справа за счет въездных ворот, и занялся строительством своего имения «Архангельское» под Москвой.
В следующее десятилетие дом принадлежал камергеру князю Петру Федоровичу Шаховскому, а после него другому князю, тоже Голицыну, – Александру Михайловичу (1772–1821), гофмейстеру, женатому на сестре Шаховского.
Так как этот Голицын также часто жил за границей, то особняк в 1810 году приобрел генерал-майор граф Станислав Станиславович Потоцкий (1782–1831), однако, уже спустя год он выставил его на торги. Сумев погасить долги, владелец в 1812 году выстроил во дворе четырехэтажный жилой флигель, а в 1824 году переделал корпус на Галерной. Портрет Потоцкого кисти Дж. Доу висит в Галерее 1812 года Зимнего дворца, ибо генерал участвовал во многих битвах в войне с Наполеоном и за свою храбрость дважды был награжден золотой шпагой.
И.Ф. Паскевич. Ф. Крюгер. 1834 г.
Война еще не закончилась, как граф, происходивший из знатной и очень богатой польской семьи, женился на Екатерине Ксаверьевне Сангушко (1781–1820), родной сестре Елизаветы (Элиз) Ксаверьевне Браницкой, супруги графа М.С. Воронцова, в которую был влюблен Пушкин. Молодой поэт бывал на вечерах, устраиваемых в доме. По воспоминаниям А.О. Смирновой-Россет: «…На вечерах были швейцары со шпагами, официантов можно было принять за светских франтов, ливрейные лакеи были только в большой прихожей, омеблированной как салон: было зеркало, стояли кресла <…>. Все это на английскую ногу…».
Екатерина Ксаверьевна в браке прожила недолго, но успела родить двух дочерей и двух сыновей. Дочь Александра, жена своего дальнего родственника, действительного статского советника Артура Потоцкого, в начале 1857 года семейный особняк продала за 150 тыс. руб. генерал-адъютанту князю Федору Ивановичу Паскевичу-Эриванскому (1823–1903). Отец князя был известным фельдмаршалом, отличившимся на Кавказе и при подавлении антиправительственных восстаний в Польше и Венгрии. С этого времени особняк «в итальянском вкусе» стал резиденцией Паскевича.
По заказу графини Потоцкой видный зодчий А.И. Штакеншнейдер разработал в 1843 году проект перестройки трехэтажного лицевого дома, но он остался на бумаге, отчего фасад некоторое сохранял свой классицистический вид. Все последующие изменения связаны с Паскевичем, для которого архитектор А.Х. Пель в 1856–1858 годах несколько изменил оформление главного фасада и создал со стороны двора остекленный зимний сад на чугунных колонках.
Украшением интерьеров занимался академик P.A. Гедике, талантливый представитель стиля эклектики.
Ф.И. Паскевич-Эриванский. 1850-е гг.
Парадная лестница с верхним светом оформлена пилястрами, лепкой и зеркалами; Лебединый (или Голубой) зал украшен фризом с головками лебедей; стены парадной столовой отделаны дубовыми панелями и тисненой кожей. В кессонах потолка помещен красочный орнамент. В Арсенальной галерее (у князя имелась отличная коллекция старинного оружия) с арочным перекрытиями сохранились сюжетные скульптурные панно; в Готическом зале – архитектурное оформление в стиле развитой готики. В том же стиле – соседний рыцарский кабинет с фигурами рыцарей в боевых доспехах.