На балах и вечерах, которые давали Потоцкие, нередко присутствовал император с приближенными. «У него [Потоцкого], — продолжает Смирнова-Россет, — я в первый раз видела Елизавету Ксаверьевну Воронцову в розовом атласном платье. Тогда носили цепь из драгоценных камней, ее цепь была из самых крупных бриллиантов. Она танцевала мазурку на удивление всем с Потоцким. ‹…› На его вечерах были швейцары со шпагами, официантов можно было принять за светских франтов, ливрейные лакеи были только в большой прихожей, омеблированной как салон: было зеркало, стояли кресла и каждая шуба под номером. Все это на английскую ногу. Пушкин всегда был приглашен на эти вечера и говорил, что любителям все подавали охлажденным, и можно назвать то то, то другое, и желтенькие соленые яблоки, и морошка, брусника и брусничная вода, клюквенный морс и клюква, кофе с мороженым, печения, даже коржики, а пирожным конца не было».
На одном из таких вечеров Ольга Станиславовна рассказала Пушкину их семейную легенду. Эта легенда так поразила поэта, что он дал слово написать об этом поэму. И, как мы знаем, сдержал слово, данное О. С. Киселевой, и вскоре вышла его поэма «Бахчисарайский фонтан». А чтобы гости не забывали семейную легенду, фонтан, очень напоминающий Бахчисарайский, появился в доме Потоцких.
После смерти графа в 1831 году хозяйкой особняка стала его дочь от первого брака Александра Станиславовна Потоцкая, бывшая замужем за своим дальним родственником Артуром Потоцким.
В 1844 году перестройку помещений дома осуществил популярный среди петербургской знати архитектор Андрей Иванович Штакеншнейдер, создатель ряда дворцовых зданий в Петербурге.
В архивах сохранились проекты полной реконструкции дома с изменением фасада со стороны набережной, но по неизвестным причинам фасад остался прежним — переделкам подверглись лишь интерьеры.
Среди отделанных Штакеншнейдером помещений богатством и пышностью выделяется дубовая столовая в готическом стиле. Современники высоко ценили ее, сравнивая с коттеджем в Петергофе и фермой в Царском Селе. Ф. П. Брюллов писал своему брату, архитектору, в Италию: «В Петербурге входит в большую моду все готическое, в Петергофе маленький дворец выстроен для императрицы Александры Федоровны в готическом вкусе, в Царском Селе — ферма. Теперь граф Потоцкий уже сделал столовую готическую и все мебели…»
А в 1850-х годах домом владел генерал-фельдмаршал Иван Федорович Паскевич, граф Эриванский, светлейший князь Варшавский.
Быстрая и удачная военная карьера И. Ф. Паскевича послужила поводом для многочисленных пересудов, которые сводились к одному: ему чрезвычайно везло!
Став императором, Александр I взял Паскевича к себе штаб-офицером, но скоро он был произведен в генерал-майоры. «С 1825 г. — генерал-адъютант, с 1831-го — генерал-фельдмаршал». К этому времени Паскевич, не участвуя в боевых действиях, уже имел все ордена, какие только мог получить штаб-офицер. Таких отличий не удостаивался даже А. В. Суворов.
В войне 1812–1814 годов, будучи командиром дивизии, Паскевич зарекомендовал себя как энергичный генерал. С 1825 года он стал командиром корпуса. С 1826 года командовал войсками в Закавказье, а в 1827 году был назначен наместником на Кавказ (поездка в армию Паскевича описана Пушкиным в «Путешествии в Арзрум во время похода 1829 года»). В русско-персидской и русско-турецкой войнах Паскевич одерживал небольшие победы. Был главнокомандующим во время Крымской войны и, позднее (1853–1854), на Дунае.
Однако современники не раз отмечали, что Паскевич мог проявлять смелость и решительность лишь выполняя указы свыше. «Этот человек, — писал военный историк Н. К. Шильдер, — от которого ожидали самых решительных действий и ведения войны в суворовском духе, выказал, напротив того, более чем осторожность — боязливую медлительность и нерешительность. ‹…› Он, конечно, сознавал, что слава, которая за ним упрочена, не была всецело им заслужена, и поэтому, не питая к себе самому непоколебимого доверия, он не чувствовал особого влечения вновь рисковать завоеванными уже раз лаврами. Он не хотел отважиться ни на что и всего охотнее ничего бы не предпринимал в своих последних кампаниях, а потому делал по возможности менее…»
И все же именно И. Ф. Паскевича следует назвать одним из столпов николаевского режима. Он был членом Верховного суда по делу декабристов, руководил подавлением польского восстания (после чего назначен наместником царства Польского), командовал войсками при подавлении Венгерской революции 1848–1849 годов.