Павел, по словам великого князя Александра Михайловича, «пользовался успехом у женщин и был очень интересен в своем темнозеленом, с серебром, доломане, малиновых рейтузах и ботиках гродненского гусара»17. Как вспоминала Мария Павловна, «отец был высоким, широкоплечим. Голова небольшая, округлый лоб, слегка сдавлен к вискам <…>. Каждое слово, движение, жест несли отпечаток индивидуальности. Он вызывал к себе расположение всех, с кем доводилось общаться <…>, с возрастом он не утратил своей элегантности, жизнерадостности и мягкосердечия»18. Павла Александровича любили за тактичность, добрый нрав и за неучастие в дворцовых интригах. Прекрасный поколенный портрет великого князя написал в 1897 году В.А. Серов.
Представить семейную обстановку во дворце можно по рассказу Марии Павловны о Рождественском сочельнике. «Когда мы были одеты, за нами приходил отец. Он подводил нас к закрытым дверям зала и делал знак. Свет в зале выключали, двери распахивались. Перед нашими восхищенными глазами в громадном темном зале появлялась волшебная елка с горящими свечами. Сердца замирали, и мы с трепетом входили вслед за отцом. Он снова делал знак, темнота исчезала; вдоль стен появлялись столы, покрытые белыми скатертями, а на них – подарки»19. Хозяин дворца предпочитал домашний уют и светскую жизнь недолюбливал.
Овдовев, Павел Александрович через пять лет увлекся светской красавицей Ольгой Валериановной Пистоль-корс (1865–1929), у которой было трое детей от мужа-полковника. По воспоминаниям все той же Марии Павловны, ее мачеха «была красивая, очень красивая. Интеллигентное лицо с неправильными, но тонкими чертами, необычайно белая кожа изумительно контрастировала с темно-лиловым бархатным платьем, отделанным по вороту и рукавам кружевными оборками»20. Хотя возлюбленная, а позже супруга повелевала мужем, он был с нею вполне счастлив.
Вероятно, ради Ольги комнаты (библиотека, гостиная, бильярдная, кабинет и др.) в западной половине нижнего этажа в 1897–1899 годах обновлены известной английской фирмой «Мейпл и К°», что стоило более 100 тыс. руб. Из Лондона привезли и установили резные панели из дуба и красного дерева для потолка и стен, мебель, книжные шкафы, бильярд и камины21.
После тайного венчания в 1902 году в греческой церкви в Ливорно великокняжеская чета обосновалась на вилле под Парижем. Павел Александрович лишился всех чинов, и ему запретили въезд в Россию, так как брак был морганатическим и не получил разрешения императора. Опекуном детей назначили великого князя Сергея Александровича, он увез Марию и Дмитрия в Москву, где служил генерал-губернатором.
Мария Павловна вспоминала: «Наш дом уже начал принимать вид запустения и заброшенности <…>. Прислуга, которой нечем было заняться, бесцельно слонялась по большим пустым комнатам, ожидая, когда в ней вообще отпадет нужда. Некоторые из старых слуг уже покинули дом, постепенно пустели конюшни»22.
Въезд в Россию Павлу Александровичу был дозволен в 1905 году только на похороны родного брата Сергея Александровича, убитого в Москве. Через три года простили и Ольгу Валериановну, получившую титул графини Гоген-фельзен. Она вернулась с мужем в Петербург, вскоре вошла в придворные круги и даже приобрела симпатию императрицы.
Но в 1914 года дворец на набережной снова опустел, ибо семья переселилась в новопостроенный царскосельский особняк. В следующем году брак супругов был узаконен, Ольга Валериановна и ее дети получили титул князей Палей по фамилии казачьего предка23.
После начала Первой мировой войны Павел Александрович отбыл на фронт, где командовал Гвардейским корпусом, но заметными успехами не отличился, отчасти из-за своего болезненного состояния. Несмотря на любовь к своему царственному племяннику, великий князь принял участие в семейной фронде против него и лично уговаривал Николая II даровать стране Конституцию.
18 февраля 1917 года он продал дворец Русскому обществу заготовления снарядов и боевых припасов и вывез из него самое ценное имущество в Царское Село. Там больного Павла Александровича 12 августа 1918 года арестовали большевики, 30 января следующего года его расстреляли вместе с тремя кузенами у стен Петропавловской крепости. Ольга Валериановна после этого бежала в Финляндию, где воссоединилась с двумя дочерьми, а затем перебралась в Париж.
Новая власть национализировала дворец и передала детскому дому, что отрицательно сказалось на интерьерах. Значительную часть убранства, включая живопись, распродали. С 1930-х до конца 1980-х гг. здание принадлежало «закрытому» проектному институту «Союзпроектверфь», который работал на Военно-морской флот. В это время были уничтожены все интерьеры, кроме парадной лестницы, кабинета, библиотеки и Голубого зала. В 1938–1939 годах этажом надстроили правый дворовый флигель, а в 1946–1947 годах возвели дополнительный этаж над бывшим Мавританским залом.