Следующие переделки происходили в доме в 1883 году. По архивным сведениям, в это время был капитально исправлен дом, возведена одноэтажная каменная пристройка к основному зданию, в подвальном этаже прорезаны два оконных проема. Эти переделки производились архитектором В. Бернгардом, им же был полностью перестроен второй этаж поперечного каменного флигеля во дворе и, так же как и в главном доме, осуществлено его «капитальное поправление».
Воронцовы, вероятно, думали, что, создав уютное жилище, они обзаведутся потомством и, возможно, передадут дом своим наследникам. Но случилось иначе. У них не было детей. Известно, что Семен Михайлович умер в 1882 году. И в том же году, в связи с его смертью, чтобы не угасал столь значимый для России род, было «высочайше дозволено графу Павлу Андреевичу Шувалову принять герб, титул и фамилию по его матери и именоваться светлейшим князем Воронцовым графом Шуваловым».
В 1884 году Мария Васильевна покинула Петербург и уехала жить во Флоренцию. Десять лет дом оставался на попечении управляющего.
Последние хозяева этого дома в императорской России — великая княгиня Ксения Александровна и великий князь Александр Михайлович.
В 1894 году весь участок у вдовы С. М. Воронцова за один миллион был куплен императором Александром III и «пожалован в дар и вечное потомственное владение» своей дочери — Ксении Александровне, которая вступала в брак с великим князем Александром Михайловичем, четвертым сыном великого князя Михаила Николаевича и внуком императора Николая I.
Александр III очень любил свою дочь. Да и все знавшие Ксению Александровну отзывались о ней с неизменной теплотой. Князь Феликс Юсупов в своих воспоминаниях написал, что ее жилище, где все выглядело приятным, «обязано было своей привлекательностью главным образом великой княгини Ксении Александровне. Даже не красота, а исключительное обаяние, унаследованное от матери, императрицы Марии Федоровны, было ее главной прелестью. Взгляд ее великолепных серых глаз проникал до глубины души. Кротость, скромность и крайняя доброта придавали ей обаяние, которому никто не мог противиться. В детстве ее визиты для меня были праздником. После ее отъезда я пробегал по комнатам, где сохранялся еще запах ландышей, который я вдыхал с наслаждением».
Александр Михайлович, по воспоминаниям того же Юсупова, был брюнетом высокого роста, «очень красивый, имел сильный характер…». Александр Михайлович являлся одним из самых деятельных фигур в семье Романовых. Он стоял у истоков организации военной авиации в России. Не без его участия страна вступила в Первую мировую войну 1914–1918 годов. Накануне революции он писал Николаю II: «События показывают, что твои советники продолжают вести тебя и Россию к верной гибели… Приходишь в полное отчаяние, что ты не хочешь внять голосам тех, которые знают, в каком состоянии находится Россия, и советуют принять меры, которые должны вывести нас из хаоса… Правительство сегодня тот орган, который подготавливает революцию. Народ ее не хочет, но правительство употребляет все возможные меры, чтобы сделать как можно больше недовольных, и вполне в этом успевает. Мы присутствуем при небывалом зрелище революции сверху, а не снизу».
Но эти дельные советы, основанные на реальных событиях и делах, давались императору позже, а в те годы влюбленности в обаятельную дочь императора Александра III, он мечтал о счастливой семейной жизни…
Переделки дома
Из документов известно, что Александр III пожаловал своей дочери на ремонт дома и внутреннее убранство 500 тысяч рублей.
Переделки дома начались в 1895 году с повышения фронтона. На нем появился императорский герб. Все внутренние помещения были полностью обновлены. Изменения интерьеров производились по эскизам замечательного мастера интерьера и храмовых построек Николая Владимировича Султанова (1850–1908). На западном фасаде дома устроили дополнительный вход в здание с наружной лестницей и металлическим ограждением. Над этим входом возводится металлический козырек. Были заменены превосходно исполненные новые металлические ворота и калитка, ведущая на территорию. На чугунных воротах изысканного рисунка появились позолоченные инициалы владелицы. Эти изменения предположительно (согласно справке КГИОП) производились известным инженером-архитектором, графом Николаем Ивановичем де Рошефором (Рошфором).