В 1787 году столичная газета поместила такое объявление: «На Галерном дворе покрадены 14 числа минувшего декабря из дома под № 235 Еликотовые золотые часы с репетициею, с двойным золотым футляром <…> также унесена большая пуншевая гладкой работы серебряная чаша, на дне которой вырезаны литеры I.B.V. с принадлежащей к ней овальною ложкою, еще серебряный поднос, на котором вырезаны литеры Z.D.».
А.П. Волынский
Через два года двухэтажный особняк по семейному разделу перешел к Иллариону. Но тот спустя месяц продал его нарвскому купцу и маклеру Якову Ивановичу Овандеру (1744–1812), который переселился сюда из № 18 по набережной. В 1809 году, «королевско-датский придворный, живший у купца дантист М.С. Леви», рекомендовал себя «совершенно новым изобретением вставлять искусственные зубы посредством механических пружин, не привязывая оных к другим».
После кончины купца его дети владели домом до 1834 года, а затем в нем на целых 35 лет поселилась новая, богатая хозяйка – юная Елизавета Петровна (урожд. Балабина, 1813-?), совсем недавно вышедшая замуж за камер-юнкера князя В.Н. Репнина-Волконского, троюродного брата A.A. Олениной, которой был увлечен A.C. Пушкин. Княгиня заказала талантливому архитектору Г.А. Боссе переделать главный двухэтажный дом в модном «итальянском» стиле. Окна бельэтажа получили более сложное украшение, вход – портал, несущий балкон, на крыше появился треугольный фронтон. Вероятно, тогда же, в 1838–1841 годы, богато отделали шесть комнат второго этажа. Во дворе находился небольшой садик (ныне от него уцелело одно дерево).
В своем новом доме Репнина встречалась с Н.В. Гоголем, его сестры – Анна и Лиза некоторое время у нее жили. Здесь же жила золовка – Варвара Николаевна Репнина, фрейлина и поклонница писателя, оставившая о нем воспоминания. Она переписывалась также с Т.Г. Шевченко, тот ей посвятил поэму «Тризна», и, прожив долгую жизнь, сама много публиковалась.
Для следующей хозяйки – княгини Луизы Николаевны Долгоруковой, купившей дом в 1869 году, академик Ф.Л. Миллер в последующие два года слегка изменил в стиле эклектики фасад особняка с набережной и Галерной. Княгиня прожила в обновленном особняке всего пять лет до его продажи с аукциона купчихе Софье Гавриловне Голенищевой. Купчиха его немедля подарила своей дочери – Надежде Семеновне, в замужестве Вонлярлярской. Оценивался этот дар в 170 тыс. рублей. В апреле 1885 года брат Надежды – фабрикант и оптовик Владимир Семенович Голенищев за 250 тыс. руб. уступил дом барону Сергею Павловичу фон Дервизу (1863–1943), унаследовавшему от отца, железнодорожного магната, огромное богатство. Вскоре брат Павел фон Дервиз сделал его соседним. Начинается новая история дома, общая с правым зданием.
А как складывалась судьба соседнего справа здания? Полковник В.Ю. Одоевский в 1726 году переводится в Москву, где заведует Оружейной палатой, и продает участок «девице Нарышкиной». От которой он перешел к дяде Петра I – Александру Львовичу Нарышкину (1694–1746), обучавшемуся морскому делу в Англии, а после возвращения назначенному в Адмиралтейство. Он был братом первой жены вышеупомянутого А.П. Волынского. За участие в заговоре против А.Д. Меншикова Нарышкин был выслан в деревню, но вскоре прощен и в 1736 году возглавил Канцелярию строений дворцов и садов. Боярин обладал сильным характером и пользовался большим уважением в Сенате.
После его смерти новопостроенный (в начале 1730-х) дом в 1746 (?) году оказался во владении известного графа Кирилла Григорьевича Разумовского, фаворита императрицы Елизаветы Петровны, у которого и без того в городе было много недвижимости – главный дворец графа стоял на Мойке, близ Невского. Разумовский сдавал, записанный на жену Екатерину Ивановну, «починкою вновь исправленный», дом на набережной «поперешником 11 сажень 1/3 аршина», где «вверху <…>6 покоев, зала седьмая, кухня, ледник, конюшня на 8 стойл, а внизу 6 же покоев».
В 1763 году газета напечатала предупреждение о торговле в доме контрафактом: «Хотя многими указами как делание, так и держание в рядах фальшивой набойки запрещено, однако, оказывается, <…> оную фальшивую набойку делают и продают <…> с надписью Козенсовой красильной фабрики».
В 1780 граф продал дом прусскому «купцу во дворянстве» Бальтазару фон Эссену. Тот его перестроил в стиле классицизма и благоукрасил, судя по газетному объявлению: «У Галерного двора, неподалеку от Крюкова канала, между домами его сиятельства графа Салтыкова и английского генерального консула господина Шарпа, продается новый каменный дом, по новейшему вкусу выстроенный, с французскими мебелями, и собрание картин славнейших нидерландских и итальянских мастеров» (СПб. ведомости. 1785. № 76).