При новом владельце, херсонском купце А.И. Перетце (1799–1806 годы) – крупнейшем финансисте, подрядчике, кораблестроителе и поставщике соли (о нем говорили: «Где соль, там и Перетц»), помещения снимал в 1799–1801 годах военный генерал-губернатор граф П.А. Пален – один из руководителей заговора против Павла I.
Затем участок приобрел потомственный почетный гражданин купец А.И. Косиковский. По его заказу архитектор В.П. Стасов в 1814–1817 годах возвел со стороны Большой Морской улицы четырехэтажный корпус с колоннадой ионического ордера (дом № 14).
В 1806–1831 годах в доме на Невском помещались книжная лавка, библиотека и типография А. Плюшара (с 1827-го – вдовы Плюшара с сыном Адольфом), где печатались газета «Северная пчела» Н.И. Греча, журнал «Библиотека для чтения» О. Сенковского, 17 томов «Энциклопедического лексикона», а также «Панорама Санкт-Петербурга» А.П. Башуцкого. В 1830-х годах типография А.А. Плюшара считалась лучшей в России.
Здесь устраивало концерты Филармоническое общество, находился известный ресторан «Talon» (1810–1825 годы, впоследствии «Фельет»), который посещал А.С. Пушкин. В 1810-х годах жила французская актриса М.Ж. Жорж. Госпожа Латур в 1822 году демонстрировала виды разных стран и городов мира в своей «Оптической панораме», а Антон Росси в 1825–1826 годах – модель Петербурга. В 1820-х годах работала «Контора частных должностей» – своего рода биржа труда. В доме № 14 по Большой Морской улице жил литератор и журналист Н.И. Греч (1821–1825 годы), у которого летом 1825 года останавливался поэт В.К. Кюхельбекер. Весной 1828 года здесь поселился А.С. Грибоедов. Это была его последняя квартира в Петербурге, отсюда в июне того же года он уехал министром-резидентом в Тегеран, где трагически погиб в 1829 году В 1830–1839 годах в доме на Невском находилась редакция журнала «Отечественные записки» А.А. Краевского. Потом – магазин фортепьянного фабриканта Лихтенталя, который организовывал концерты Ф. Листа, А.Г. Рубинштейна и других композиторов.
В 1858 году участок приобрели почетные граждане, представители богатого купеческого рода братья Г.П. и С.П. Елисеевы, основавшие годом раньше торговый дом «Братья Елисеевы». Потом здесь осталась жить семья С.П. Елисеева, занимавшая корпус на набережной реки Мойки. В 1859–1860 годах архитектор Н.П. Гребенка перестроил главное здание по Невскому проспекту. Он заменил нижние колонны в центре фасада массивными пилонами, изменил рисунок наличников, ввел круглые окна, перестроил Большой зал, а также расширил дворовые флигели, надстроил четвертым этажом дом на Мойке и выполнил «перештукатурку» его фасада в приемах ранней эклектики.
Парадные помещения дома на Невском с 1860-х и до 1910-х годов занимало Благородное собрание. В его состав входили «лица благородного звания и почетного купечества». Балы и маскарады, карточные игры чередовались с музыкальными и литературными вечерами. Здесь давало концерты Русское музыкальное общество, созданное А.Г. Рубинштейном, читал лекции композитор А.Н. Серов, выступали с чтением своих произведений Ф.М. Достоевский, И.С. Тургенев, М.Е. Салтыков-Щедрин, А.Н. Плещеев, Я.П. Полонский. В спектаклях участвовали актеры Александрийского театра. С января 1862 года проходили заседания Шахматного клуба, учрежденного меценатом графом Е.А. Кушелевым-Безбородко. Членами клуба были Н.Г. Чернышевский, Н.А. Некрасов, Д.И. Писарев, Н.А. Серно-Соловьевич, B.C. Курочкин, Н.Г. Помяловский, И.И. Панаев, П.Л. Лавров. По существу, это был литературный клуб, служивший средоточием вольной общественно-политической мысли. Летом того же года он был закрыт властями.
Фотография 2004 года
С 1879 года хозяином домов стал П.С. Елисеев – крупный банкир, занимавшийся благотворительной деятельностью. В зале Благородного собрания в 1890-х годах давала бесплатные спектакли оперная и драматическая труппа И.П. Зазулина (в 1895 году – с участием студента В.И. Шверубовича, будущего актера Качалова). С 1901 года домовладение перешло к С.П. Елисееву, продолжившему дело отца. Он также был коллекционером, собранные им произведения О. Родена поступили затем в Государственный Эрмитаж. В 1902–1904 годах особняк на Мойке был реконструирован архитектором А.К. Гаммерштедтом, создавшим отделку интерьеров в исторических стилях и в формах модерна (реставрированы в 1980-х годах). В нем сохранились витражи рижской мастерской Э. Тоде.
Часть дома на Невском в конце XIX – начале XX века занимали конторы разных банков и ряд магазинов, в том числе велосипедов фирмы «Дуке». В 1914 году здание приспосабливалось для Центрального банка обществ взаимного кредита, учрежденного в 1909 году.