Недолго простояла грандиозная постройка знаменитого архитектора — в феврале 1767 г. ее разобрали, освободив землю для нового строительства. Интересно, что один из флигелей дворца перевезли в Красное Село, где он простоял до прошлого столетия.
Так обстояло дело до появления на месте Гостиного двора и деревянного Зимнего дворца жилого дома Чичерина, возведением которого в 1768–1771 гг. занимался известный архитектор Юрий Матвеевич Фельтен.
История строительства дома для петербургского генерал-полицеймейстера окружена множеством тайн, и, в частности, доподлинно не установлен автор проекта здания.
В этой связи имя Фельтена упоминается чаще других, хотя документальных подтверждений пока нет. Здесь же вспоминается его работа с Растрелли над возведением Зимнего дворца, с фасадами которого перекликается внешний вид дома Чичерина.
Среди возможных авторов проекта называются также имена двух других петербургских зодчих: Александра Филипповича Кокоринова и Жана-Батиста Мишеля Валлен-Деламота. Постройки этих двух мастеров, а выделить здесь можно здание Императорской Академии художеств и Малый Зимний дворец, еще несут на себе «последние следы барочного духа», что наблюдается и в решении фасадов дома Чичерина.
Генерал-полицеймейстер прожил в доме до своей кончины в 1782 г., а следующим владельцем столь примечательной недвижимости стал его старший сын — вице-полковник Кирасирского полка Александр Николаевич Чичерин.
В 1792 г. дом приобретает князь Алексей Борисович Куракин, тогда советник Экспедиции о государственных доходах при 1-м департаменте Сената. Новый владелец расширяет постройку за счет возведения по набережной реки Мойки трехэтажного флигеля.
При купце А. И. Косиковском, владевшем домом более 50 лет, появился корпус по Большой Морской улице, строительством которого в 1814–1817 гг. занимался архитектор Василий Петрович Стасов.
Каждым новым владельцем в доме Чичерина проводилась реконструкция — сооружались дополнительные пристройки, менялись интерьеры согласно модным веяньям в архитектуре. Так после приобретения дома в 1858 г. купцами Елисеевыми архитектор Николай Павлович Гребенка изменил фасады, отделку залов и комнат. В частности, колонны первого этажа по главному фасаду зодчий заменил пилонами, а круглые оконные проемы угловых частей превратил в прямоугольные. В таком виде дом Чичерина, названный горожанами «домом с колоннами», дожил до наших дней. Конечно, в прошлом веке утеряна вся внутренняя отделка — от эпохи классицизма сохранились лишь пара колонн и пилястр искусственного мрамора в Большом зале на третьем этаже. От Елисеевых остались камины, люстра и паркет в Бальном зале.
Последняя реконструкция дома Чичерина прошла в 2005–2010 гг. по проекту архитекторов А. Свистунова и В. Сергеева (интерьеры), при участии архитектурного бюро И. Ерохова и М. Соснило. Фасады по Невскому проспекту, набережной и Большой Морской улице отреставрированы, как и парадная лестница, Большой зал и интерьеры некоторых помещений. Исторические дворовые флигели полностью снесены — то, что есть, сооружено заново. Над зданием надстроена мансарда, в которой, помимо прочего, устроили большой бассейн. Корпус со стороны набережной реки Мойки полностью реконструировали — исторической осталась только стена фасада.
Дом Чичерина остается весьма заметной постройкой в стиле раннего классицизма. Часть здания по Невскому проспекту выделена колоннадами первого и верхних этажей, причем угловые колоннады формируют полукруглое завершение лицевого фасада. Основной колоннадой выделен центр здания, но здесь, как уже говорилось, первый этаж украшен пилонами, а общее число колонн — 36. Интересной особенностью постройки выступает тот факт, что колонны первого этажа решены в тосканском ордере, тогда как верхние этажи украшают композитные колонны. Оконные проемы в основном прямоугольные, лишь несколько окон полуциркульные. Завершает фасад здания сложный карниз с консолями. От ушедшей эпохи барокко сохранились лишь оконные украшения — разного вида наличники, замковые камни и другие элементы.
Основные парадные залы располагались на третьем этаже. Центральное место занимал Большой двухсветный зал, рядом с ним по линии Невского проспекта находились
Средний двухсветный зал, два промежуточных и два угловых, овальной формы. В эту часть здания вело две парадные лестницы: первая выходила прямо к Большому залу, вторая — к промежуточным залам.
С самого начала дом служил местом жительства не только семьи владельца, но и посторонних лиц, которым сдавались квартиры внаем. Кроме этого, некоторые помещения снимали для торговли и размещения контор. Но обо всем по порядку.