В 1777 году энергичный и талантливый сибирский генерал-губернатор, незаслуженно потерявший доверие русской императрицы, вынужден был добровольно подать в отставку и оставить важный административный пост на севере Российской империи. Его брат Николай Иванович также практически самоустранился от государственных и общественных дел, около пяти лет никуда не выходил, и многие его знакомые, даже весьма близкие друзья, тогда были уверены, будто он еще в 1777 году скончался от апоплексического удара непосредственно в Зимнем дворце во время учиненного ему Екатериной II жестокого выговора. После смерти Николая Ивановича у него обнаружилось столько долгов, что его наследники вынуждены были срочно продать поместья и деревни в Тамбовской и Пензенской губерниях, дома в Петербурге и имения в Эстляндской губернии. Подобному, между прочим, никто не удивился, ибо итог широкого гостеприимства земного существования представителя старинного дворянского рода по тем временам отнесли к довольно частым рядовым событиям.
Для погашения всех долгов своего умершего в 1782 году опального батюшки Н. И. Чичерина его наследники – сыновья Александр, Василий и Дмитрий – вынуждены были срочно заложить отчий «дом с колоннами» в Опекунский совет за 30 000 рублей. А позже, в 1792 году, даже продать подаренный Екатериной II значительный по своим размерам престижный участок земли, ограниченный правым берегом реки Мойки, Большой Морской улицей и Невским проспектом вкупе с родительским особняком дворцового типа и многочисленными внутренними хозяйственными дворовыми строениями князю Алексею Борисовичу Куракину (сыну гофмейстера Бориса Александровича Куракина и Елены Степановны Апраксиной и брату князей Александра и Степана, получивших блестящее образование за границей и занимавших важные государственные посты в период правления императора Павла I).
С этого времени знаменитый «дом с колоннами» повторяет судьбу многих своих столичных собратьев – переходит из рук в руки различных владельцев, постепенно меняет облик внутренних помещений и их функциональное назначение, переносит невзгоды и исторические перемены. Однако отрадно отметить, что, несмотря на неоднократные внутренние переделки в доме различными его владельцами, общий наружный облик здания, построенного обер-полицмейстером Санкт-Петербурга Н. И. Чичериным, за истекшие более чем две с половиной сотни лет не претерпел особых изменений. Основа особняка дворцового типа осталась прежней.
Новый владелец «дома с колоннами», князь, камергер и тайный советник Алексей Борисович Куракин, прослужив несколько лет в элитном Конногвардейском полку, в период царствования императора Павла I завершает свою блестящую военную карьеру и занимает весьма ответственные государственные посты. Император назначает его генерал-прокурором с чином действительного тайного советника. При подобном ответственном назначении Павел Петрович обеспечивает князя довольно широким кругом государственных полномочий, позволяющих государственному чиновнику оперативно решать многие важные вопросы внутреннего управления Российской империи.
Современники и сослуживцы члена Государственного совета князя А. Б. Куракина довольно нелестно отзывались о нем. По их воспоминаниям, князь обладал довольно заносчивым характером и в свете считался спесивцем и зазнайкой. Князь И. М. Долгоруков, некогда известный поэт, знавший князя Алексея Борисовича весьма близко, вспоминал о нем: «Сановник являл собой пример гордеца, не склонного уважать самолюбие окружавших его людей. Он во всем всегда следовал своим капризам и сиюминутному расположению настроения. Всякий знак его внимания, даже самого благодетельного, был тяжел, потому что покупался не столько подвигами, званию свойственными, как разными низкими угождениями, кои так противны благородному сердцу».
Алексей Борисович Куракин
Женив своего весьма способного в делах секретаря Л. С. Кармалеева на своей внебрачной дочери и поселив молодую семейную пару в своем доме, князь Алексей Борисович фактически передал секретарю все текущие дела по своему Департаменту государственной экономии, которым тогда заведовал. Вездесущий же Кармалеев лихо и довольно умело практически руководил всеми делами этого важного государственного департамента, никогда не забывая о своей финансовой выгоде, естественно, нанося при этом немалый ущерб российской казне. В секретном донесении агента Третьего отделения приводятся весьма нелестные отзывы о роли князя и его доверенного лица Л. С. Кармалеева в текущих делах этого государственного учреждения: «Кармалеев женат на побочной дочери князя Алексея Борисовича Куракина, живет в его доме и занимается всеми его делами, пишет ему мнения, ворочает всем, что зависит от Куракина, и наживается всеми возможными средствами. Он принадлежит к разряду подьячих, весьма искусен в так называемых крючках, а впрочем, повинуется безусловно страстям Куракина, который иначе не действует, как по внушению страстей».