Перед переездом Г.Г. Орлова в усадебный особняк на Мойке в нем сделали косметический ремонт, перепланировку некоторых жилых помещений и покраску фасада здания. Поселившись на Мойке, фаворит прославился роскошными балами, маскарадами и богатыми пирами, на которых присутствовала императрица и высшая столичная знать. Историки отмечали, что «людям той эпохи свойственна была детская непосредственность, и невольно поражаешься, читая, как престарелые вельможи в лентах и орденах могли весело играть в горелки или прыгать на одной ножке, а после этого важно шествовать в Сенат заниматься государственными делами».
Как и императрица Елизавета Петровна, Екатерина II любила маскарады, дававшие ей возможность переодеваться в мужской костюм. Императрица охотно посещала такие праздники. В Камер-фурьерском журнале сохранились множественные записи о посещении Екатериной II балов, маскарадов и застолий в доме графа Г.Г. Орлова на набережной реки Мойки: «27 декабря 1765 года. Вчерась ввечеру Ее Величество изволила быть у графа Григория Григорьевича Орлова в Штегельманском доме, что на Мойке, там, как сказывают, компания была человек около шестидесяти. Ее Величество возвратиться изволила в час по полуночи. Ужин там был, танцы, песни, пляски и святошные игры. Гости часа в четыре по полуночи разъехались».
В августе 1780 г. граф Г.Г. Орлов из особняка на Мойке переехал в Мраморный дворец. Все те же «Санкт-Петербургские ведомости» сразу же опубликовали объявление дворцовой конторы, обращенное к строительным подрядчикам, «желающим исправить нынешнем временем в Штегельмановом доме, состоящем в ведомстве конторы строения домов и садов, в главном корпусе и флигеле разные работы».
Осенью 1780 г. Императорская контора строений приступила к серьезной перестройке особняка Штегельмана. Считают, что весь комплекс перестроечных работ проводился под личным контролем бессменного директора конторы архитектора Ю.М. Фельтена.
Очередным обитателем ведомственного особняка после окончания капитальных ремонтных работ в здании оказался граф Фридрих Ангальт, приглашенный на службу в Россию Екатериной II, поручившей ему пост директора Сухопутного кадетского корпуса. Граф Ф.Е. Ангальт посвятил себя воспитанию будущих офицеров. Приступив к работе в 1783 г., Федор Евстафьевич вплоть до своей смерти в 1794 г. отдавал все свои знания и опыт заботам о своих подопечных. Расходуя собственные средства, граф укомплектовал корпусную библиотеку, организовал новейшие учебные кабинеты, значительно повысил эффективность работы по овладению кадетами военными практическими навыками, укреплению их физического здоровья и рациональному режиму в свободное от занятий время. Кадеты искренне уважали и любили своего патрона.
Директора Сухопутного кадетского корпуса люто ненавидел Г.А. Потемкин, обвиняя старого вояку во всех смертных грехах. Князь неоднократно жаловался императрице, требуя его отставки и замены генерал-майором Паленом. Однако Екатерина II не сочла целесообразным удовлетворить просьбу светлейшего князя Г.А. Потемкина и оставила Ангальта на посту директора корпуса.
20 мая 1794 г. граф Фридрих Ангальт скончался. Опустевший после его смерти особняк на набережной реки Мойки (граф не имел семьи) перешел к новому, весьма необычному постояльцу. В огромный усадебный дом перевели из каземата Петропавловской крепости руководителя польских повстанцев Тадеуша Костюшко, взятого в плен после подавления народного мятежа.
Переезд для мятежного поляка организовала Екатерина Великая, 19 сентября 1795 г. она известила своего хорошего знакомого барона Гримма, рассказывая в письме о Костюшко: «Он все хворает, поэтому я и поместила его в доме Штегельмана, где прежде жил покойный граф Ангальт; при доме небольшой садик, и там он может гулять. Он кроток, как овечка…»
Арестованному предоставили несколько комнат в первом этаже. Польский мятежник жил там под охраной пехотного майора, составлявшего ему компанию за обеденным столом и во время прогулок в саду. Костюшко много читал, рисовал и освоил токарные работы по дереву.
Из русского плена Тадеуша Костюшко освободил император Павел I. Павел Петрович потребовал одного – честного солдатского слова не воевать больше против России, щедро одарил поляка и позволил уехать в Америку.
Федор Астафьевич Ангальт