Сад графа в Нескучном был расположен на полугоре, разбит на множество дорожек, холмов, долин и обрывов и испещрен обычными постройками в виде храмов, купален, беседок. Березовая кора стала, кажется, у него у первого употребляться на украшение для садовых построек, как об этом передают иностранцы.
Все памятники и постройки в этом саду напоминали подвиги и победы графа А. Г. Орлова. Летом ни одного праздника, ни одного воскресенья не обходилось без того, чтобы в саду графа не было каких-либо торжеств и празднеств. Представления на театре графа давались в его похвалу и прославленье. Образы Петра I, Екатерины II и Алексея Орлова, по странному сопоставлению, сменялись один другим, и хоры величали в хвалебных гимнах подвиги победителя турок. Самого графа представляли актеры в образе бога войны.
В манеже его Нескучного постоянно устраивались карусели, и не только вся аристократическая молодежь, но и дочь его, графиня Анна Алексеевна, со своими сверстницами участвовала в них. Она изумляла зрителей, выдергивая на всем скаку копьями ввернутые в стены манежа кольца, а также срубая картонные головы с надетыми на них чалмами и рыцарскими шлемами.
Из сверстниц молодой графини здесь отличались княгини: Урусова (урожденная Хитрово), Гагарина, Н. Ф. Четвертинская, В. Ф. Вяземская и Щербатова. В этом же манеже ездил по утрам, для моциона, наш молодой историк Н. М. Карамзин.
Граф Орлов жил в Москве после смерти своего брата Григория; говорят, Орлов не мог выносить князя Потемкина. Спустя несколько лет, летом 1791 года, граф приехал в Петербург для присутствования в Петергофе на празднествах в день восшествия на престол. На празднестве граф был угрюм и недоволен; после праздников граф уехал обратно в Москву и, пока жива была Екатерина II, никогда уже не приезжал в Петербург.
По смерти государыни Алексей Орлов обязан был посетить Петербург при совершенно иных обстоятельствах, чем прежде. Император Павел вступил на престол и тотчас же вызвал графа Алексея Орлова в Петербург. Легко себе представить, с каким тяжелым чувством он уехал из Москвы и прибыл в Петербург, чтобы явиться перед очи императора. Аудиенция происходила при закрытых дверях; слышен был только горячий разговор. Граф вышел из кабинета императора сильно прихрамывая: Орлов в то время страдал подагрой.
Спустя несколько дней, при погребении императора Петра III, его видели еще больше хромавшим. При торжественном принятии праха Петра III из Александро-Невского монастыря и перенесении из монастыря в императорский Зимний дворец и из дворца в крепость граф должен был идти перед гробом и нести императорскую корону. Не нужно быть очень чувствительным, как говорит очевидец этого случая Гельбиг, чтобы содрогнуться, живо представив себе настроение, в котором должен был находиться Орлов. «Один из первых чинов при императорском дворе, уже в глубокой старости и в болезненном состоянии, он должен был сделать пешком трудный переход более чем в три четверти часа и на всем этом пути был предметом любопытства, язвительных улыбок и утонченной мести!»
После погребения императорской четы, Петра III и Екатерины II, Орлов должен был немедленно уехать, что он охотно и исполнил. При коронации в Москве, когда новый император прибыл в столицу, Орлов с трудом получил разрешение ехать за границу и отправился в Дрезден.
Граф хотел навсегда поселиться в Саксонии и здесь торговал себе поместье, но саксонское правительство, не желая ссориться с тогдашним русским двором, крайне чувствительным к малейшим оскорблениям, постаралось отклонить его от намерения купить имение.
По смерти императора Павла граф возвратился в Москву, где и умер в 1808 году; Орлов скончался в самый Рождественский сочельник, и день отпевания тела его был днем сетования целой столицы. Графа отпевали в церкви Положения Риз Господних, близ Донского монастыря. При выносе гроба сотни тысяч людей, с открытыми головами и со слезами на глазах, творили молитву, а крепостные люди плакали навзрыд.
Так любили москвичи графа за его приветливость и благотворительность. В день похорон графа восьмидесятилетний сержант, чесменский герой тоже – Изотов, тридцать лет служивший в доме графа Орлова и спасший ему однажды жизнь, был в числе провожавших тело, помогал опустить гроб в могилу и тут же мгновенно умер. Дома графа сохранились в целости от неприятельского разорения в 1812 году; в старом доме, где всегда живал покойный, устроена была городская больница; другой, новый дом, сделался царским дворцом; его любимые имения, село Остров и село Хреновое, поступили в состав государственных имуществ.