Выполнив положенное, опальный граф, которому именным указом от 31 декабря 1796 г. было отказано в государственной пенсии, назначенной императрицей Екатериной, был практически выслан мстительным Павлом из России и долгое время жил за границей, в Германии. Здесь жил он, как русский барин; двери его дома были открыты всем соотечественникам. Всегда А. Орлов оставался преданным России и правящему императорскому дому. В честь дня рождения императора он каждый год устраивал пышный бал с театром, фейерверком и пир для всех русских, кто желал прийти. В 1798 г. Павел I узнал об этом проявлении верноподданнических чувств и написал благосклонное письмо Алексею Григорьевичу. Но царствовал он недолго…
Едва до Орлова дошли известия о смерти императора и воцарении его сына, Александра I, он сразу же выехал в Россию; внук Екатерины решил и высказал в Манифесте, что в своем правлении он станет возрождать порядки ее великого времени, царствуя «по духу и сердцу премудрой бабки своей», и вызвал к себе всех, кого Екатерина ценила и уважала. Так и графу Орлову-Чесменскому он написал письмо, в котором выражал желание видеть его при своем дворе. 12 марта прошли торжества в честь коронации Александра I, и Орлов участвовал в них, нарядившись в генеральский мундир времен покойной государыни, которой он служил всю свою жизнь. Вскоре после коронации он уехал в Москву, где и прожил до самой смерти, никуда не выезжая, среди друзей и близких. Здесь он был известен и популярен, всеми любим. В 1806 г. графа Орлова избрали командующим городским ополчением, на создание которого он и дочь его положили много средств и сил. От Александра 1 он был удостоен орденом святого Владимира 1-й степени.
В Москве он жил так, как жил всегда: был доступен просящим, не считая, тратил деньги на город и москвичей: «Неограниченно было уважение к нему всех сословий Москвы, и это общее уважение было данью не сану богатого вельможи, но личным качествам»{142}. К одному из его московских домов, что рядом с Донским монастырем, примыкал огромный луг, где была устроена арена для зрелищ.
Здесь частенько устраивались открытые для всех скачки, кулачные поединки и петушиные бои. Рядом с домом был разбит замечательный сад, где любили гулять москвичи. На охоту сам граф уж не ездил, но с удовольствием приглашал желающих. Одним из любимейших развлечений москвичей и приезжих были благотворительные карусели, устраиваемые Орловым-Чесменским. Графиня Анна Алексеевна часто брала на них первые призы за ловкость и умение управляться с конем, а после смерти отца продолжала устраивать рыцарские турниры вплоть до 1811 г. Деньги, собранные с участников и зрителей, пошли тогда на помощь раненым солдатам, офицерам и вдовам погибших. Парадоксально, но в старости княгиня Е.Р. Дашкова примирилась с графом Алексеем Орловым, над которым язвительно смеялась прежде. Известно, что они встречались и нашли друг в друге интересных и остроумных собеседников. Граф Орлов даже устраивал грандиозный бал в честь княгини Екатерины Романовны. Он прекрасно выглядел за год до смерти, хотя и чувствовал себя одряхлевшим. Необычайная сила его еще не оставила, и рассказывалась среди знавших его людей забавная история, как граф Орлов, бывший на концерте у князя Хованского, решил вдруг выйти в другую комнату из общей залы. Хозяин, толстый и огромный, провожал его, хотя Орлов просил его вернуться к остальным гостям. Князь упорствовал в своей вежливости, тогда Орлов, проговорив, что, раз так и князь не слушается, то он отнесет его сам, приподнял Хованского от земли. История доставила много удовольствия и князю Хованскому, и его гостям. Перстень с огромным бриллиантом и портретом императрицы Екатерины Великой, «улыбающейся ему в вечной благодарности»{143}, стал знаком его богатства и былого могущества в глазах многих россиян и иностранцев.
В канун рождества, 24 декабря 1807 г., А.Г. Орлов, прозванный за свой подвиг в Архипелаге Чесменским, умер в Москве. Перед смертью он, согласно преданию, сильно мучился. Чтоб никто не слышал его криков, домашнему оркестру было приказано играть как только можно громко. Весть о его смерти распространилась по Москве быстро, и со всех сторон потянулись к дому Орловых-Чесменских люди, чтобы проститься с тем, кого они так любили. Крепостные, по рассказам очевидцев, которые при жизни были рады услужить барину по первому его слову, плакали.
Вслед за господином в могилу сошел и некий старый моряк, который служил при графе А. Орлове еще во времена Чесмы. Про него говорили, что именно он спас Алексея Григорьевича, когда тот, узнавши о гибели корабля, где находился его брат Федор, едва не потерял сознания и упал бы в море, если бы не сноровка стоявшего рядом матроса. Теперь больше 30 лет служивший Орлову старик был назначен нести гроб графа; хотя силы его были на исходе, он надеялся все же оказать господину последний долг привязанности. Гроб снесли по лестнице, и кто-то подошел сменить верного слугу когда тот, весь в слезах, сказал: «Не знал, что переживу я тебя…» и рухнул замертво…