Вернувшись в Россию, 5 июня 1777 г. в церкви Воскресения Христа Копорского уезда Петербургской губернии Орлов обвенчался с Екатериной Зиновьевой. 25 апреля 1780 г. он снова был уволен на два года за границу. Молодая жена серьезно болела. Не спасли ни европейские курорты, ни лучшие врачи. Все дети светлейшего князя от этого брака были мертворожденными.
Екатерина Орлова умерла в Лозанне 27 июня 1781 г. и погребена в местном соборе, а у Григория Григорьевича начались помутнения в рассудке – возможно, вызванные раковой опухолью мозга. Вернувшись в отечество, он умер в Москве 13 апреля 1783 г.
Граф Алексей Григорьевич Орлов-Чесменский, генерал-аншеф и георгиевский кавалер, легендарный победитель флота Османской империи в Чесменском бою, первый русский селекционер, поставивший систему выведения новых пород животных на правильные научное и финансовое основания, был одной из ключевых фигур Века Екатерины. Тридцать тысяч душ – столько человек обреталось во владениях графа. Часть крестьян он перевел на оброк, приветствовал распространение в своих вотчинах и поместьях крестьянского самоуправления. В орловских владениях проходили регулярные выборы, крестьяне выбирали бурмистров и старост, сами определяли раскладку повинностей и порядок рекрутского набора. Мужики Орлова занимались промыслами и торговлей, строили себе каменные дома. В старинном Поречье Ярославской губернии такие дома до сих пор украшают улицы.
17 мая 1782 г. в московской Ризоположенской церкви Алексей Григорьевич обвенчался с Евдокией Николаевной Лопухиной (17.12.1762-21.08.1786), дочерью гвардейского капитана Николая Александровича Лопухина от его брака с Анной Алексеевной Жеребцовой. Евдокия подарила графу двоих детей: Анну (2.05.1785-5.10.1848) и Ивана (21.08.1786-8.10.1788), и умерла от последствий родов. В Метрической книге церкви Ризоположения близ Донского монастыря: 21 августа 1786 г. «у генерал аншефа и всех российских орденов кавалера графа Алексия Григорьевича Орлова Чесменскаго родился сын Иоанн. 23 августа крещен. Восприемником был граф Иван Григорьевич Орлов». 30 июня 1787 г. Граф А.Г. Орлов-Чесменский кланялся в ноги императрице за пожалование сына в капитаны Преображенского полка. 8 октября 1788 г. «у его сиятельства графа Алексия Григорьевича Орлова Чесменскаго умре сын гвардии капитан Иоанн Алексеевич коему от роду было два года и два месяца погребен в Спасоандроньевском монастыре». Смерть жены, а затем и двухлетнего сына Алексей Григорьевич тяжело переживал. Дочь Нинушку воспитывал сам, обучал танцам и верховой езде.
В 1796–1801 гг. по негласному распоряжению Павла I граф находился в изгнании, путешествуя по городам Германии, а после гибели императора вернулся в Россию. Граф поселился в Москве на Большой Калужской, в Майском дворце – бывшей демидовской каменной усадьбе, принадлежавшей его дочери Анне. Здесь он прославился устройством пышных балов и конных выездов, на которые сбегалась смотреть вся Белокаменная. Балы А.Г. Орлова-Чесменского поражали воображение как русских, так и иностранцев. «На балу у графа Орлова я видела, или, лучше сказать, слышала роговую музыку, – писала Марта Вильмот сестре в Англию 24 января 1804 г. – Музыкальная пьеса исполнялась на 40 рогах. Для такого оркестра необходимо уметь 40 исполнителей, потому что каждый рог издает только одну ноту. Судите же сами, какова в этой стране ценность человека и сколько крепостных у этой семьи, если можно держать такое количество людей, единственное назначение которых – дуть в рог».
Очевидец гулянья 1 мая 1805 г. в Москве описал один из выездов графа: «Впереди, на статном фаворитном коне своем, Свирепом, как его называли, ехал граф Орлов в парадном мундире и обвешанный орденами. Азиатская сбруя, седло, мундштук и чепрак были буквально залиты золотом и украшены драгоценными каменьями. Немного поодаль, на прекраснейших серых лошадях, ехали дочь его и несколько дам, которых сопровождали А.А. Чесменский [побочный сын графа – Автор], А.В. Новосильцов, И.Ф. Новосильцов, князь Хилков, Д.М. Полторацкий и множество других неизвестных мне особ. За ними следовали берейторы и конюшие графа, не менее сорока человек, из которых многие имели в поводу по заводной лошади в нарядных попонах и богатой сбруе. Этот поезд графа Орлова, богатого, знатного, тучного и могучего вельможи, с такою блестящею свитою, с таким количеством нарядных служителей, с таким множеством прекрасных лошадей и разнородных экипажей, представляет необыкновенно великолепное зрелище и не может не действовать на толпу народную. Граф Орлов и не одним своим богатством и великолепием снискал любовь и уважение москвичей, он доступен, радушен и, как настояний русский барин, пользуясь любимыми своими увеселениями – скачками, бегами, цыганскими песнями, плясками и прочим, – обращает их также в потеху народа и как будто разделяет с ним преимущества, судьбою ему предоставленные».