Григорий после долгой бурной и блестящей жизни обрел покой и ушел в почти затворническую жизнь. Ничего ему было не нужно, кроме любимой Катеньки. Два года прожили молодожены в штегельмановском доме, при дворе говорили, что «Орлов неразлучен со своей женой» и что теперь «никакая побудительная причина не заставит его принять участие в делах». Потемкин уже открыто издевался, говоря, что Г. Орлов совсем с ума спятил. Молодые все же изредка появлялись при дворе, 14 февраля 1778 г. они присутствовали на празднике по случаю рождения внука Екатерины, будущего императора Александра Павловича.
Григорий сообщает П. Румянцеву, что письмо его «от 7 числа сего февраля, я имел честь получить 15 дня. И при том для высочайшего ее императорского величества стола две дикие козы, которые, по устройстве, на высочайший стол поданы, и оказались угодны. И ее императорское величество всемилостивейше соизволила указать, за оные ваше сиятельство благодарить, что сим и донести… честь имею» [46].
В июле 1778 г. Г. Орлов отправился якобы в свадебное путешествие в Швейцарию, но подозрительно быстро возвратился. Э. Радзинский предполагает, что истинной целью этой поездки могло быть задание Екатерины доставить в Россию дочь Елизаветы Петровны от морганатического брака с Г. Разумовским Августу Тараканову. По возвращении из этой поездки за Григорием стали замечать странности.
Финансовые дела его тоже оставляли желать лучшего. Катенька, готовясь с мужем за границу, еще в 1776 г. продала свою усадьбу Коньково императрице, которая велела разобрать усадебный дом. Как утверждает И. Сергеев, этот дом перевезен был в Царицыно и находится сейчас под № 10 на улице Дольской. Он был известен как «дом дворцовой волости» (в нем с 1776 по 1917 г. располагались управляющие царскими землями в Московском уезде). Памятник из коньковской усадьбы в виде увеличенного верстового столба находится ныне в Донском монастыре. По просьбе Григория Екатерина дает указание Сенату разрешить ему заем под залог 10 тыс. душ крестьян в Ярославском, Ростовском и Копорском уездах, Сальминского погоста в Выборгском уезде и мызы Лоде в Эстляндии. Супруги снова собираются за границу, Григорий не забывает позаботиться о своих людях, просит ярославского генерал-губернатора: если будут заходить его крестьяне, «в случившихся нуждах их не оставить».
К весне 1780 г. у Е. Орловой-Зиновьевой обнаруживаются признаки чахотки, а у ее мужа — какие-то странные «припадки мнительности». Доктора говорили, что Григорий страдал ипохондрией — болезненным страхом перед неизлечимыми болезнями (те же признаки отмечали и у Ивана Орлова). Молодая княгиня страстно хотела иметь детей, а прошло уже около трех бесплодных лет… Супруги отправляются за границу на лечение.
Параллельно с лечением Г. Орлов встречается с известными людьми. Из Брюсселя Орловы перебираются на месяц в Эмс, оттуда в Ахен, а в августе — «в Спа», в Ганновер, где навестил их и Алексей Орлов. 24 августа братья нанесли визит находившемуся там шведскому королю Густаву III, а на следующий день у него обедала княгиня Орлова, одетая в шведский придворный костюм. Она привела в восхищение короля, совершенно простившего ей отсутствие на вчерашнем приеме.
Присутствия духа Григорий не терял. Получив сообщение о женитьбе С. Р. Воронцова на свойственнице Орловых Е. А. Сенявиной, он поздравил молодых, предложил им поселиться у него в Гатчине и далее пишет: «Я уже в запас радуюсь, что у нас в Гатчине молодые поживут. Целуйтеся между собой и поспорьте: кого-то я из вас больше люблю».
Лечение за границей не принесло ожидаемых результатов, скорее всего, не следовало ездить туда вообще. При дворе в Петербурге говорили, что Орловы бегают «от шарлатана к шарлатану», и, видимо, были недалеки от истины. Барон Гримм писал, что в Брюсселе Орлов «попал в руки английского медика, известного шарлатана, который давал ему средства, способные убить лошадь» и что он стал чувствовать себя хуже. Дальберг замечает, что князь сильно постарел. В конце года Орловы снова едут в Париж, потом в южные провинции, отчаявшийся Григорий собирается ехать в Швейцарию на поиски какого-то знахаря Мишеля. Тот же Гримм сообщает: «Я думаю, что если бы они оба захотели отказаться от лекарств и шарлатанов, то были бы здоровы, но княгиня воображает, что лекарства помогут ей произвести на свет маленького князя Орлова». В ответе государыня просит передать Г. Орлову, чтобы он по возможности привез в Россию наследника.