По возвращении в Санкт-Петербург ему устроили грандиозную встречу. В память этого события в Царском Селе была возведена триумфальная арка с надписью: «Орловым от беды избавлена Москва» и выбита медаль с изображением Курция, бросающегося в пропасть: «И Россия таковых сынов имеет».
Неурядицы начались годом позже. После неудачи Орлова на переговорах с турками Екатерина повелела своему любимцу выехать в Гатчину, куда он покорно и отправился. Женщина, по-прежнему любившая Григория Орлова, боролась в Екатерине с императрицей и государыней. В письмах к князю Г. А. Потемкину она неоднократно просит не отзываться дурно о Григории Григорьевиче и между прочим признается, что никак не может забыть его ласк.
Память о былой нежности вскоре нашла свое материальное выражение в виде пенсии в 150 000 рублей, стотысячной суммы на постройку нового дома, а также права жить во всех дворцах Империи, кроме петербургских.
Влияние его и братьев продолжало неуклонно падать, даже и после возвращения Григория Орлова в Петербург. 24 ноября 1773 года, в день тезоименитства императрицы, экс-фаворит поднес ей чудесный, невероятной чистоты и небывалых размеров алмаз, составляющий ныне украшение российского императорского скипетра. В 1775 году Григорий Орлов выходит в отставку, а годом позже, сохраняя верность имени, венчается с Екатериной Николаевной Зиновьевой — своей двоюродной сестрой. Брак этот, считавшийся всеми противозаконным, был спасен императрицей, удостоившей 19-летнюю фрейлину в статс-дамы и наградившей ее орденом святой великомученицы Екатерины Большого Креста, — спасен, однако, ненадолго. Молодая супруга Орлова отличалась золотым характером и плохим здоровьем, вскоре у нее обнаружили признаки чахотки. Не помогли ни лучшие европейские врачи, ни богатство, ни связи — она скончалась через шесть лет после венчания, не оставив потомства.
Смерть ее надломила Григория Григорьевича и, в конечном счете, привела его к полному помешательству. Екатерина II не раз приезжала к больному, ухаживала за периодически впадавшим в буйство князем, и тут намечается любопытное сближение некоторых разделенных эпохами и условностями фигур…
Четвертый по старшинству из братьев Орловых — Федор Григорьевич — произвел на свет сына, заслуживающего, по совести говоря, отдельного жизнеописания. Но прежде стоит вспомнить, что и сам Федор Григорьевич оказал влияние на ход русской истории. Участник заговора 1762 года, он был возведен вскоре в графское достоинство; в 1763 году Орлов уже стал 4-м обер-прокурором Сената; затем в чине генерал-майора участвовал в экспедиции русского флота в Архипелаг. Под предводительством своего старшего брата Алексея Орлова-Чесменского, он произвел высадку в греческой провинции Морее и с ходу, с горсткой людей, взял несколько крепостей неприятеля. В Морее братья Орловы провоцировали восстание греков, возглавить которое должен был Федор Григорьевич. И хотя восстание размаха не получило, вплоть до начала XIX века греки считали Федора Орлова своим национальным героем.
25 марта 1788 года Татьяна Федоровна Ярославова, его гражданская жена, родила ему сына Михаила. Восемь лет спустя судьба в лице Екатерины II словно в предвидении блестящего будущего Михаила специальным указом предоставила ему (наравне с другими воспитанниками Ф. Г. Орлова) дворянские права и герб рода.
«Поздравляю Вас: Ваше имя связано с великим событием», — обняв 26-летнего полковника, сказал Александр I после подписания французами в 1814 году капитуляции, условия которой в расположении неприятельского командования составил Михаил Орлов.
В 1807 году во время войны в Пруссии 19-летний корнет отправлен в ставку Наполеона с предложениями о перемирии, переросшем вскоре в Тильзитский мир.
В биографии Михаила Орлова около пяти встреч с Буанопартом. В 1812 году, будучи во главе разведслужбы штаба 1-й Западной армии, он направлен в ставку Наполеона с предложением разрешить конфликт мирным путем. Собранные Орловым разведданные позволили русскому командованию принять стратегически верные решения о методах ведения войны.
После сражения под Смоленском он вновь в ставке французского императора — на этот раз с целью узнать о судьбе раненого и взятого в плен генерал-майора П. А. Тучкова-Зего. Там он имел разговор с Наполеоном, который просил передать русскому командованию о своих намерениях — начать мирные переговоры. Михаил Орлов отвечал, что предложение передаст, добавив, что сам не верит в возможность мира, пока французы остаются в России. Разведданные, собранные в этой поездке, отмечены в рапорте М. И. Кутузова царю.