А Григорий, проведя некоторое время в Царском Селе «на карантине», удалился в Гатчину, где заболел. Императрица присылала ему медика, здесь он получал содержание от двора, дворцовую прислугу, весьма довольную сим назначением. От присланных денег он отказывался «дабы не обременить государство». Вскоре обладатель «львиной отваги при кротости овечьей» и вовсе успокаивается.
Придворные интриганы пытаются добиться от Григория добровольного отказа от всех государственных должностей, на что он неизменно отвечал, что эти вопросы пусть решит сама государыня. В остальном он на все соглашается, поставив лишь одно дополнительное условие — позволение открыто именоваться князем Священной Римской империи. Только 4 октября 1772 г. ему разрешено было называться светлейшим князем.
Судя по всему, отставка Григория от двора на год не состоялась. 1 декабря 1772 г. французский посланник в Петербурге Дюран рассказывал герцогу Дегильону, что, по его сведениям, исходящим от одного из русских придворных, императрица совершенно не занимается государственными делами, будучи поглощенной делами Орловых. Еще и через два месяца, то есть к февралю 1773 г., по его словам, «эта женщина ничего не делает… пока будет поддерживать партию Орловых и заниматься ими — нам ничего не остается делать». Стало быть, Васильчиков служил государыне исключительно в качестве живой игрушки, что ее не устраивало, она нуждалась в мужском плече, о которое можно было бы опереться в делах. Весной следующего года ей выпало счастье: с Григорием Потемкиным она пережила бурный, но скоротечный любовный роман, зато на долгие годы обрела в его лице государственного мужа, советника во всех ее делах. После отставки Потемкина от покоев государыни в них последовательно поселялись лица, составившие в итоге целую галерею портретов.
О справедливости слов Дюрана свидетельствуют следующие факты.
В конце 1773 — начале 1774 г. Алексей, уже хозяином, в предвкушении скорого окончания войны, ездил осмотреть обретенное совместно с братьями село Хатунь и ее окрестности, находящиеся в 80 верстах к югу от Москвы. Владимир уже собирается здесь «вить гнездо». А Григорий 23 декабря появляется в Петербурге, не воспользовавшись ни придворным экипажем, ни положенным ему по должности караулом, никакими другими дворцовыми услугами. Он останавливается у брата Ивана, так как его штегельмановский дом в это время перестраивался, а уже на следующий день встречается, как ни в чем не бывало, с государыней, разговаривает «о картинах» и прочих отвлеченных вещах. Внешне все выглядит как прежде, Григорий весел, шутит даже с Васильчиковым, разъезжает по знакомым. В театре на глазах императрицы он ухаживает за хорошенькими женщинами, всем своим видом показывая присутствующим, что он не изгнан, а может по-прежнему делать все, что хочет. Может, но… сам того не хочет. Уже через пару дней следившие за ним повсюду любопытные глаза отметили, что Г. Орлов избегает двора, стала проявляться никогда не покидавшая его склонность к простой, свободной от церемониалов жизни. А появлялся он на придворном небосклоне, скорее всего, за тем, чтобы заставить утихнуть языки, злорадно обсуждавшие его отставку.
В апреле князь отправился в Гатчину, где по просьбе императрицы должен был встретить ландграфиню Дармштадскую, одна из дочерей которой предназначалась в невесты Павлу Петровичу. Вслед за ним в Царское Село направляется и Екатерина со своей интимной подругой П. А. Брюс (родной сестрой фельдмаршала П. А. Румянцева), по дороге они навещают «Гатчинского помещика», обедают у него, а затем все вместе едут в Царское Село. А на свадьбе Павла Петровича с принцессой Вильгельминой, состоявшейся осенью 1776 г. Григорий Орлов и И. Бецкий держали венцы над головами молодых! Наблюдавший эту процедуру Корберон записал: «Оба супруга приблизились к аналою, возле которого совершалось богослужение. Князь Орлов держал венец над великим князем, а Бецкой над великой княжною. В таком положении молодые трижды обошли вокруг аналоя в сопровождении Орлова и Бецкого, которых эта процедура должна была сильно утомить. Князь часто менял руку, старец Бецкой держал венец все время одною, но она дрожала как лист».
В конце ноября, когда двор вернулся в Петербург из Царского Села на бракосочетание Павла и принцессы Дармштадской, получившей при обряде крещения имя Натальи Алексеевны, князь Григорий также участвовал в маскараде, на котором мужчины наряжались женщинами, а женщины — мужчинами; государыня угадывала под масками кто есть кто.
Лишь к концу зимы следующего года обнаружились первые признаки восхождения нового фаворита. О скрытности интимных отношений Екатерины с прибывшим в Петербург Г. А. Потемкиным свидетельствуют ее письма. 27 февраля 1774 г. она просит его соблюдать осторожность: «Голубчик, буде мясо кушать изволишь, то знай, что теперь все готово в бане. А к себе кушанье оттудова отнюдь не таскай, а то весь свет сведает, что в бане кушанья готовят» [20, 11]. 1 марта государыня рассказывает Потемкину о следующем эпизоде: «Часто забываю тебе сказать, что надобно и чего старалась говорить, ибо как увижу, ты весь смысл занимаешь, и для того пишу. Ал[ексей] Гр[игорьевич] у меня спрашивал сегодня, смеючись, сие: „Да или нет“. На что я ответствовала: „Об чем?“ На что он сказал: „По материи любви?“ Мой ответ был: „Я солгать не умею“. Он паки вопрошал: „Да или нет?“. Я сказала „Да“. Чего выслушав, расхохотался и молвил: „А видитеся в мыленке?“ Я спросила: „Почему он сие думает?“