Отставка Григория была предопределена его собственным поведением. Охлаждение его к государыне, поспешность, с которой он укатил на переговоры, оставив императрицу (по прибытии на место ему пришлось провести в ожидании тянувших время турок около месяца). Но главной причиной разрыва была конечно же любовь. Бывшие при дворе иностранцы считали, что если бы Григорий оставался пылким любовником государыни, его место не смог бы занять никто. Императрица простила бы все, но женщина не прощает истинного, глубокого чувства к другой. За сменой любовника дело не стало.
Взгляд государыни остановился на одном из командующих царскосельским караулом конной гвардии поручике Васильчикове, тоже высоком, стройном и красивом, с пустой, однако, головой. Для первого сближения ему была подарена табакерка «за содержание караулов», но вскоре награды и повышения посыпались с возрастающей интенсивностью. «Скучнейший гражданин в мире» — так охарактеризовала его вскоре сама Екатерина, что, впрочем, не помешало ей использовать осчастливленного гвардейца не только в качестве привлекательной декорации. А. Васильчиков занял во дворце комнаты Орлова, а во избежание кровопролития на случай внезапного появления бывшего хозяина оных покоев, обладавшего, как всем было известно, большой физической силой и смелостью, у дверей бывшего караульного выставлен был караул для его персональной охраны.
Но караул караулом, здесь пахло только кулаками одиночки… Нельзя забывать, что Средиземноморье бороздили славные российские эскадры под командой Алексея Орлова, там же и Федор командовал десантными войсками. Следовало принять и более серьезные меры предосторожности: императрица опасается хорошо продуманных и решительных контрмер (она допускает, что таковые могут последовать) и отдает приказ губернатору Лифляндии графу Броуну не пропускать в Петербург А. Орлова без ее высочайшего позволения, если тот вдруг объявится в Риге. Опасения ее были напрасны, свою верность отчизне А. Орлов доказал и на этот раз.
Для смягчения удара по Орловым Екатерина приглашает их хозяйственника, Ивана, чтобы обсудить с ним условия, способные урезонить опасных братцев. «Я никогда не позабуду, сколько я всему роду вашему обязана, — говорит Екатерина „старику“ Ивану, — и качеств тех, коими вы украшены, и колико оные отечеству полезны быть могут». И жалует Орловым приглянувшуюся подмосковную Хатунскую волость и 6 тысяч крестьян. Самому Григорию она дарует пенсию в 150 тысяч руб., великолепный Мраморный дворец (недостроенный), серебряный сервиз, ценный тем, что изготовлен в единственном комплекте, собрание из 206 картин и 99 портретов, составивших особую портретную галерею и кое-что из «мелочей», что есть все те «вещи, которые хранятся в камор-цалмейстерской и у камердинеров под именем графским, и о коих граф Григ. Григ, о многих и не знает». А по прошествии года Екатерина дает ему право самому решить, оставаться ли на государственной службе.
Специалисты Государственного Эрмитажа полагают, что портретную подборку подаренных картин составлял сам Г. Орлов. Картины были размещены в штегельмановском доме, затем в Мраморном дворце, а после смерти хозяина распределены по дворцам Павловска, Стрельны, Отрады (село Семеновское Хатунской волости) Владимира Орлова и Эрмитажа. Взамен Екатерина просила Григория в течение одного года не показываться при дворе.
В устах императрицы прозвучало столь малое и столь роковое: «Все прошедшее я предаю совершенному забвению». Но внешне ничего особенного между ними и в этот раз не произошло, после непродолжительного перерыва их отношения на публике оставались прежними, насколько это было возможно. Более того, по наблюдениям иностранцев Григорий в 1775–1776 гг. продолжал оказывать влияние на решения Екатерины.
Волнения, граничащие с беспокойством, нахлынули на весь придворный мир. Появление нового фаворита взволновало дипломатический корпус, почувствовались близкие перемены в отношении императрицы не только ко всему клану братьев Орловых, иностранным послам надо было угадывать изменения внешнего курса. Загрустила и дворцовая прислуга. Граф Сольмс констатировал: «Лакеи и горничные Императрицы озабочены и недовольны: все они знали графа Орлова, привыкли к нему, он их любил и покровительствовал им».