Разумовский и с Шуваловым, и с другими фаворитами находился в столь же приятных отношениях, как и с Бекетовым. Впоследствии, по вступлении на престол Екатерины II, он совершенно отказался от двора и вел жизнь уединенную, выезжая только в церковь.
Вскоре по вступлении на престол Екатерины II Григорий Григорьевич Орлов, стремившийся занять положение, подобное положению Разумовского, сказал императрице, что брак Елизаветы, о котором пишут иностранцы, действительно был совершен, и у Разумовского есть письменные на то доказательства. На другой день Екатерина велела графу Воронцову написать указ о даровании Разумовскому, как супругу покойной императрицы, титула императорского высочества и проект указа показать Разумовскому, но попросить его, чтоб он предварительно показал бумаги, удостоверяющие в действительности события.
"Такое приказание, — рассказывал впоследствии граф С. С. Уваров (в Варшаве за обедом у наместника, князя Паскевича), — Воронцов слушал с величайшим удивлением, на лице его изображалась готовность высказать свое мнение, но Екатерина, как бы не замечая того, подтвердила серьезно приказание и, поклонившись благосклонно, с свойственною ей улыбкой благоволения, вышла, оставя Воронцова в совершенном недоумении. Он, видя, что ему остается только исполнить волю императрицы, поехал к себе, написал проект указа и отправился с ним к Разумовскому, которого застал сидящим в креслах у горящего камина и читающим священное писание.
После взаимных приветствий, между разговором, Воронцов объявил Разумовскому истинную причину своего приезда; последний потребовал проект указа, пробежал его глазами, встал тихо с своих кресел, медленно подошел к комоду, на котором стоял ларец черного дерева, окованный серебром и выложенный перламутром, отыскал в комоде ключ, отпер им ларец и из потаенного ящика вынул бумаги, обвитые в розовый атлас, развернул их, атлас спрятал обратно в ящик, а бумаги начал читать с благоговейным вниманием.
Все это он делал, не прерывая молчания. Наконец, прочитав бумаги, поцеловал их, возвел глаза, орошенные слезами, к образам, перекрестился и, возвратясь с приметным волнением души к камину, у которого оставался граф Воронцов, бросил сверток в огонь, опустился в кресла и, помолчав еще несколько, сказал:
"…Я не был ничем более, как верным рабом ее величества, покойной императрицы Елизаветы Петровны, осыпавшей меня благодеяниями выше заслуг моих. Никогда не забывал я, из какой доли и на какую степень возведен был десницею ее. Обожал ее, как сердолюбивую мать миллионов народа и примерную христианку, и никогда не дерзнул самою мыслию сближаться с ее царственным величием. Стократ смиряюсь, воспоминая прошедшее, живу в будущем, его же не прейдем, в молитвах к вседержителю. Мысленно лобызаю державные руки ныне царствующей монархини, под скипетром коей безмятежно в остальных днях жизни вкушаю дары благодеяний, излиянных на меня от престола. Если бы было некогда то, о чем вы говорите со мною, поверьте, граф, что я не имел бы суетности признать случай, помрачающий незабвенную память монархини, моей благодетельницы. Теперь вы видите, что у меня нет никаких документов, доложите обо всем этом всемилостивейшей государыне, да продлит милости свои на меня, старца, не желающего никаких земных почестей. Прощайте, ваше сиятельство! Да останется все происшедшее между нами в тайне! Пусть люди говорят, что им угодно; пусть дерзновенные простирают надежды к мнимым величиям, но мы не должны быть причиной их толков".