Но Апраксин отступал, и ожесточение против него становилось все сильнее и сильнее. Из французского и австрийского посольства пошли слухи об интриге, и пошли по всей Европе. Бехтеев писал Воронцову из Парижа 26 сентября: «Мы во всю сию неделю были в великом беспокойстве; после 19 августа писем мы из Петербурга не имели, а из Голландии такие получали ведомости на двух почтах, что только об них подумать, так ужас берет. Одним словом, все несчастия по тем ведомостям у нас сделались; по причине оных и армия пошла из Пруссии с великою торопостию, будто уже ретировалась, оставя множество пушек. Весь город наполнен был сим дурным слухом». Основанием дурного слуха послужил припадок, случившийся с императрицею. 8 сентября, в праздник Рождества Богородицы, Елисавета, жившая в Царском Селе, пошла к обедне в приходскую церковь, в начале службы почувствовала себя дурно и одна вышла из церкви, но, не дошедши до дворца, упала на землю и более двух часов лежала без чувств. Этот случай привели в связь с отступлением Апраксина, начали догадываться, толковать, что Бестужев дал знать о нем Апраксину и потребовал возвращения его в Россию с войском, которое было нужно канцлеру для приведения в исполнение его намерений относительно престолонаследия. Разумеется, кто мог внимательно и спокойно вникнуть в дело, тот должен был понять, что догадка не имеет никакого основания, что припадок с императрицею случился 8 сентября, а отступление решено было на военном совете 27 августа; что если бы была возможность остановиться и идти вперед, то как мог Апраксин не сделать этого по получении стольких строгих указов и узнавши, что императрица оправилась? Что Апраксин ничего не делал сам собою, а только исполнял решения военного совета и как было предположить, что из всех генералов и полковников, подававших голоса на совете, не было ни одного честного человека и патриота, что все они требовали отступления, хотя и знали, что войско может идти вперед, не нуждаясь в провианте и фураже? Но много ли было таких, которые могли вникнуть в дело внимательно и, главное, спокойно? Известно, как падка толпа на предположения, что при каждом важном и неприятном событии действовала интригу злой умысел. А тут сколько было побуждений для подобного предположения: иностранные союзники были озлоблены на Апраксина, отступление которого расстраивало их планы, облегчало Фридриха II, поднимало его дух, освобождало от боязни русского нашествия, давало Левальду возможность переведаться с шведами, а русские вторили иностранцам вследствие оскорбленного патриотизма.
Апраксин во дворце и в конференции нашел себе сильного защитника в графе Петре Ив. Шувалове; но сильнее всех нападал на него канцлер Бестужев, во-первых, из желания прекратить толки о своем участии в отступлении, во-вторых, из враждебного чувства к Апраксину, которое явилось в нем именно вследствие сильного заступничества Шувалова: канцлеру было ясно, что Апраксин очень близок и дорог Шувалову, следовательно, Шувалов считал его вполне себе преданным. Враги Бестужева толковали, что канцлер замешан в дело об отступлении, а Бестужев толковал, что виноват во всем Шувалов; он так защищает Апраксина перед императрицею, что тот не боится никакой ответственности и делает что хочет.
Шувалов, несмотря на всю свою силу, не мог отстоять Апраксина, который должен был сдать начальство над армиею генералу Фермору. Мы видели, что новый главнокомандующий совершенно оправдывал старого и многие были недовольны этим назначением, говорили, что дурные советы Фермора были виною отступления Апраксина и что гораздо лучше было бы дать главное начальство генералу Броуну. Назначение Фермора объясняли единственно особенною милостью к нему императрицы. Но кроме милости было и другое основание назначению: первые военные успехи – занятие Мемеля и Тильзита – были соединены с именем Фермора.
18 октября 1757 года Апраксин получил указ ехать в Петербург и писал императрице, что указ этот «совершенно отчаянную жизнь вновь ему возвратил». В начале ноября Апраксин приехал в Нарву и получил чрез ординарца лейб-кампании вице-капрала Суворова высочайшее обнадеживание монаршею милостию, причем приказано ему отдать все находящиеся у него письма. Причиною этого отобрания писем были письма к Апраксину великой княгини, о которых проведали таким образом: Бестужев, получая их от Екатерины для пересылки Апраксину, показывал их саксонскому советнику посольства Прассе и приезжавшему в Петербург австрийскому генералу Буккову для успокоения их насчет доброго расположения молодого двора к общему делу, потому что в них Екатерина убеждала Апраксина спешить походом. Букков рассказал об этих письмах Эстергази, и теперь, когда захотели повредить Апраксину и Бестужеву вместе, Эстергази сообщил об этой переписке великой княгини с Апраксиным самой императрице, представив это дело очень опасным.