И канцлер, и вице-канцлер знали, что окружение рассматривало их как непримиримых соперников, и уже этого было достаточно, чтобы они видели, что между ними брошен нож. Единственным выходом для Воронцова было стать в открытую оппозицию к канцлеру и попытаться завоевать собственный авторитет. Сделать это было легко и выгодно: и страна, и государство, и люди устали от пертурбаций, переворотов и войн, а канцлер не уставал призывать всех к новым испытаниям и утверждению России на европейской арене. Это было полезно и необходимо, но кто в то время полностью разделял эти взгляды? Изоляционизм был в крови русских людей, а заграницу после Петра I его птенцы стали воспринимать лишь как возможность приобщиться к роскоши. Да и этой роскошью могли воспользоваться всего десятка два-три аристократов.
Так что Воронцов мог успешно играть роль «патриота». Для этого не было нужды менять систему — достаточно было ограничиться лёгкой помощью Австрии и Саксонии и пугать Пруссию сильными демаршами и дипломатическими представлениями, не ввязываясь в разорительные войны. Это вполне отвечало и русскому менталитету, и интересам тех же Франции и Пруссии, которые рьяно принялись отрывать Воронцова от Бестужева.
Соловьёв пишет, что позиция Воронцова в прусско-саксонском конфликте — ограничиться лишь денежной поддержкой для Дрездена и ролью посредника между обеими воюющими странами — стала для него роковой. Она сильно не понравилась Елизавете, и она уже без всякой дипломатии дала понять вице-канцлеру, что не возражает, если бы он выехал на некоторое время подлечиться за границу.
29 августа императрица подписала паспорт на выезд Воронцова «в чужие края» и рескрипт ко всем иностранным дворам с извещением о выезде вице-канцлера в Европу. Коллегиальное обсуждение прусско-саксонского конфликта состоялось уже без Воронцова. Париж и Берлин в очередной раз просчитались, верх в борьбе за власть в Коллегии иностранных дел выиграл Бестужев, а Воронцов был вынужден отправиться с женой и секретарём Ф.Д. Бехтеевым в путешествие по Европе. Его маршрут с сентября 1745 года по август 1746 года включал Берлин, Дрезден, Прагу, Вену, Венецию, Рим, Неаполь и Париж. Уезжая, он оставил императрице пророчество о том, что англичане, на которых канцлер делал такую сильную ставку, в конечном итоге подведут Россию и заключат с Пруссией отдельный мир. К сожалению, это пророчество скоро сбылось.
Проезжая через Берлин, Воронцов посетил Фридриха II, чем навлёк на себя дополнительный гнев Елизаветы Петровны. Вернувшись через год домой, он, казалось, окончательно утратил все шансы на то, чтобы при Бестужеве-Рюмине вернуться к занятиям внешней политикой. Но он придёт туда снова, хотя для этого нужно будет «уйти» самого Бестужева-Рюмина.
В октябре 1745 года из Парижа пришла реляция советника миссии Г. Гросса, сильно раздражившая Елизавету Петровну. Гросс докладывал, что во время аудиенции у статс-секретаря МИД Франции Рене-Луид'Аржансона(1694—1757) последний «с порицанием отозвался о канцлере и его брате, почитая их, как и его, Г роса, английской стороне преданными, и что они якобы несходственно с намерениями Её Императорскаго Величества в делах поступают». Императрица указала своему послу в Голландии А.Г. Головкину (1688—1760) предпринять перед французским посланником аббатом де ла Биллем демарш и выразить королю Франции своё возмущение поведением д'Аржансона. Аналогичное указание получил канцлер Бестужев-Рюмин: он должен был «о таких даржансовых поношениях пристойным и по возможности чувствительным образом выговорить» послу в Петербурге д'Аллиону. Конечно, императрица в первую очередь защищала собственную честь и честь страны, но одновременно она вступалась и за своего канцлера, брала его под свою защиту и демонстрировала его обидчикам, что Алексей Петрович пользуется у неё полным доверием.
Послу Головкину в это же время поступил указ Елизаветы о покупке у некоего амстердамского купца крохотной мартышки «сирень, обезьяна, цветом зелёная и толь малая, что совсем входит в индейский орех… и чтоб оную для куриозности бы ко Двору Нашему достать…». Письмо с указом пришло к Головкину за подписью Великого канцлера и вице-канцлера — ко всему прочему им приходилось заниматься и мелкими забавами своей государыни! Мартышка была куплена и доставлена Елизавете Петровне с нарочным курьером гвардии сержантом Валуевым. Неизвестно только, с орехом или без.