Как ни пытался Густав III обвинить Россию в воинственном настрое, Разумовский его все же переиграл. За месяц до объявления Швецией войны Разумовский предъявил официальный протест касательно развернувшейся антирусской кампании. Таким образом шведскому двору стало известно, что Россия в курсе всего происходящего.
Но верхом дипломатической и нелегальной игры Разумовского стала записка, которую он опубликовал, обращаясь ко всему шведскому дворянству. В ней недвусмысленно говорилось о том, что Россия «может только повторить уверение своего миролюбия». Конечно же, записка дошла и до короля, вызвав в нем ярость. На следующий день Андрея Кирилловича посетил церемониймейстер шведского двора. Он официально объявил, что Густав III не желает больше признавать графа в качестве чрезвычайного посланника и министра российской императрицы при своем дворе. Это была неслыханная дипломатическая дерзость и полное нарушение международного дипломатического протокола. Разразился тот самый международный дипломатический скандал, которого так жаждал Разумовский. Тогда еще не существовало такого понятия, как персона нон грата, и король не мог лишить ранга человека, которого в этот ранг не возводил. Тотчас же депеши с информацией об инциденте полетели во все европейские представительства России. История получила самую широкую международную огласку, о ней заговорили в главных европейских салонах, при королевских дворах Европы, и Густав, еще не выиграв военную кампанию, полностью проиграл на политической арене.
Густав не мог отказаться от своих претензий и заключить мир, и война продолжалась до 1790 года. Но прежде, чем она завершилась (практически ничем — по Верельскому мирному договору никаких территориальных изменений не произошло, все осталось как прежде), граф Разумовский все-таки был выслан из страны. Причем выслан не просто так, а в сопровождении военного конвоя, что больше походило на экстрадицию военного преступника. И если бы только это! Густав распорядился не давать на корабль Разумовского лоцмана — мол, граф и сам как-нибудь выплывет, ведь он же бывший морской офицер. О том, что лоцмана ему не дадут, Разумовский заранее узнал от королевы и стал тщательно изучать шведское побережье. А заодно и оборонительные сооружения береговой линии Шведского королевства, теперь уже как заправский военный разведчик. Так что он привез в Россию, до которой благополучно добрался, подробные военные береговые карты.
Разумовскому минуло 36 лет, и при всех его многочисленных романах он по-прежнему был одинок. Он мечтал вернуться в Вену, и тому была причина — у графини фон Тун-Гогенштауфен подросли очаровательные дочери, старшая из которых, Элизабет, сумела пленить сердце российского дипломата. Он написал прошение Екатерине, и та пошла ему навстречу: разрешила брак с австрийкой и отправила в Вену на совершенно незначительную для его уровня должность — помощником российского посла князя Голицына. Но Разумовский был просто счастлив. Он приехал в Вену помощником посла, а через некоторое время сам стал полномочным послом и российским министром при австрийском дворе. Пробыв на этой должности долгие семнадцать лет, он возобновил мир между Россией и Австрией. при его участии прошли второй и третий раздел Польши…
В ноябре 1796 года в Зимнем дворце в Петербурге от апоплексического удара скончалась Екатерина Великая, и на русский престол взошел ее сын Павел I. Разумовскому смена власти стоила карьеры. У него не осталось могущественного покровителя, а Павел не умел и не хотел прощать. Вместе с женой Андрей Кириллович был сослан в имение своего отца в Батурин. Но в судьбу графа вновь вмешался случай. и еще какой. После того как Павел был жестоко убит в своем дворце, его старший сын Александр, взойдя на престол, восстановил опального дипломата и разведчика, и Разумовский триумфально вернулся в Вену.
Мотивы Александра I были понятны: на тот момент Европа была обеспокоена появлением дерзкого и амбициозного корсиканца. Наполеон Бонапарт, захватив власть во Франции, желал превратить ее в главную державу на континенте. Правительства европейских государств были не готовы к совместным действиям. Австрия могла стать главной союзницей России в случае войны с Францией, и лучшего помощника в решении этого вопроса, чем граф Разумовский, досконально знавший австрийцев, императору Александру было просто не найти.