На судьбе Воронцовых не замедлили отразиться новые события. Княгиня Дашкова, которой Павел I терпеть не мог за ее нрав, была выслана в село Горетово; положение Александра Романовича, приютившего уволенного Лафермьера, было сначала тоже незавидным, хотя оно скоро поправилось, благодаря тому, что Безбородко, приятель старшего Воронцова, возымел большое влияние на дела и, как известно, был осыпан неожиданно для многих милостями государя. Впрочем, все действия императора Павла I носили неожиданный и внезапный характер, и даже его любимцы должны были хорошо помнить, что от Капитолия недалеко и до Тарпейской скалы. Но в отношении графа Семена Романовича на первое время дело обстояло благополучно.
Прежде всего государь знал о поведении младшего Воронцова во время воцарения Екатерины II, и уже этой одной причины было достаточно для того, чтоб наш английский посол не беспокоился за свою судьбу. Но кроме этого за него был предстателем горячий его почитатель Федор Васильевич Ростопчин, в первое время игравший очень влиятельную роль при государе.
Хотя при постоянных сношениях со своими друзьями и знакомыми при дворе Семен Романович и знал о неустойчивом характере склонного к крайним увлечениям своего повелителя, но в первое время он получил ясные указания благоволения государя. В начале царствования Павел I пожаловал Семена Романовича чином генерала от инфантерии с повышением в звание чрезвычайного и полномочного посла в Лондоне. “Знайте, – писал ему на другой день по смерти Екатерины II Ростопчин, – знайте, что вы сами и труды ваши угодны и нужны императору”. Впрочем, все вожделения посла за это время не заходили дальше скромного желания – остаться в Лондоне посланником. Он вовсе не желал ехать в Россию, так как знал, что, живя в Петербурге, должен был по званию “полного генерала” являться на ранние упражнения и тяжелые вахтпарады Павла I, на что посол при своем плохом здоровье не считал себя способным.
Тут, конечно, действовало и опасение характера государя, отношения с которым на расстоянии казались безопаснее. Спустя некоторое время по воцарении, настроение государя оказалось благоприятным даже по отношению к графу Александру Романовичу, которого приятели (Безбородко и другие) вызывали опять на службу, но “осторожный” Воронцов, вероятно, зная хорошо, с кем бы ему пришлось иметь дело, не выходил из своего подмосковного уединения, хотя это, кажется, в свою очередь упрочило против него предубеждение государя.
В коронацию Павла I (5 апреля 1797 года) Семену Романовичу была дана одна из самых высших наград – Андреевская лента и он возведен в графское достоинство Российской империи (до того Воронцовы считались графами Немецко-Римской империи). Кроме того послу подарены имения в Финляндии, а дочь получила звание фрейлины императрицы. Вскоре за тем и сын Семена Романовича, 16-летний Михаил, по просьбе отца был отчислен из списков гвардии и прямо, помимо звания камер-юнкера, пожалован в камергеры с оставлением при отце для занятий в посольстве.
Но среди этого потока милостей встретилось одно обстоятельство, которое сразу могло иметь опасные последствия для графа. Этообстоятельство рисует нам самостоятельность Семена Романовича, не побоявшегося, в интересах дела, ослушаться приказания даже императора Павла, с характером которого посол уже достаточно ознакомился.
В английских портах стояла русская эскадра адмирала Макарова, назначенная для совместных действий с английским флотом против французов; император приказал ей через посла возвратиться домой. В это время в английском флоте вспыхнул опасный бунт, матросы овладели большинством кораблей, и берега Англии оставались беззащитными против голландцев и французов. Посол, по отчаянной просьбе лорда Гренвиля, решился на свой страх оставить эскадру почти на три недели более чем было приказано государем. Это спасло Англию от покушений голландского флота. За этот поступок посла, решившегося ослушаться государя, не терпевшего ни малейшего сопротивления своей воле, трепетали друзья Семена Романовича. Но гроза миновала благополучно.
Между тем характер государя начинал все более и более выясняться. Даже Ростопчин попал в немилость, и это только за то, что не успел в несколько минут прибыть во дворец по приглашению государя. Поэтому не удивительно, что Семена Романовича нисколько не обрадовало предложение Павла I быть вице-канцлером в помощь болевшему Безбородко. Но замечательно обдуманным и тактичным письмом Семен Романович устранил от себя эту честь. Затем последовало новое приглашение императора, ввиду ожидавшейся смерти Безбородко, занять могущую открыться вакансию канцлера – и, казалось, отступление было невозможно. Воронцов снова послал государю замечательное письмо, а сам все-таки стал готовиться к отъезду из Англии, с нравами и климатом которой он уже свыкся. Из переписки посла за это время видно, какие мрачные предчувствия и даже уверенность в близкой гибели тяготили его. Но и тут дело обошлось благополучно: Павел I разрешил послу оставаться в Англии, не неволя его приездом на родину, “будучи уверен, – по словам рескрипта, – что он и вне России будет ей полезен”. Но на этом пора добрых отношений между императором и его английским послом кончалась: Семену Романовичу приходилось испивать общую со всеми чашу – неожиданных немилостей и кар. В Европе на ту пору происходила страшная суматоха. Успехи революционной Франции и ее консул, одерживавший блестящие победы, грозили всему тогдашнему режиму. Но ни коалиции, ни союзы против республики не помогали: она гигантскими шагами шла к господству в Европе. Павел I тоже не оставался равнодушным зрителем событий, колебавших троны его царственных “братьев”. Мы примкнули к Австрии и Англии, но последняя, по обыкновению, эксплуатировала нас и не сдерживала постановлений трактата. Больше всего обиделся государь на Англию за то, что она, вопреки договору, удержала за собою остров Мальту, а между тем Павел I был великим магистром Мальтийского ордена. Союз с Англией висел на волоске, и Семен Романович старался его спасти, делая соответственные представления государю. Но 4 апреля 1800 года граф получил “реприманд”, официальное письмо Ростопчина, что “Его В-во, усматривая из донесений ваших разные представления вопреки его воле, приказал вам сказать, что если исполнение оной вам в тягость, то не возбраняется вам просить увольнения от службы...” Это официальное письмо сопровождалось другим (шифрованным), в котором Ростопчин писал, между прочим: “Если с вами так поступают, то что ждет меня? И могу ли я оставаться? Орошаю слезами ваши руки... Будем плакать вместе!”
Не успел граф даже послать объяснений по поводу гневных замечаний Павла I, как получил от него уже вторую “неожиданность” (рескрипт 13 апреля 1800 года): “Находя, по малому числу дел, что присутствие ваше в Англии не совсем может быть нужно, позволяю употребить сие время на поправление вашего здоровья и отправиться к водам”.