Император написал Семену Романовичу, что он считал свой выбор полезным. «Но коль скоро здоровье ваше полагает препоны к исполнению предложенного и желанного мною, и вы опасаетесь жестокостию здешнего климата подвергнуть себя совершенному расстроению здоровья вашего: то, желая соблюсти оное, теперь отдаю совершенно на волю вашу приезд сюда, уверен будучи, что вы в России и вне оной усердием и достоинствами вашими всегда ей полезны будете»21.
После смерти А. А. Безбородко, последовавшей 6 апреля 1799 года, так и не дождавшись приезда Семена Романовича, Павел I назначил Федора Васильевича Ростопчина первоприсутствующим в Коллегии иностранных дел. Таким образом, Ростопчин возглавил Коллегию, но звание канцлера он не получил. И до 1802 года Россия оставалась без канцлера.
Семен Романович писал брату, что как только в Европе будет заключен мир, он отправится в Россию, чтобы поблагодарить императора за его доброту и чтобы обнять Александра, своего любимого брата, и провести с ним несколько месяцев. В другом письме он пообещал, что в ближайший год пошлет к брату своего сына, который очень рад предстоящей поездке в Россию. Ведь он русский сердцем и душой. Однако, к счастью для Семена Романовича и Михаила, их поездки в Россию в тревожное время не состоялись.
Вскоре над головой Семена Романовича снова сгустились тучи. Чаша терпения Павла I переполнилась. Получив от Семена Романовича несколько отказов от предложенных ему высоких должностей, он решил отправить его в отставку. В письме Ф. В. Ростопчина от 4 апреля 1800 года говорилось: «Его Величество, усматривая из неоднократных ваших [писем] разные представления вопреки воле его, приказал вам сказать, что если исполнение оной вам в тягость, то невозбранно вам просить увольнения от службы»22. А от себя Федор Васильевич написал: «Сердце мое обливается кровью, соболезнуя вам. Орошаю слезами ваши руки. Будем плакать вместе. Делать нечего»23.
Предложение императора об увольнении со службы, которая якобы стала Семену Романовичу «в тягость», равнялось приказу. А поэтому 27 апреля 1800 года он отправил в Петербург прошение об отставке. 22 мая Павел I поставил подпись под рескриптом, в котором говорилось, что генерал от инфантерии граф Воронцов всемилостивейше увольнялся со службы с ношением мундира и с разрешением жить с сыном и дочерью там, где ему заблагорассудится. А через месяц император лишил Михаила Воронцова камергерского звания.
15 июня Семен Романович написал последнее письмо императору. Он остался доволен условиями своей отставки: «Припадая к стопам Вашего Императорского Величества, приношу Вам наинижайшую и глубочайшую мою благодарность»24. Кстати, вскоре и Ф. В. Ростопчин был освобожден императором от должности первоприсутствующего в Коллегии иностранных дел.
После выхода в отставку С. Р. Воронцову предстояло дождаться отзывной грамоты и прощального визита к королю. К августу 1800 года он освободился от всех посольских обязанностей и переехал с сыном и дочерью в Саутхемптон — небольшой рыбачий поселок в 80 милях к юго-западу от Лондона на берегу Ла-Манша.
В письмах к брату в Андреевское Семен Романович подробно рассказывал о своей жизни в Саутхемптоне. Встает он спозаранку. После завтрака гуляет по окрестностям поселка. Хозяин квартиры — книгопродавец. За небольшую плату у него можно брать книги на время. Книги легкого содержания, веселые он и дети читают вместе, а с серьезными сочинениями каждый знакомится в своей комнате. Вечерами музицируют, а иногда играют в карты. «Одним словом, — писал Семен Романович, — мы поживаем как нельзя приятнее, и я никогда не был столь доволен и спокоен, как теперь. Я и думать забыл о политике, что так долго не давала мне покоя, и даже отказался от получения лондонских газет, кроме небольшого каждодневного листка, который Миша или Катинька прочитывают мне за завтраком. Наш образ жизни, пожалуй, покажется однообразным, но в частностях он имеет весьма приятные видоизменения, и все мы спокойны и довольны»25.
Александр Романович предложил прислать брату 40 тысяч рублей. Но Семен Романович ответил, что при значительном уменьшении расходов он не нуждается в этих деньгах. Однако стал подумывать о том, чтобы отдать сына в обучение к моряку-торговцу, а для дочери подыскать место наставницы.
Семен Романович продолжал опасаться, что Павел I прикажет ему возвратиться в Россию. Но из Петербурга пришло иное распоряжение, не менее неприятное. В нем говорилось: «Его Императорское Величество высочайше указать соизволил: за недоплаченные Лондонскими банкирами Пишелем и Брогденом казне принадлежащие деньги 499 фунтов стерлингов, 14 шиллингов и 5 пенсов конфисковать на такую сумму имения генерала графа Воронцова; прочее же его имение за пребывание его в Англии взять в казенный секвестр»26.