Недоволен был Семен Романович и засильем иностранцев на русской дипломатической службе в должностях посланников, поверенных в делах и консулов. Он считал, что назначение на эти должности выходцев из чужих стран, принимаемых на службу без всякой осторожности, не согласуется с государственными интересами. Наплыв иностранцев связывали с тем, что среди россиян было очень мало сведущих и образованных. Чтобы таковых стало больше, Семен Романович предложил открыть в Петербурге школу, где бы 25 или 30 бедных дворян обучались русскому и иностранным языкам, а затем на практике в Коллегии иностранных дел готовились к дипломатической службе.
Екатерина II, напуганная революционными событиями во Франции в 1789 и в последующих годах, все более ужесточала внутреннюю политику. После смерти в октябре 1791 года светлейшего князя Г. А. Потемкина-Таврического ее ближайшим помощником стал Платон Зубов. Последний фаворит стареющей императрицы сосредоточил в своих руках огромную власть. Не имея и сотой доли тех достоинств, какими обладал всесильный Потемкин, Зубов спешил превзойти светлейшего князя в обогащении и во вмешательстве в государственные дела. Честным людям служить становилось с каждым годом все труднее и труднее. Многие из них подумывали об отставке. Первым, в конце 1793 года, добился отставки А. Р. Воронцов. С того времени он поселился в Андреевском, родовом имении Воронцовых во Владимирской губернии. В 1794 году ушла в длительный отпуск княгиня Е. Р. Дашкова.
Не оставил Зубов без внимания и Семена Романовича. Он отправлял в Лондон распоряжение за распоряжением, которые, как считал посол, лишь компрометировали русский двор. А поэтому Семен Романович отказывался их исполнять. Тогда Зубов обвинил Воронцова в том, что тот более предан Англии, чем России. Посла стали обходить по службе и «оскорблять презрительными отзывами».
Екатерина II также изменила отношение к своему послу при английском дворе. «В России есть много генерал-губернаторских мест, как, например, вакантное в Москве, где он мог бы быть полезен военной и гражданской службе; однако ж, не к оным влечет его наклонность, а только быть в местах вне государства»6, — заявила она.
Семен Романович был не прочь последовать примеру брата и уйти в отставку. Он хотел покинуть Лондон и поселиться в окрестностях Бата, где жизнь была дешевле, чем в столице, и где можно было найти для сына учителя математики, науки, по его словам, необходимой везде, и которую сын изучал с особой охотой. Но Семен Романович смирил себя ради детей, и в первую очередь ради Михаила. «Любовь моя к сыну, — напишет он впоследствии, — превозмогла мое отвращение к службе, столь же несчастливой, сколько нелестной для меня, и я решился пожертвовать собою, остаться на моем месте еще четыре года, с целью окончить воспитание и научные занятия моего сына, служащего мне единственным утешением»7.
Семену Романовичу не пришлось выносить унижения все следующие четыре года. 6 ноября 1796 года Екатерина II скончалась, и началось царствование ее сына Павла Петровича. А всесилию Платона Зубова пришел, естественно, конец.
Павел I, помня о событиях 28 июня 1762 года, решил отомстить тем, кто помогал его матери взойти на престол и был, хоть и косвенно, виновен в убийстве Петра III, его отца. Из Воронцовых пострадала одна княгиня Е. Р. Дашкова, верная союзница Екатерины II. Сначала ей было приказано не покидать своего имения, а затем она была отправлена в ссылку и жила некоторое время в Новгородской губернии в глухой деревне Коротово, принадлежавшей ее сыну.
Тех же, кто остался верен Петру III, Павел Петрович постарался вознаградить. Среди таковых оказался и Семен Романович. Государь объявил его чрезвычайным и полномочным послом в Лондоне, пожаловал звание полного генерала — генерал-аншефа, наградил высшим российским орденом Св. Андрея Первозванного, подарил несколько имений, возвел Семена Романовича и его братьев в российское графское достоинство. (До этого Воронцовы были графами Священной Римской империи.)
В то время в английских портах находилась русская военная эскадра под командованием контр-адмирала М. К. Макарова. В связи с событиями во Франции и брожением умов в Англии Павел I высказал опасение, что якобинские идеи распространятся и среди русских моряков. И он приказал С. Р. Воронцову немедленно отправить эскадру в Россию. Но на английских военных судах вспыхнул бунт матросов. Бунтовщики завладели кораблями, арестовали офицеров и противились выходу флота в море. Англия оказалась беззащитной перед возможной высадкой на ее территорию французского десанта. В связи с этим английское правительство обратилось к Семену Романовичу с просьбой отложить отправку русской эскадры на родину.