Но эта мирная программа повела прежде всего к ожесточенной борьбе между русским послом в Лондоне графом Семеном Романовичем Воронцовым и управляющим иностранными делами в Петербурге графом Никитою Петровичем Паниным — к борьбе, в которой всего лучше отражаются отношения императора Александра к людям, наследованным им от предшествовавших царствований. Автором или редактором приведенной инструкции был граф Никита Петрович Панин, заведовавший почти исключительно иностранными делами, ибо другой парный министр, князь Александр Борисович Куракин, не принимал участия собственно во внешних сношениях. Панин был унаследован Александром от павловского царствования, был деятелем этого времени. Собственно представителем екатерининского царствования из дипломатов оставался граф Морков, принимавший важное участие в последних его событиях, но Морков был отправлен в Париж вести переговоры с первым консулом и наблюдать за ним.
Были еще два старых дипломата, братья Воронцовы, граф Александр и граф Семен Романовичи; по времени своего служения оба они всецело принадлежали екатерининскому царствованию, но в действительности не были и не хотели быть его представителями по фамильным отношениям. Родные племянники елисаветинского канцлера графа Михаила Иларионовича Воронцова, они всеми своими лучшими воспоминаниями и самыми сильными привязанностями принадлежали царствованию знаменитой «дщери Петровой»; будучи родными братьями Елисаветы Романовны Воронцовой, они не разделяли симпатий и антипатий другой своей сестры, Екатерины Романовны (Дашковой), и враждебно встретили переворот 28 июня. Екатерина II, не умевшая удалить от службы способных людей, не удалила от нее и Воронцовых, но не могла питать к ним и особенного расположения; они никогда не могли надеяться на приближение, чувствовали себя постоянно в почетной опале и потому постоянно находились в оппозиции главным силам и их деятельности. Никита Иванович Панин, заменивший канцлера Воронцова (графа Михаила Иларионовича) в управлении иностранными делами, не терпел Воронцовых и заставил графа Александра Романовича покинуть дипломатическое поприще, и этим создал себе и своей политической системе непримиримых врагов в графе Александре и брате его Семене, которые по тесной дружбе составляли одного человека, так что граф Семен, переменивший впоследствии военное поприще на дипломатическое, в переписке своей не щадил выходок против Панина и его управления, видел одни ошибки в его политической системе, в прусском союзе и его следствиях.
Граф Александр, перешедши к делам внутреннего управления, с почетом занимал важные должности, был сенатором, президентом Коммерц-коллегии, но стоял в отдалении собственно от двора, и клиенты Потемкина считали его влиятельным членом кружка, враждебного их патрону; последнее время царствования Екатерины и все царствование Павла он провел вдали от дел. Выше его по способностям был граф Семен, занимавший с 1785 года пост русского министра при лондонском дворе до самой кончины Екатерины. Осыпанный сначала милостями при Павле, он вдруг подвергся опале, был отставлен, имение его конфисковано. Александр по восшествии на престол поспешил отнестись к обоим Воронцовым с особенной лаской и уважением; граф Семен восстановлен был на прежнем любимом месте; граф Александр сделан членом Совета. Граф Семен, оставаясь горячим патриотом, с участием следя за всем, что делалось в России, не мог, однако, не подвергнуться влиянию долгого пребывания вне России и в стране, которая ему по разным причинам очень нравилась, приходилась вполне по его природе, не способной гнуться пред людьми и обстоятельствами, по стремлению к независимости. Министр, которому не очень по душе та страна, в которой он служит представителем своего государства, спокойнее, беспристрастнее смотрит на отношения к ней своего отечества, легко мирится и с мыслью о возможности охлаждения между ними, и с мыслью о возможности покинуть свой пост. Но министр, которому очень нравится в стране, где он пребывает, боится столкновения между ней и своим отечеством как имеющего нарушить его привычные отношения и связи, столь дорогие ему, боится мысли быть принужденным совершенно порвать их и удалиться из любимой среды. Упрек, который делали графу Семену в его пристрастии к Англии, нельзя назвать неосновательным: доказательством служило его неудовольствие на постановление вооруженного нейтралитета, который естественно и необходимо вытекал из национальной русской политики, был на море таким же действием, каким на суше участие России в Семилетней войне и борьба ее с Наполеоном. Но с последнего десятилетия XVIII века положение графа Семена было чрезвычайно выгодно, потому что по необходимости борьбы с Францией тесное сближение России с Англией стояло на очереди, должно было требоваться государственными людьми как необходимость.