Друзья Воронцова были уверены, что пребывание в Великобритании после отставки не принесет ему затруднений, но они ошиблись. В.Н. Александренко отмечал, что вскоре за Воронцовым был установлен тайный надзор, а в феврале 1801 года император Павел повелел: «За недоплаченные лондонскими банкирами Пишелем и Брогденом казне принадлежащие деньги четыреста девяносто девять фунтов стерлингов четырнадцать шиллингов и пять пенсов конфисковать на такую сумму имения генерала графа Воронцова; прочее же его имение, за пребывание его в Англии, взять в казенный секвестр». Семен Романович и его друзья считали такое отношение к известному дипломату несправедливым.
После увольнения графа Воронцова из-за отсутствия официального посланника при Лондонском дворе священнику посольской церкви Я.И. Смирнову было поручено наблюдать за развитием ситуации в Англии и сообщать обо всем в Россию. Высочайший рескрипт от 29 сентября 1800 года гласил: «…препоручается вам (Смирнову) извещать Государя обо всем, что вы узнать можете касательно до предприятий, вооружений, отправлений, переводов денежных и торговых оборотов англичан в течение настоящей осени и зимы».
На горизонте замаячила новая война между Россией и Англией. Британский флот бесконтрольно господствовал на море, начались захваты иностранных судов. В 1800 году Россия выступила с предложением к Дании, Пруссии и Швеции восстановить принципы вооруженного нейтралитета и тем самым обеспечить свободу и безопасность морей. Император Павел наложил эмбарго на все британские корабли, а имущество англичан, проживающих в Петербурге и других городах, было арестовано.
В ответ англичане заняли Мальту и подняли в Ла-Валетте британский флаг. Я. Смирнов доносил в Петербург о том, что начался захват русских судов у берегов Великобритании. В ответном письме Ф.В. Ростопчин писал: «Полученное здесь известие о наложении в Англии эмбарго на суда российские и товары, а равно и экипажи, на них находящиеся, побуждает на отзыв из Англии как вас самих с чинами миссии, так и всех ведомства адмиралтейства и морского департамента чинов». Священнику Смирнову поручалось отправить на родину, прежде всего, флотских офицеров, корабельных мастеров и прочих чиновников, не принадлежащих к российскому ведомству иностранного департамента. Затем ему следовало самому, вместе с членами русской миссии, забрав архивы и казенные деньги, отправиться в Гамбург. Согласно полученным указаниям, Смирнов раздобыл паспорта для чиновников миссии барона Николаи, Ханенка и Жеребцова и отправил барона Николаи в Копенгаген, а остальных — в Петербург. Через Жеребцова Смирнов передал в Петербург письмо, в котором уведомлял, что в Лондоне задержаны русские офицеры.
Якову Ивановичу Смирнову, оставшемуся «на хозяйстве» в период обострения русско-английских отношений, приходилось непросто. Он заботился о содержании казенного посольского дома, русской церкви и уплачивал содержание оставшимся в Англии офицерам. Ассигнованных средств не хватало, и потому приходилось занимать и жить в долг. Кстати, по повелению императора Александра I в 1808 году была сделана попытка продать посольский дом за выгодную цену. В тяжелые дни Смирнов поддерживал отношения с находившимся в опале графом С.Р. Воронцовым и советовался с ним в затруднительных ситуациях. В 1800 году он писал Семену Романовичу в Саутгемптон: «По их приказу (англичан) я должен здесь оставаться… Считаете ли вы, ваше сиятельство, сей случай выгодным для меня представить о моих долгах, и об опасении, что, если двинусь, посадят в тюрьму».
Английская эскадра под началом адмиралов Паркера и Нельсона в марте вышла в Балтийское море с целью наказать Данию и Швецию и уничтожить русский флот, зимовавший в то время в Ревеле. Со своей стороны император Павел тоже готовился к войне и намеревался нанести удар по Индии — одному из форпостов Великобритании. Только неожиданная кончина императора Павла разрушила этот план.