Но вскоре Ермолова заподозрили в причастности к тайной политической организации, что в какой-то мере было правдой. Его кузен А. М. Каховский создал кружок поклонников Французской революции. Вся деятельность заговорщиков ограничилась сочинением и распространением сатир на Павла I. Ермолова допросили и на два месяца, без суда, заключили в Алексеевский равелин Петропавловской крепости. По выходе из него подполковника отправили в ссылку в Кострому. Чтобы не сойти с ума от скуки, молодой артиллерист самостоятельно выучил латинский и начал читать римскую литературу в подлинниках. Именно «костромскому сидению» Ермолов обязан блестящей «тацитовской» стилистикой своих писем и воспоминаний, которую отмечали многие современники.
Скажем сразу, что тексты Ермолова создавались в те годы, когда литературная норма только вырабатывалась. Причем писались они на родном языке, а не по-французски, как мемуары многих современников. Его мемуары – своего рода языковой эксперимент – попытка обогатить русскую стилистику за счет латинской. Отсюда и необычное порой построение фраз, и некоторая громоздкость конструкций, тяготеющая сразу и к отечественной журналистике XVIII в., и к древнеримским образцам.
Во время ссылки трагическим образом изменился характер Алексея Петровича. Позднее он признавал: «В ранней молодости [Павел I] мне дал жестокий урок». Скрытность, осторожность, умение подстраиваться под сильного, не отказываясь от собственной силы, более того – демонстрируя свою независимость, стали отличительными чертами Ермолова. При этом ему так и не удалось добиться сдержанности языка. Он всегда умел к месту ввернуть острое словцо, ермоловские шутки повторялись и в армии, и при дворе, а его письма и мемуары полны колких характеристик сослуживцев. «Бурная, кипучая натура» не позволяла Алексею Петровичу ужиться ни с равными, ни с вышестоящими. А вот подчиненные его обожали, для них он стал настоящим «отцом-командиром».
Ермолов был участником всех войн с Наполеоновской Францией: в 1805, 1806 и 1807 гг. К началу Отечественной войны он достиг уже звания генерал-майора от артиллерии и занял должность начальника штаба Первой армии, которой командовал М. Б. Барклай-де-Толли. Алексей Петрович попал в непростое положение, поскольку согласовывать действия своего шефа – «ледовитого Барклая» и своего прежнего покровителя – горячего и порой несдержанного Багратиона, руководившего Второй армией, было чрезвычайно трудно.
«За что терпел я от тебя упреки, Багратион, благодетель мой! – восклицал в мемуарах Ермолов. – Я всеми средствами старался удерживать между вами, яко главными начальниками, доброе согласие, боясь малейшего охлаждения одного к другому. В сношениях и объяснениях ваших, чрез меня происходивших, нередко холодность и невежливость Барклая-де-Толли представлял я пред тебя в тех видах, которые могли казаться приятными. Твои отзывы, иногда грубые и колкие, передавал ему в выражениях обязательных. Ты говаривал мне, что сверх ожидания нашел в Барклае-де-Толли много хорошего. Не раз он повторял мне, что он не думал, чтобы можно было, служа вместе с тобою, не встречать неудовольствия. Благодаря доверенности ко мне вас обоих я долго удержал бы вас в сем мнении».
Сложные отношения связывали Ермолова с всесильным графом А. А. Аракчеевым, оказывавшим серьезное влияние на политику Александра I. Долгое время считалось, что Аракчеев тормозил карьеру Алексея Петровича. Однажды на смотру он неодобрительно отозвался о лошадях в конной артиллерии, а в ответ услышал: «Долго ли карьера офицеров армии будет зависеть от скотов?» Казалось бы, забыть такое невозможно. Но именно Аракчеев после Заграничного похода русской армии предложил императору назначить Ермолова военным министром.
Александр I не внял совету. Он не доверял Ермолову, более того, считал выдвижение популярных в армии офицеров крайне опасным для своей власти. «Очень остер и весьма часто до дерзости», – говорил о нем царь. Алексея Петровича ждал Кавказ. В 1816 г. он был назначен командующим отдельным Кавказским корпусом. Вопреки распространенному мнению, эта должность вовсе не была для Ермолова ссылкой. Напротив, он с нетерпением ждал отправления к новому месту службы. В письме к М. С. Воронцову Алексей Петрович признавался: «Мне снится этот дивный край». А при мысли о возвращении в Петербург и участии в вахтпарадах его «мурашки по спине задирали».
У императора были причины подозревать Ермолова в неверности, хотя внешне командующий Кавказским корпусом демонстрировал полную лояльность. Позднее и в разговорах с Пушкиным, и в личном письме Николаю I он настаивал на доверии к нему покойного государя Александра I. Однако его покровительственное отношение к членам тайных обществ, благодушное незамечание их деятельности, дружба с некоторыми из них вызывали серьезное недовольство в Петербурге.