18 марта 1798 года Аракчеев был отстранен от службы с произведением в генерал-лейтенанты. Причиной стали беспорядки в артиллерийских ротах и многочисленные жалобы на жестокость Аракчеева. Впрочем, опала была недолгой: уже в декабре Алексей Андреевич вернулся к исполнению своих обязанностей. На этот раз император назначил его генерал-квартирмейстером, а затем – командиром гвардии артиллерийского батальона и инспектором всей артиллерии. Надо ли говорить, что в армии это назначение встретили глухим ропотом, но открыто выразить недовольство было невозможно… Тем более что император вскоре пожаловал фавориту очередной титул – на сей раз графский – и собственноручно вписал в его герб девиз: «Без лести предан». Однако, к радости подчиненных, в 1799 году Аракчеев вновь попал в немилость. 1 октября 1799 года он был отставлен от службы «с воспрещением въезда в столицу». Причиной отставки послужил недостойный поступок Аракчеева: желая спасти от наказания брата (во время его караула произошло хищение), граф назвал виновным другого офицера. Но вскоре обман раскрылся, и инспектор с позором был изгнан.
В 1801 году, после убийства Павла I, многим казалось, что звезда Аракчеева закатилась теперь уже навсегда. Но, как показало время, напрасно. 26 апреля 1803 года император Александр I собственноручной запиской вызвал Аракчеева в Петербург, а 14 мая последовал приказ о его назначении (уже в третий раз) инспектором всей артиллерии и командиром гвардии артиллерийского батальона. У императора было две причины приблизить к себе Аракчеева: во-первых, он приобретал в его лице преданного человека, во-вторых – оба они отличались пристрастием к муштре. Кстати говоря, к реальным боевым действиям Аракчеев не питал ни малейшей склонности. Когда в 1805 году под Аустерлицем Александр I предложил ему командование одной из колонн, тот немедленно отказался. С тех пор Аракчеев не появлялся поблизости от места ведения военных действий, даже в императорской свите. Как ни странно, этот поступок, который сложно объяснить чем-то иным, кроме трусости, не поколебал мнения Александра о своем придворном. 14 декабря 1807 года император повелел считать приказы Аракчеева столь же обязательными к исполнению, как свои собственные. А 13 января 1808 года Алексей Андреевич был назначен военным министром. Он тут же выдвинул ряд условий своего пребывания на этом посту: отстранения от доклада генерал-адъютанта графа Ливена, передачи военно-походной канцелярии в свое распоряжение и подчинение себе главнокомандующих армиями.
Во время войны со Швецией император направил Аракчеева в Финляндию, предоставив ему неограниченные полномочия. По стечению обстоятельств приезд министра совпал с успешными военными действиями русской армии, и Александр прислал Аракчееву свой орден Андрея Первозванного. Однако фаворит «упросил государя взять орден обратно, что и было милостиво исполнено». Взамен император предписал войскам «отдавать Аракчееву следующие ему почести и в местах высочайшего пребывания».
Справедливости ради необходимо сказать, что педантизм Аракчеева и его стремление к дисциплине и порядку все же имели некоторые положительные результаты. При нем были изданы новые правила и положения, касающиеся военной администрации, упрощена и сокращена переписка, приняты меры к повышению уровня образования офицеров, упорядочена материальная часть.
Положение Аракчеева при дворе и доверие к нему Александра I казались незыблемыми. Однако вскоре он вновь подал в отставку – на сей раз совершенно добровольно, обиженный тем, что проект преобразования Государственного совета, составленный Сперанским, рассматривался императором без его ведома. Причем сделал он это в такой грубой форме, что любой другой на его месте оказался бы в опале до конца своей жизни. Он написал императору язвительное письмо, в котором заявлял, что после прочтения этого проекта ему остается «только сообразить свои собственные познания с разумом сих мудрых постановлений» и уволиться от звания министра. Александр I, немало удивленный вспышкой самолюбия своего фаворита, попытался его образумить. Но Аракчеев настоял на своем. В 1810 году он был назначен председателем Военного департамента вновь учрежденного Государственного совета, а пост военного министра занял М. Б. Барклай де Толли. Тогда же Аракчееву было дано право присутствовать в Комитете министров и Сенате. Несмотря на удачное разрешение конфликта, Аракчеев никогда не смог простить Сперанскому предпочтения, выказанного тому Александром I.
В 1812 году, во время войны с Наполеоном, Аракчеев вновь был призван на военную службу. Среди его записей есть упоминание об этом периоде жизни: «вся французская война шла через мои руки, все тайные повеления, донесения и собственноручные повеления государя». Во время войны Аракчеев почти не расставался с Александром I, и добрые отношения между государем и его фаворитом были восстановлены. Среди придворных ходила знаменитая фраза: «Недаром же в русском гербе двуглавый орел, и на каждой голове корона: ведь и у нас два царя: Александр I да Аракчеев I». Начиная с 1814 года в ведении Аракчеева оказался чрезвычайно широкий круг вопросов. Нередко Александр I принимал с докладами одного только Аракчеева, через которого доходили до государя представления всех министров и даже мнения Государственного совета. Позднее, в августе 1818 года, он был назначен руководителем канцелярии Комитета министров и тем самым получил официальную возможность влиять на принятие важнейших решений. Министры скрежетали зубами: по любому поводу им приходилось идти на поклон к Алексею Андреевичу, а он, пользуясь доверием императора, мог по своему усмотрению распоряжаться информацией, средствами и человеческими судьбами. Александр I доверял своему ставленнику как самому себе. Именно это обстоятельство и стало причиной того, что государь поручил Аракчееву заняться созданием военных поселений.
Идея военных поселений, казавшаяся воплощением абсолютного порядка, занимала императора с 1810 года. Аракчеев, исполнительность которого с годами только крепла, взялся за реализацию этого проекта с той же прямотой и жестокостью, как и за другие поручения. Статья генерала Сервана “Sur les forces frontières des états”, привлекшая внимание императора, была специально для Аракчеева переведена на русский язык – он утверждал, что не знает французского и не стремится его выучить, умело прикрываясь маской «истинно русского неученого дворянина». На фоне этого заявления довольно странно выглядят свидетельства его наставников из кадетского корпуса, которые в один голос утверждали, что Аракчеев свободно читал по-французски, хотя имел плохое произношение, по-немецки же говорил довольно бегло. Кстати говоря, современники Аракчеева, как и многие историки впоследствии, считали одной из его отличительных черт склонность к юродству. Он часто подчеркивал свою необразованность, бедность, демонстративно отказывался от различных почестей (в том числе от звания фельдмаршала), чтобы затем получить гораздо большие.
Как бы то ни было, идея Александра I относительно военных поселений, изложенная в письме от 28 июня 1810 года, привела Аракчеева в полный восторг. Он получил долгожданную возможность перекроить хотя бы небольшую часть мира по своему усмотрению. К широкому насаждению военных поселений Алексей Андреевич приступил в 1815 году. Слова Александра I о том, что поселения «будут во что бы то ни стало, хотя бы пришлось уложить трупами дорогу от Петербурга до Чудова», явились для бывшего военного министра своеобразной индульгенцией. Он мог творить все, что заблагорассудится, – важен был лишь результат, а конкретно – внешний порядок в поселениях. Не обошлось без бунтов: поселяне не спешили радоваться столь своеобразному «счастью», которое для них оборачивалось бессмысленной муштрой, дополнительными работами и чрезмерно строгой дисциплиной. Письма Аракчеева к Александру I полны уверений, что учреждение очередного поселения прошло, «дал Бог, благополучно и мирно».