Александру I, размышлявшему о поселениях, «рисовались в будущем идиллии Геснера, садики и овечки». Аракчеев демонстрировал императору и овечек, и садики, а тот, периодически осматривая поселения, оставался крайне доволен эстетическим порядком: стройными линиями связей (так назывались типовые дома на две семьи), четким режимом опрятных поселян (подъем — по гонгу, строевая служба — по гонгу, полевые работы — по гонгу, дойка коров — по гонгу и т. д.), чисто выметенными улицами, ровными дорогами, осушенными болотами, новыми мостами. Поселяне классифицировались по различным признакам: по оседлости различались коренные жители и поселенные солдаты, по возрастам — инвалиды, солдаты и кантонисты. Каждый разряд имел свое обмундирование; форма шилась и для детей, которых еще малолетними зачисляли в кантонисты и впоследствии обучали в специальных школах (женщины должны были каждый год прибавлять к новой породе людей по мальчику, а если рождалась девочка, — платить штраф). Духовные лица также были облачены по уставу военных поселений: «благочинные и старшие священники имели обязательно форменные рясы темно-зеленого сукна с красным подбоем, а рядовые священники и диаконы — рясы такого же сукна, но с голубым подбоем, причетники носили такие же подрясники, и волосы у них должны были быть заплетены в косу с голубой лентой».
Несомненно, Аракчеев обладал поистине колоссальной волей и работоспособностью, если под его руководством химерической идее императора за столь непродолжительное время удалось придать видимость реализации. Современников поражали масштаб и волшебная скорость изменений, которые происходили в Новгородской губернии, расположенной между двумя столицами и потому находившейся на виду: «Поселения удивительны во многих отношениях. Там, где за восемь лет были непроходимые болота, видишь сады и города». Административный почерк Аракчеева без труда читался в методах реализации проекта, и современники вполне обоснованно связывали устройство поселений с его именем, хотя инициатива здесь принадлежала императору, а сам граф неизменно подчеркивал, что он лишь беспрекословный исполнитель монаршей воли; чрезмерную жестокость, сопровождавшую введение поселений, он с характерной язвительностью объяснял излишним усердием своих подчиненных.
Негодование по поводу поселений было всеобщим, а обращенные в солдат новгородские крестьяне (они были в основном старообрядцами) не сомневались, что под видом графа ими и Россией управляет сам Сатана. Как бы то ни было, военные поселения оказались завершающим этапом демонизации Аракчеева, упрощения его образа до маски «мрачного идиота». Поэтому Николай I, даже не питая к графу личной неприязни, не мог без ущерба для собственной репутации оставить все так, как было при старшем брате, и потому уже 20 декабря 1825 г. уволил Аракчеева от дел Государственного совета, Комитета министров и Собственной канцелярии, сохранив за ним лишь должность главноначальствующего над военными поселениями. За две недели сдав все дела, Аракчеев весной 1826 г. уехал на лечение за границу. Отстранение было обставлено бесспорными знаками монаршего благоволения и признательности за совершенные труды: император пожаловал Аракчееву 50 000 рублей для лечения на карлсбадских водах, разрешил по-прежнему пользоваться яхтой, подарком покойного царя; после высочайших осмотров новгородских военных поселений (в конце апреля и середине июля 1826 г.) граф получил два милостивых рескрипта. Вплоть до кончины он не выходил в отставку и продолжал числиться в службе, оставаясь членом Государственного совета, сенатором, генерал-инспектором всей пехоты и артиллерии, шефом полка своего имени и в качестве генерала от артиллерии командующим 2-й лейб-гвардейской артиллерийской бригадой.
К весне 1827 г. Аракчеев возвратился в Грузино, где и жил практически безвыездно, совершая время от времени непродолжительные поездки в Бежецк и Курганы.
12 апреля 1834 г. А. С. Пушкин записал в дневнике фрагмент своей беседы со Сперанским, у которого он недавно обедал: «Я говорил ему о прекрасном начале царствования Александра: «Вы и Аракчеев, вы стоите в дверях противоположных этого царствования, как гении Зла и Блага»». Стилистическое чутье позволило поэту выстроить это тонкое сравнение как скульптурную композицию, стержнем которой служат образы гениев, популярные в искусстве 1810-х гг. и вместе со всеми дополнительными смыслами безусловно внятные Сперанскому, чья молодость и ранняя зрелость пришлись как раз на расцвет ампира. В этом разговоре Пушкин оглядывался назад — в недалекое, но уже бесповоротно минувшее время, превратившееся в часть истории. Аракчеев, 19 ноября 1833 г. установивший на площади перед собором в Грузине памятник Александру I, где гении Веры, Надежды и Милосердия возносили к небесам скульптурный бюст императора, доживал последние дни (он умер через полторы недели, 21 апреля) в своей собственной истории, где все акценты были расставлены так, как он считал нужным.