Быстрые успехи в науках, особенно в математике, доставили ему вскоре (в 1787 г.) звание офицера. В дальнейшем П. И. Мелиссино, особенно полюбивший Алексея Андреевича за «исправность» в учебе и службе, рекомендовал его наследнику престола вел. кн. Павлу Петровичу для заведования гатчинской артиллерией. До конца своей жизни Аракчеев ценил и помнил, что именно Мелиссино рекомендовал его, тогда безвестного офицера, будущему императору.
В свободное время Аракчеев давал уроки по артиллерии и фортификации сыновьям графа Николая Ивановича Салтыкова, которому он также был рекомендован Мелиссино. Спустя некоторое время наследник престола Павел Петрович обратился к графу Салтыкову с требованием дать ему расторопного артиллерийского офицера. Граф Салтыков указал на Аракчеева и отрекомендовал его с самой лучшей стороны. С сентября 1792 г. по просьбе будущего императора Павла I Аракчеев был прислан в Гатчину, и вскоре за усердие и успехи в артиллерийской службе назначен командиром гатчинской артиллерийской команды. Алексей Андреевич в полной мере оправдал рекомендацию точным исполнением возлагавшихся на него поручений, неутомимой деятельностью, знанием военной дисциплины, строгим подчинением себя установленному порядку, чем вскоре расположил к себе великого князя.
С 1794 г. Аракчеев — инспектор гатчинской артиллерии, с 1796 г. — одновременно и пехоты. Новый инспектор реорганизовал артиллерию цесаревича, разделив артиллерийскую команду на 3 пеших и 1 конное отделения (капральства), причем пятая часть их штата находилась на вспомогательных должностях; составил специальную инструкцию для каждого должностного лица в артиллерии. Аракчеев разработал план развертывания артиллерийских отделений в роты и создания четырехротного артиллерийского полка, ввел методику практического обучения артиллеристов и создал «классы для преподавания военной науки», принял деятельное участие в составлении новых уставов. Предложенные им нововведения были впоследствии внедрены во всей российской армии.
Алексей Андреевич был пожалован комендантом Гатчины и впоследствии начальником всех сухопутных войск наследника. Аракчеев любил и уважал императора Павла, благоговел перед его памятью.
По восшествии на престол император Павел Петрович пожаловал Аракчееву немало наград: будучи полковником, он был пожалован 7 ноября 1796 г. (в день восшествия на престол императора Павла) петербургским комендантом; 8 ноября произведен в генерал-майоры; 9 ноября — в майоры гвардии Преображенского полка; 13 ноября — кавалером ордена Святой Анны 1-й степени; в следующем, 1797 году 5 апреля ему было пожаловано баронское достоинство и орден Св. Александра Невского. Кроме того, государь, зная недостаточное состояние барона Аракчеева, пожаловал ему две тысячи крестьян с предоставлением выбора губернии. Аракчеев выбрал село Грузино в Новгородской губернии.
Строгость и беспристрастие, соблюдение законности и стремление в точности исполнить решения монарха отличали Аракчеева при наведении порядка в войсках. Но недолго пришлось Аракчееву пользоваться расположением непостоянного в своих пристрастиях императора. 18 марта 1798 г. Алексей Андреевич был отставлен от службы с чином генерал-лейтенанта.
Три императора Аракчеева — Николай I Павлович
А потом был новый взлет. Аракчеев снова принят на службу в том же 1798 г. и зачислен в свиту императора Павла I. 22 декабря 1798 г. повелено ему состоять генерал-квартирмейстером, а 4 января 1799 г. он назначен командиром лейб-гвардии Артиллерийского батальона и инспектором артиллерии.
8 января 1799 г. пожалован командором ордена Святого Иоанна Иерусалимского, а 5 мая 1799 г. — графом Российской империи за отличное усердие и труды на пользу службы. Ему повелено присутствовать в Военной коллегии и навести порядок в Артилерийской экспедиции.
1 октября 1799 г. он во второй раз отставлен императором от службы и отослан в Грузино. Удаление Аракчеева из Санкт-Петербурга было выгодно тем представителям аристократии, которые начали в это время подготовку заговора против Павла I. На этот раз отставка продолжалась до нового царствования.
В 1801 г. на престол взошел император Александр Павлович, с которым Алексей Андреевич хорошо сблизился по службе. В 1802 г. Александр вновь призвал его на службу, назначив членом Комиссии для составления примерных штатов артиллерии, а 14 мая 1803 г. — вновь инспектором всей артиллерии и командиром лейб-гвардии Артиллерийского батальона.