В 1813 г. (в 36 лет) Ермолов стал генерал-лейтенантом, в 1816 г. его назначили командиром Отдельного Грузинского (позднее – Кавказского) корпуса и полномочным послом в Персии. В 1818 г. (в 41 год) он был произведен в генералы от инфантерии, а в 1821 г. стал главнокомандующим Грузией. Ермолов был сторонником последовательной и решительной политики по отношению к кавказским горцам. Зная социальную психологию мусульман, он заставил понятными им способами подчиняться и выполнять решения властей. В угоду политическим интересам России он навел порядок на Кавказе, вызвав при этом уважение и к себе, и к воинской силе России. При этом он добивался у высшей власти средств для должного проведения военной и хозяйственной политики на Кавказе. Ермолов рядом военных экспедиций убавил у непокорных горцев желание казаться неустрашимыми и непобедимыми, для их обуздания построил ряд крепостей, в том числе Грозный, упорядочил Военно-Грузинскую дорогу, покровительствовал торговле, промышленности, виноделию, шелководству, благоустроил Тифлис (Тбилиси), дал мощный толчок развитию Кавказских Минеральных Вод.
Будучи истинным патриотом России, Ермолов не допускал даже мыслей, чьих-либо дел и намерений, умалявших авторитет России, принижающих достоинство россиян. Ермолов призывал в 1814 г. в Париже императора Александра I и его брата Николая понять усталость солдат и офицеров от нескольких лет войны, осознать недопустимость унижения россиян в побежденной ими стране. В 1817 г., когда русское посольство во главе с Ермоловым отбыло в Персию, персидские дипломаты потребовали, чтобы он предстал перед наследником шахского престола в его резиденции без сапог, одев красные чулки и оставив во дворе свою русскую свиту, на что Ермолов ответил, что является посланцем великой державы и подобное позволить себе не имеет права, при всем его уважении к сыну персидского шаха. Ермолов не допускал даже мыслей о добровольной передаче Россией кому-либо из ее соседей своих территорий, приобретенных ранее в процессе войн с ними или полученных в виде компенсации за что-либо. Так, когда Александр I, не придавая особого внимания земельным приобретениям России по Гюлистанскому мирному договору с Персией от 1813 г., был готов частично вернуть эти земли Персии, Ермолов сделал все от него зависящее, чтобы не допустить этого.
В любом возрасте и при любом состоянии своего здоровья Ермолов был готов защищать интересы своей Родины. Летом 1825 г., когда произошло очередное восстание в Чечне (оно было как никогда – кровавым), тяжело больной Ермолов (ему 48 лет) возглавил новый поход против горцев, против объединенных отрядов чеченцев и лезгин. Он и нездоровым сумел заставить организаторов беспорядков утихомириться, уважать интересы России, подчиниться решениям центральной власти. Войска под командованием Ермолова прошли почти всю Чечню, разбили объединенные войска чеченцев и лезгин, решительно карали немирные аулы, заставили горцев унять их воинственный пыл. Во время Крымской войны, в ее разгар, в 7 российских губерниях Ермолова выбрали начальником ополчения. В Московской губернии его выбрали начальником ополчения в 1855 г. (ему 78 лет), и он согласился принять эту должность. В Москве и Подмосковье Ермолов всегда пользовался особым почетом и уважением.
Хотя почти все силы и время Ермолова уходили на воинское служение России, он тем не менее успевал многому радоваться в жизни, в том числе смог оценить прелести красивых женщин Кавказа. От трех черкешенок у него были 4 сына (получивших от императора Александра I права его законных детей) и дочь, вышедшая замуж за горца и оставшаяся мусульманкой.