После этого последовало участие в Персидском походе 1796 года. Полк, в котором служил Степан Балабин, был введен в состав экспедиционного корпуса, которым командовал одноногий генерал-аншеф граф Валериан Зубов, брат князя Платона Зубова, последнего екатерининского фаворита. В том походе донцы отличились во многих делах, в том числе и при взятии древнейшей крепости Дербент на дагестанском побережье Каспия.
Персидский поход дал возможность Балабину 2-му отличиться не раз, как под Дербентом, так и в мусульманских ханствах Северного Азербайджана. Заслуженной наградой ему стал чин майора.
Дело казаков Платова у деревни Кареличи и Мир 28 июня 1812 г.
Художник Н.П. Красовский
Тот поход по кавказскому берегу Каспийского моря к границам шахской Персии и стал для казака из станицы Раздорной трамплином к той должности, которая в военной истории старой России прославила его достойное имя.
…Степан Федорович Балабин с 1806 года по декабрь 1818 года командовал образцовой частью Донского казачьего войска – Атаманским полком, которому суждено было пополнить ряды казачьей гвардии старой русской армии. Атаманский полк носил имя Его Императорского Высочества Наследника Цесаревича.
Это был элитный полк донского казачества. Его сформировал с разрешения императрицы Екатерины II 20 апреля 1775 года войсковой атаман А.И. Иловайский в составе пяти сотен под названием «Войска Донского Атаманский полк». Он предназначался для непрерывной службы при войсковом атамане в качестве его особой личной стражи. Комплектовался лучшими казаками, которые набирались со всех станиц. Это был тысячный полк личной атаманской гвардии.
В отличие от синего мундирного цвета донцов, кафтаны и шаровары атаманцев, как рядовых, так и офицеров, шились из голубого сукна. В последующем они носили голубые парадные мундиры.
Атаманский полк просуществовал в России до 1920 года, когда уцелевшие в огне Гражданской войны донцы-атаманцы оказались в белой эмиграции. При всех бедах они смогли сохранить до последних дней своей жизни полковую спайку и любовь к оставленному ими Отечеству.
Атаманский полк имел к тому времени богатую боевую биографию и своих героев, которые считались героями всего Дона. С 1802 года его история была связана с именем атамана М.И. Платова. Поэтому он и стал называться «Атаманским Платова полком». Быть его полковым командиром означало исключительную честь.
…Балабин принял командование над атаманцами в тот год, когда началась Русско-прусско-французская война 1806–1807 годов. В той войне полку пришлось нести не только боевое охранение русской армии и вести разведку неприятеля, нарушать его коммуникации. За сражение при Ганау, где Атаманский полк действовал и удачно, и бесстрашно, его командир удостоился ордена Святого Георгия 4-го класса (степени).
Из Восточной Пруссии полк совершил переход на берега Дуная. Там шла уже не первая кампания Русско-турецкой войны 1806–1812 годов. На Балканах донцы-атаманцы особенно отличились при разбитии турецких корпусов в сражении под Рассеватом и Силистрийской крепостью. В том же 1809 году полк по высочайшему повелению возвратился на Дон. В январе 1810 года его командир получает чин полковника.
…Отечественную войну 1812 года Атаманский полк начал в составе летучего казачьего корпуса атамана М.И. Платова, входившего в состав 1-й Западной армии, которой командовал генерал от инфантерии П.И. Багратион, один из любимейших суворовских учеников. Атаманцы оказались деятельными участниками во всех делах платовского корпуса.
Полковник Степан Балабин 2-й демонстрировал в каждом арьергардном бое высокое искусство командования элитным полком Войска Донского. На его личном счету в начале войны значились Мир, Романово, Иньково (или Молево Болото). Отличился в бою у деревни Кареличи, где ложной атакой полка обеспечил победный исход столкновения с французами. У деревни Климовой балабинские казаки разбивают французский отряд, обратив его в бегство.
Во всех этих арьергардных делах командир атаманцев лично водил казаков в кавалерийские схватки, не раз бывая на волоске от смерти. Слава его полка в событиях Отечественной войны 1812 года была общепризнанной и в излишних подтверждениях того не нуждается. Впрочем, «гроза 12-го года» стала одной из самых славных боевых страниц в истории всего донского казачества.
Единственным важнейшим событием той войны, в котором донцам-атаманцам не довелось участвовать, стало Бородинское сражение. До начала его полковнику Балабину было поручено с пятью казачьими сотнями (половиной полка) вести наблюдение за неприятелем на правом фланге русской армии.