С 1994 года А.А., не покидая службы, занимался педагогической деятельностью. Преподавал математику в кадетском корпусе г. Владикавказа, затем в кадетском корпусе г. Тифлиса (с декабря 1896 г.). «Я вполне сознательно занялся воспитанием военного юношества. Тщательно воспитанный офицер — воспитанный в духе здорового патриотизма, в служении Родине и глубоко развитом чувстве долга — это залог непобедимости армии. Конечно, техника — техникой, но суровое сознание своего долга — это великое дело. Я всегда старался воскресить рыцарские традиции в лучшем, благороднейшем смысле этого слова.»
Был награжден орденами Святого Станислава 3-й степени (1892), Святой Анны 3-й степени (1897), Святого Станислава 2-й степени (1901).
Оставив Тифлисский кадетский корпус в 1904 году в чине подполковника, Антоний Андреевич вернулся к строевой службе. Командовал батальоном в 206-м пехотном резервном Ардаганском полку (65-я пехотная резервная бригада) (1903 до 1.01.1905) — заведующий хозяйством (14.02.1905), временно командующий полком (1.07.1906), командир 253-го Грозненского резервного батальона (8.12.1907–5.07.1910). Место дислокации Тегеран, Персия. Пользовался там большим авторитетом, чему служит подтверждением подарок, который переправили в Россию на его имя уже после его отъезда — полная обстановка для кабинета. Мебель была сделана из орехового дерева, покрытого превосходной резьбой. Всё было выполнено по специальному заказу. Много ковров ручной работы, которыми были покрыты стены и пол кабинета.
За время службы в Тегеране был награжден орденом Святой Анны 3-й степени (1909).
5 июля 1910 году полковник А.А. Веселовский был назначен командиром Апшеронского полка, сменив на этой должности полковника Н.П. Кучина. С 1913 года генерал-майор ("за отличие по службе" со ст. 9.09.1913 (Выс. пр. 1913)). Полк был расквартирован во Владикавказе и во многом определял жизнь этого города.
О 81-м Апшеронском полке нужно сказать отдельно. Он был создан по специальному указу Петра I 09 июля 1724 года в крепости Святого Креста на основе частей, участвовавших в Персидском походе (Богуславский Л.А. История Апшеронского полка. 1700–1892. Т. 1–3. (1722–1839 г.г., 1839–1891 г.г. и приложения). — Спб, 1892).
Апшеронцы исходили всю Европу и Азию, и где только они не проливали свою кровь во славу Отечества. Ни один полк в России не имел столько наград — Георгиевское знамя, Георгиевские трубы, серебряные трубы и т. д. и т. д.
Погоны и эполеты Апшеронского полка.
При императрице Елизавете Апшеронцы покрыли себя неувядаемой славой в боях с Фридрихом Великим. Одно из сражений отличалось таким кровопролитием, что Апшеронцы вернулись с поля боя, в буквальном смысле слова, по колено в крови. Их белые чулки (форма тогдашней армии) превратились в красные. Императрица в виде высшей награды пожаловала Апшеронцам, в отличие от всей армии, красные чулки. Но когда армия при императоре Александре получила новую форму — сапоги, красные чулки исчезли.
Место дисклокации Апшеронского полка во Владикавказе и форма Апшеронцев (эта и следующая фотография взяты с сайта "Мой Владикавказ").
Влюбленный в свой полк и его боевую славу, генерал-майор (с 1913 г.) Веселовский исходатайствовал для Апшеронцев красные отвороты на сапогах. И сам носил их до своего ухода из армии.
Офицеры Апшеронского полка.
Приказ по военному ведомству № 153 от 6.03.1914 г.
Государь Император, в 9-й день Сентября 1913 года и в 27-й день февраля 1914 года, Высочайше повелеть соизволил:
Присвоить офицерам и нижним чинам 81-го пехотного Апшеронского Императрицы Екатерины Великой, ныне Его Императорского Высочества Великого Князя Георгия Михайловича полка — красные отвороты на голенища сапог, в память Кунерсдорфского сражения 2-го Августа 1759 года.
Означенные отвороты должны быть из красного бараньего сафьяна, шириной в отделке 1 3/4 вершка, с подгибом внизу, на подбое из черной кожи; отвороты к верхнему краю голенища должны быть пришиты двумя черными строчками, с загибом внутрь, внизу же они должны быть лишь прострочены двумя красными строчками, дабы возможно было их отворачивать черной стороной вверх.
МАРШ АПШЕРОНЦЕВ
Вперед, Апшеронцы лихие!
Вы помните дедов завет: