Оставив тифлисский корпус в чине полковника, кажется в 1906 году, Веселовский вернулся к строевой службе, но уже в кавказских войсках, ибо с Кавказом он успел сродниться пока он был в корпусе, где воспитывались дети боевых офицеров, и где в числе воспитателей было немало боевых кавказцев. Дух и традиции среды успели сроднить его с армейской горстью, заброшенной в кавказские горы, и Веселовский уже не захотел возвращаться «в Россию», откуда он прибыл молодым поручиком. Прокомандовав сначала резервным батальоном, полковник Веселовский отправился на войну во главе одного из славнейших кавказских полков — 81-го Апшеронского. Что он был популярным, любимым офицерским составом и солдатами командиром, видно из того, что в полку о нём за эту войну уже сложились песни. Когда раздался призыв: «Кавказцы, идите вперёд! Вы груди своей не жалейте — спасайте пленённый народ», то по слову боевой песни:
…Апшеронцы лихие,
Как коршуны ринулись с гор.
Это было в сентябре. Они шли к Иван-городу выручать товарищей и пели:
Припомнивши бой кунерсдорфский,
Идёмте в опасный поход,
У нас командир Веселовский
С неизменным приказом «Вперёд!»
Прошло немного более полугода и Веселовский уже во главе дивизии под Люблином. В тяжелые дни 22-23 июня, математически точно рассчитав положение, он привлек на себя «не менее 12 полков противника», подкреплённого ещё 11-ю батальонами, а затем искусным ходом смешал его ряды и стремительной атакой опрокинул неприятельские дивизии, захватив 10.000 пленных и большое количество трофеев. После этого дела Веселовский уже — генерал-лейтенант и кавалер второго Георгия (3-й степени). Я не знаю, сочинили ли солдаты какую-нибудь новую песню, посвящённую либимому начальнику, ибо самое дело под Люблином было всего месяц назад, и до нас ещё многое не дошло из быта той дивизии, для которой Веселовский покинул своих Апшеронцев. Но, снова вызвав в своей памяти образ чернобородого поручика, а ныне боевого генерала, я думаю, что он ещё заставит о себе говорить, а солдатам придётся сделать ещё не один вклад в сборники боевых песен русской армии.
Супруга дедушки Александра Алексеевна, урожденная Корвин-Кучинская (отец был поляк, мать русская), дочь Надежда, окончила институт благородных девиц в Санкт-Петербурге.
Жена и дочь всю войну сопровождали генерала Веселовского в качестве сестёр милосердия. Тогда было принято, что жена и дочери офицеров и генералов шли работать в военные госпитали — «не щадя живота своего». Без всякой оплаты, на одном энтузиазме и любви к ближнему. Дочь Надежда нашла своё счастье там же на фронте, выйдя замуж за поручика 19-го саперного батальона Николая Алексеева.
Свадьба Надежды Антониевны и Николая Сергеевича Алексеева (1917 год)
Сын Мстислав окончил Псковский кадетский корпус и Кавалерийское училище. Поручик лейб-гвардии Кирасирского Её Величества полка. После революции вступил в Добровольческую армию; командовал эскадроном в Сводном полку гвардейской кирасирской дивизии. Убит в июне 1919 года у с. Андреевка в Крыму. Останки его дедушка перевез во Владикавказ, где они и были захоронены на городском кладбище. Над трупом погибшего солдата принято молчать — таково требование воинской этики. И дедушка очень мало и неохотно говорил о нем.