В ноябре 1939 г. началась советско-финская война. И ничего удивительного не было в том, что преподаватель академии подал заявление с просьбой направить его в одну из боевых частей. Он направляется командиром танкового батальона в 34-ю легкотанковую бригаду на Кольский полуостров, а через некоторое время становится начальником штаба этого соединения. За успешные боевые действия в «зимней войне» бригада была награждена орденом Красного Знамени, а Павел Алексеевич удостоен ордена Красной Звезды. Это была его вторая боевая награда. Первой – ордена Боевого Красного Знамени – он был отмечен в 1921 г. за мужество, проявленное при штурме форта № 6 во время подавления восстания в Кронштадте.
В декабре 1940 г. подполковник П.А. Ротмистров назначается заместителем командира 5-й танковой дивизии (тд) 3-го механизированного (мк) корпуса Прибалтийского Особого военного округа. Комдив находился на учебе в Москве, и Ротмистрову пришлось длительное время исполнять его обязанности.
В начале 1941 г. руководством Красной Армии было принято решение о восстановлении танковых и механизированных корпусов. Численность каждого из них должна была составлять более 1000 единиц бронетехники. Для развертывания таких крупных соединений требовалось подготовить большое число офицеров. В то же время офицеров, имевших боевой опыт, было не так много. Поэтому, пробыв в дивизии неполных шесть месяцев, подполковник (с июня 1941 г. – полковник) Ротмистров получил новое назначение – начальником штаба 3 мк. С первых дней нападения Германии на Советский Союз 3 мк пришлось испытать всю тяжесть и горечь отступления и потерь. Корпус дислоцировался в Литве, в районе городов Каунас и Алитус. На его вооружении стояли легкие танки. Уже на пятый день войны немцы окружили управление корпуса и штаб 2 тд, которая входила в состав корпуса. Более двух месяцев начальник штаба с группой солдат и офицеров выходил из окружения по лесам Литвы, Белоруссии и Брянщины. Как вспоминал позднее Павел Алексеевич, это были самые тяжелые для него дни за всю войну. После перехода через линию фронта вся группа, особенно старший офицерский состав, подверглась жесткой проверке органами военной контрразведки. Это было по тем временам довольно серьезное испытание, однако Ротмистрову удалось пройти его относительно быстро. Положительное значение имело то, что группа вышла из окружения с оружием и документами. Вероятно, немаловажную роль сыграла и давняя дружба П.А. Ротмистрова с заместителем наркома обороны начальником Главного автобронетанкового управления Красной Армии генерал-лейтенантом Я.Н. Федоренко. Тогда же Яков Николаевич предложил ему должность начальника штаба управления, но, по словам П.А. Ротмистрова, он от нее отказался и попросил направить его на фронт.
23 сентября 1941 г. полковник П.А. Ротмистров принял находившуюся на Валдае (в 120 км северо-западнее Москвы) на формировании 8-ю танковую бригаду (тбр) 11А Северо-Западного фронта. Это соединение стало настоящей школой боевого опыта и командирского мастерства для будущего командарма. Бойцы бригады вели успешные бои на калининском направлении, где была создана оперативная группа под командованием начальника штаба Северо-западного фронта генерал-лейтенанта Н.Ф. Ватутина. Под Калинином в сентябре 1941 г. и произошло знакомство П.А. Ротмистрова с Н.Ф. Ватутиным.
Потом были бои под Москвой. Проявленные в Московской битве танкистами 8 тбр стойкость и мужество были по достоинству оценены: 11 января 1942 г. соединение было преобразовано в 3 гв. тбр, а комбриг награжден орденом Ленина. Большие успехи руководимого им соединения в такой крупной битве, как Московская, дали серьезный толчок для дальнейшего служебного роста П.А. Ротмистрова: его назначили командиром 7 тк, который был сформирован в марте 1942 г. в районе Калинина на базе 3 гв. тбр.