В 1924 году он был послан на учебу в Ленинград в Высшую кавалерийскую школу, руководителем которой был В.М.Примаков. Кроме теоретических занятий, курсанты осваивали высшие формы верховой езды, занимались фехтованием. В августе 1925 года Рокоссовский вернулся в Забайкалье.
Осенью 1929 года он принял участие в вооруженном конфликте с китайцами на Китайско-Восточной железной дороге (КВЖД). Здесь Рокоссовский был награжден третьим орденом Красного Знамени. Вскоре он получил назначение на должность командира 7-й Самарской кавалерийской дивизии, находящейся в окрестностях Минска.
Однако прослужил он там недолго. Обострившиеся отношения с Японией на Дальнем Востоке вызвали необходимость переброски туда новых соединений и знающих командиров, каким уже зарекомендовал себя Рокоссовский. Здесь он вступил в командование 15-й кавалерийской дивизией, которую довел до совершенства. За подготовку частей дивизии он был награжден орденом Ленина, а в 1935 году ему было присвоено звание комдива.
В следующем году он получил назначение на должность командира 5-го кавалерийского корпуса, входившего в состав Ленинградского военного округа.
Однако в августе 1937 года Рокоссовский по ложному обвинению в связях с польской и немецкой разведкой был арестован. Лишь в марте 1940 года, благодаря заступничеству нового наркома обороны С.К.Тимошенко, Рокоссовский был освобожден и восстановлен в прежней должности комкора.
В 1940 году в военной жизни Рокоссовского произошло серьезное изменение. В связи с падением в войне роли кавалерии и с возрастанием роли механизированных войск многие бывшие кавалерийские командиры пересели с лошадей в танки. Среди них был и Рокоссовский, назначенный командиром 9-го механизированного корпуса в Киевском военном округе.
Но к началу войны корпус имел лишь танки устаревших образцов (Т-26, БТ-5, БТ-7), новых танков в соединении не было. Это заставило Рокоссовского по собственной инициативе задержать артиллерийские полки дивизий, которые по требованию штаба округа должны были выдвигаться на полигоны.
При первых тревожных сведениях с границы Рокоссовский под собственную ответственность вскрыл мобилизационный план, содержащийся в секретном пакете штаба корпуса, а также центральные склады с боезапасами и горючим. Это позволило его корпусу в короткий срок выступить в направлении Новоград-Волынский, Ровно, Луцк. 24 июня стало днем боевого крещения для всего состава корпуса, принявшего участие в приграничных сражениях с войсками группы армий «Юг». За подготовку корпуса к первым боевым действиям Рокоссовский был награжден четвертым орденом Красного Знамени.
Вскоре он был вызван в Москву, где получил приказ возглавить одну из групп по деблокированию в районе Смоленска окруженных советских частей. Но поскольку этой группы у Рокоссовского не было, ему пришлось сколачивать ее с самого начала, собирая по пути отступавшие войска. Все это позволило ему овладеть Ярцевом, форсировать реку Вонь и закрепиться на ее западном берегу. Зажатые в кольцо советские войска вырвались из окружения.
Прорвавшаяся из Смоленска 16-я армия была объединена с группой Рокоссовского и стала серьезной силой на смоленском направлении. В разгар Ельнинской операции она отвлекала на себя силы группы армий «Центр», не позволяя командованию вермахта перебрасывать их под Ельню. Но в самом начале немецкого наступления на Москву (операция «Тайфун») по приказу командующего Западным фронтом генерала И.С.Конева большинство соединений армии Рокоссовского было передано в соседнюю армию.
16-ю армию пришлось формировать заново, собирая по пути отступавшие соединения. Армия Рокоссовского действовала теперь в районе Волоколамска, где утром 16 октября против нее начали наступление четыре дивизии противника. Недостаток боеспособных соединений Рокоссовский возмещал созданием глубоко эшелонированной обороны и привлечением для борьбы с танками противника всей имевшейся артиллерии. К середине ноября его армия получила свежие пополнения, прибывшие из Сибири и Средней Азии. Как раз начался новый этап гитлеровского наступления на Москву. Бои велись уже на берегах Истринского водохранилища. Были потеряны Солнечногорск и Клин. Бои приблизились к деревне Крюково – важному узлу дорог вблизи столицы. Несколько раз она переходила из рук в руки.
Но в это время Ставка Верховного главнокомандования и командование Западного фронта уже подготовило контрнаступление. Для участия в нем действующие армии получили пополнения отборными соединениями. 16-я армия, как никакая другая, была укомплектована и артиллерийскими полками. 7 декабря армия Рокоссовского начала наступление и ко второй половине дня освободила город Истру. Под Сухиничами (Калужская область) Рокоссовский получил тяжелое ранение. По излечении он на короткое время вновь вернулся командовать 16-й армией, а затем был назначен командующим войсками Брянского фронта, считавшегося относительно спокойным.