В ходе демобилизации польской армии в первые послевоенные годы ее численность сократилась с 400 до 200 тысяч. В 1949—1955 годах произошло некоторое ее увеличение — до 280 тысяч человек. Но главные изменения происходили в Войске Польском в связи с его перевооружением и реорганизацией. В эти годы в стране была создана военная промышленность, построены новые— предприятия по выпуску артиллерийской, танковой, авиационной и другой техники, не существовавшие ранее или же слабо развитые. Это позволило вооружить польских солдат новой военной техникой. Сила огня польской пехотной дивизии возросла многократно по сравнению с силой огня предвоенной дивизии. Войско Польское располагало теперь танковыми и моторизованными соединениями, способными к быстрому маневру и хорошо обученными для ведения военных действий в новых условиях — в условиях ядерной войны.
В обучении войск Рокоссовский широко использовал свой богатый опыт, приобретенный во время службы в Советской Армии. В апреле 1950 года был введен новый устав внутренней службы польской армии, многие положения которого перекликались с уставом Советской Армии. В августе этого же года сейм принял закон о введении новой клятвы, в которой говорилось об обязанностях солдата по отношению к народной Польше.
Больших трудов стоила Рокоссовскому организация обучения и воспитания офицерских кадров Войска Польского. В годы пребывания Рокоссовского на посту министра обороны в армии развернулась массовая подготовка новых кадров офицеров. Были открыты Академия Генерального штаба имени Кароля Сверчевского, Военно-техническая академия имени Ярослава Домбровского, Военно-политическая академия имени Ф. Э. Дзержинского. В результате к 1956 году военные кадры Войска Польского полностью состояли из преданных делу социализма офицеров — выходцев из рабочих и крестьян.
Реорганизация, перевооружение и обучение Войска Польского проходили при постоянной и щедрой помощи Советского Союза, и Рокоссовский стремился, чтобы солдаты и офицеры вверенной ему армии твердо усвоили это обстоятельство. Вот он пишет в одном из приказов по армии: «Каждый поляк — патриот, каждый солдат Войска Польского знает, что только благодаря Советской Армии, благодаря ее богатому боевому опыту, благодаря ее замечательному примеру, благодаря помощи, оказанной советскими военными специалистами, мы могли избегнуть трудностей при строительстве наших вооруженных сил и в относительно короткий срок создать армию нового типа, каковой является Войско Польское».
Семь лет Рокоссовский возглавлял армию народной Польши и сделал для ее укрепления очень много. В ноябре 1956 года он попросил Польское правительство освободить его от занимаемых должностей. Просьба Рокоссовского была удовлетворена и с согласия Советского правительства он возвратился в СССР. О признании заслуг Рокоссовского перед польским народом и армией свидетельствует следующая правительственная грамота, врученная ему незадолго до отъезда из Польши:
«Товарищу Константину Рокоссовскому
Маршалу Польши
Дорогой товарищ!
Примите чувства признательности и искренней благодарности за Ваш самоотверженный труд на посту Министра обороны Польской Народной Республики и Главнокомандующего Войска Польского.
С того момента, когда Вы по просьбе Польского правительства приняли этот пост, Вы, не щадя сил, отдали все свои знания и способности для лучшего выполнения этих обязанностей.
О положительных результатах Вашей работы свидетельствует укрепление обороноспособности нашей страны и поднятие как организационного уровня, так и оснащения и обучения Войска Польского, в чем очень велик внесенный Вами вклад.
Партия и народ об этом никогда не забудут, так же как никогда не забудут Ваших подвигов и Ваш вклад в борьбу за разгром гитлеризма и освобождение Польши. Мы уверены, что и Вы, товарищ Маршал, сохраните хорошие воспоминания о Вашем сотрудничестве с нами.
Совместная деятельность и совместный труд, которые нас так сблизили, имеют прочное значение.
Желаем Вам много сил, здоровья и наилучших результатов в дальнейшей работе на благо интересов социализма, мира и прогресса — так дорогих для нас всех».
Рокоссовскому рано уходить на отдых, хотя он, конечно, его заслужил. По возвращении в СССР Рокоссовский назначен заместителем министра обороны СССР, вновь он с головой окунается в армейскую жизнь.
В СССР Рокоссовский возвратился в момент, когда Советские Вооруженные Силы находились в начале нового этапа своего развития — этапа коренных преобразований во всех областях военного дела. Появление ядерного оружия совершило настоящую революцию в военном искусстве. Поскольку все время существовала военная угроза со стороны империалистических агрессоров, внедрение ядерного оружия становилось жизненной необходимостью для того, чтобы укрепить обороноспособность нашего Отечества и социалистического лагеря. Коммунистическая партия и Советское правительство неизменно стремились к тому, чтобы армия и флот нашей страны располагали всем необходимым для надежной защиты советского народа от возможных случайностей.
Еще в 1954 году офицеры и солдаты Советских Вооруженных Сил начали изучение атомного оружия и способов боевых действий в условиях атомной войны. К тому времени на вооружении Советской Армии и Военно-Морского Флота уже имелось ядерное оружие, в том число и водородная бомба. После того как на вооружении Советской Армии появились ракеты стратегического назначения, способные поражать цели в самых отдаленных уголках земли, боевые возможности войск неизмеримо выросли. Но это вызывало необходимость пересмотра и коренного изменения многих теоретических положений и практических рекомендаций, сложившихся в военном искусстве в прошлом, это требовало изменения практики боевой подготовки войск, применявшейся в первые послевоенные годы.
Свой богатейший военный опыт Рокоссовский использовал и в эти годы служения Родине. После должности заместителя министра обороны СССР он некоторое время занимает пост командующего Закавказским военным округом, затем возвращается в Москву и работает главным, а позднее — генеральным инспектором Министерства обороны. На этом посту маршал с успехом осуществляет контроль за подготовкой войск и поддержанием их в постоянной боевой готовности, стремится достичь того, чтобы в новых условиях советские воины были всегда готовы исполнить свой долг. Вот что писал он о новых условиях, сложившихся в армии:
«Высокое сознание своего долга перед Родиной, мастерство, организованность и строгое выполнение приказов начальников обуславливают в огромной степени успех боевой деятельности нашего воина. Но этого еще недостаточно, чтобы стать героем в современном бою. Ко всем этим качествам нужно приложить отличное знание боевой техники, умелое владение вверенным оружием, мастерство, физическую выносливость.
Современное оружие, особенно ракетно-ядерное, требует от воина больших знаний, умения быстро и четко управлять различного рода механизмами, аппаратурой. Боевая обстановка может потребовать в считанные минуты и даже секунды произвести сложные расчеты и сложные действия. Однако, невзирая на исключительное напряжение, воин должен действовать осмысленно, разумно, четко».
Благодаря постоянной заботе Коммунистической партии и Советского правительства, благодаря неустанному труду армейских работников всех рангов к началу 60-х годов произошли коренные изменения в вооружении и боевой технике Советской Армии, в организационной структуре, в теории военного искусства, в практике обучения и воспитания войск. Свершилась настоящая революция в военном деле. Советские Вооруженные Силы стали неизмеримо мощнее, а их боеготовность еще более выросла. В это огромное и необычайно важное дело внес свою посильную лепту и Рокоссовский.
Ему идет седьмой десяток, но активность его работы не снижается. Обязанностей у него очень много: он избран кандидатом в члены ЦК КПСС, депутатом Верховного Совета СССР. И на всех этих постах он трудится не жалея сил, трудится так, как привык делать это всю жизнь. Что из того, что голова его поседела, что здоровье уже не то! Он — коммунист, ветеран Советской Армии, и он не может оставаться бездеятельным, он не может замкнуться в узком кругу личных забот и переживаний. К этому зовет он и своих старых товарищей по армии, к этому направлен его труд в Советском комитете ветеранов войны.