Тем не менее для многих поляков он оставался символом сталинского репрессивного режима. Рокоссовский жаловался на изоляцию, в которой он оказался в политбюро, на афронт, который устраивали ему сторонники репрессированного В. Гомулки, боясь усиления его роли в руководящих органах страны и влияния на Б. Берута.
Да и от общественности скрыть нажим Москвы в деле его назначения было невозможно. Деликатность ситуации состояла уже в том, что Рокоссовский пришел не на пустое место. Он сменил легендарного Михала Роля-Жимерского, маршала Польши, в годы войны командовавшего Армией Людовой — военной организацией, которая действовала в 1944–1945 гг. на оккупированной польской территории. Организация активно сотрудничала с советскими партизанскими отрядами, а с вступлением в Польшу частей Красной армии объединилась с 1-й польской армией в единое Войско Польское. Заслуги Роля-Жимерского оценил и Сталин: в 1945 г. польский военачальник был награжден советским орденом «Победа». И вот теперь он должен был уступить место посланцу Москвы.
Еще при подготовке перемещения Рокоссовского в Польшу советник МГБ СССР при управлении Министерства национальной безопасности С.П. Давыдов дал указание военной контрразведке Войска Польского, которое возглавлялось кадровыми офицерами МГБ СССР, установить негласное наблюдение за семьей Роля-Жимерского. Формально это делалось для того, чтобы исключить якобы готовившийся ее побег за границу, но в любом случае должно было служить компрометации маршала. Вероятнее всего, этот факт не был известен Константину Константиновичу, но и без того можно представить, каково было ему прийти на место столь заслуженного и популярного в народе военачальника.
«Маршалу двух народов» пришлось сразу включиться в процесс вытеснения из польской армии офицеров, пришедших туда еще до начала Второй мировой войны. Во исполнение решений IV пленума ЦК ПОРП и приказа Рокоссовского от 1 января 1950 г. было уволено свыше 9 тысяч таких офицеров, так что к моменту завершения маршалом его миссии в 1956 г. их доля составила всего 2,9 % от численности офицерского корпуса. На их место приходили сотни советских офицеров преимущественно польского происхождения, они занимали ответственные посты в соединениях, штабах военных округов и центральных органах военного управления. Среди них было много старых сослуживцев маршала, например, на пост заместителя министра национальной обороны был назначен генерал-полковник С.Г. Поплавский, советский генерал, Герой Советского Союза, на фронте командовавший стрелковым корпусом, а в 1944–1945 гг. — созданными в СССР 1-й, а затем 2-й армиями Войска Польского, которые входили в состав 1-го Белорусского фронта.
Политика — в том числе и скрытая, закулисная — политикой, но Константину Константиновичу предстояла и чисто профессиональная работа по строительству современной армии в ПНР. Ее масштабы генерал брони Ф. Сивицкий, бывший в 1980-е гг. начальником Генерального штаба Войска Польского, определил так: «Задачи, которые ставил маршал Рокоссовский Генеральному штабу, а также другим военным учреждениям, касались прежде всего количественного и качественного развития вооруженных сил, боевой подготовки, создания надежной мобилизационной системы, а также оперативного оборудования территории страны».
Именно в те годы была полностью модифицирована организационно-боевая структура армии. К моменту завершения Рокоссовским его миссии в Войске Польском имелись реорганизованные сухопутные войска, ракетные соединения, войска ПВО, авиации и военно-морского флота. Организационные изменения шли параллельно с напряженной боевой подготовкой войск, командиров и штабов, совершенствованием взаимодействия родов войск в рамках новой структуры вооруженных сил. Практически заново была создана система мобилизационных органов страны, интересам обороны подчинялась модернизация сети железных и автомобильных дорог, системы государственной связи. При активной помощи Советского Союза началось создание отечественной оборонной промышленности. В Войске Польском была заново сформирована система подготовки офицерских кадров: были открыты Академия Генерального штаба им. К. Сверчевского, Военно-техническая и Военно-политическая академии.
И на всем лежала печать интеллекта маршала Рокоссовского, его высокой организованности, редкого умения тактично побуждать подчиненных к качественному выполнению служебного долга. Уже через два года работы в ПНР он имел все основания заявить, что «никогда еще в Польше не было такой армии, как наше народное войско». Не случайно и в те годы, и много позднее объективность не позволяла польским историкам говорить о вкладе маршала в реформирование Войска Польского иначе как в позитивном плане.