Прорыв обороны Восточной Пруссии и всё расширяющееся проникновение на её территорию советских войск вызвало замешательство главного командования вермахта. Гитлер, которого целиком захватили успехи наступления в Арденнах, при виде трагической ситуации на Восточном фронте, особенно на рубеже реки Вислы, откуда шёл кратчайший путь до Берлина, приказал командующему группой армий «Центр» перебросить часть сил из Восточной Пруссии в район Кельце, чтобы не допустить прорыва фронта в направлении Познани. Так из Восточной Пруссии были отведены танковый корпус «Великая Германия» и танковая дивизия «Герман Геринг». Этой операцией руководил генерал Заукен. Отвод этих двух соединений совпал с наступлением в Восточной Пруссии войск 2-го Белорусского фронта. Подвергавшийся беспрерывному обстрелу и бомбардировкам корпус Заукена с трудом смог передислоцироваться в намеченный район. Оборона Восточной Пруссии тем самым была в значительной степени ослаблена.
Командующий 4-й армией генерал Госбах, видя трагическую ситуацию на флангах своего фронта, разгром 2-й и 3-й армий и угрожающую ему в связи с этим опасность оказаться в окружении, рискнул самовольно оставить обороняемые позиции в районе Голдап, Сувалки, Августов, рассчитывая отойти за мазурские озёра и атаковать оттуда фланги ворвавшихся в Восточную Пруссию с юга советских войск. Когда Гитлер узнал от Коха о самовольном шаге Госбаха и о том, что без боя оставлена мощная прусская крепость Гижицко и полоса мазурских озёр, он объявил командующего группой армий «Центр» генерал-полковника Рейнгардта и генерала Госбаха предателями, приказав немедленно отстранить их от командования. Место Рейнгардта занял генерал-полковник Рендулич, а Госбаха заменил генерал Мюллер. Войска, сосредоточенные в Восточной Пруссии, получили название группы армий «Север». Немецкое командование всё ещё рассчитывало на то, что может повториться история прошлых боёв за Восточную Пруссию и что на полях Танненберга, как в 1914 году, один только стратегический манёвр сможет изменить весь ход войны. В своих расчётах они не учитывали, однако, того, что со времени первой мировой войны минуло уже более тридцати лет и теперь им противостояла уже не царская армия.
В течение первых пяти дней наступления войска 3-го Белорусского фронта продвинулись вперёд почти на тридцать километров. Основной натиск шёл вдоль Писы и Немана. 20 января был взят Тильзит, 21-го — Гумбинен, 22-го — Инстербург, 23-го — Лебау, расположенный тоже на берегу Балтики на расстоянии около сорока километров от Кенигсберга. Генерал Черняховский, зная о том, что район Гижицко, Венгожево хорошо укреплён, не стал атаковать 4-ю армию Госбаха, а, узнав о её отходе, нанёс удар по левому флангу. 26 января были взяты Гижицко и Кентшин с одновременным наращиванием натиска на отходящую 4-ю армию.
Получив сообщение о проникновении советских войск в глубь территории Пруссии, гауляйтер Эрих Кох отдал приказ об эвакуации гражданского населения. Прусские юнкеры навьючивали повозки, грузились на тракторы и автомашины и бесконечными колоннами двигались по шоссе, ведущим на запад. Поскольку путь уже был перерезан войсками 2-го Белорусского фронта, многотысячные толпы убегавших немцев устремились к морю, загромождая дороги, мосты и затрудняя передвижение войск.
22 января войска маршала Рокоссовского ворвались в Ольштын, заняли железнодорожную станцию и принудили начальника немецкой службы движения бесперебойно принимать эшелоны. Так удалось захватить двадцать два вражеских состава, прибывших из Кенигсберга и других городов. Когда 26 января войска 2-го Белорусского фронта взяли Толькмицко, а 10 февраля овладели Эльблонгом, непрерывно расширяя наступление на запад, немецкие войска, находящиеся в Восточной Пруссии, были обречены. Их оборона была настолько дезорганизована, что сплошь и рядом немецкие штабы не имели представления о том, где проходила линия фронта.
После многодневных ожесточённых боёв 31 января 1945 года войска 3-го Белорусского фронта сомкнули кольцо окружения вокруг Кенигсберга. Первая фаза уничтожения гитлеровцев в Восточной Пруссии была завершена.
18 февраля 1945 года 3-й Белорусский фронт и вся Красная Армия понесли тяжёлую утрату. Во время объезда линии фронта в районе города Мельцак (Пененжно) был смертельно ранен дважды Герой Советского Союза генерал И. Д. Черняховский. Командование 3-м Белорусским фронтом принял маршал Василевский.
На всей территории Восточной Пруссии продолжалась ликвидация отдельных очагов сопротивления фашистов. Начался период весеннего половодья. Войска продвигались вперёд по грязи, через болота, переправлялись через разлившиеся реки, тесня немцев к Вислинскому заливу. Побережье было превращено советской артиллерией и авиацией в сущий ад. Ища спасения, немцы взорвали прибрежную дамбу. Воды залива хлынули па сушу, в большей своей части ещё занятую войсками. Тысячи гитлеровцев, большинство которых составляли раненые, потонули.
Толпы людей с поднятыми руками шли по воде, направляясь к расположению советских войск. На поле боя, протянувшемся вдоль залива, в период с 13 по 29 марта было уничтожено более девяноста трёх тысяч фашистов и свыше сорока шести тысяч взято в плен. Было захвачено шестьсот пять танков и штурмовых орудий, а также около пяти тысяч орудий и миномётов. 4-й и 2-й гитлеровских армий больше не существовало. Восемь вражеских дивизий были оттеснены на Самбийский полуостров, около двадцати — прижаты к Вислинскому заливу, а остальные находились в окружении в Кенигсберге и на узкой Балтийской косе. Остатки недобитых войск в Восточной Пруссии немцы вынуждены были снабжать с воздуха, что в этот период войны было уже делом нелёгким. Все попытки врага вырваться из гигантских котлов остались безуспешными. Красная Армия всё теснее смыкала кольцо, готовясь нанести решающий удар.
Маршал Василевский планировал штурм Кенигсберга. К нему необходимо было тщательно подготовиться. Гитлеровцы превратили город в мощную крепость. Работы по его укреплению велись в течение всего периода окружения до последнего дня. По приказу Коха в черте города был оборудован специальный аэродром. Гарнизон Кенигсберга состоял более чем из ста тысяч солдат и двух тысяч офицеров, имевших в своём распоряжении тысячи орудий и танков и другие виды вооружения. Комендантом кенигсбергской крепости был генерал Лаш.
Гауляйтер Кох до последнего дня находился на территории Пруссии. Пользуясь специальным разведывательным самолётом, он постоянно поддерживал непосредственную связь с остатками войск на узкой полоске Балтийской косы. Узнав в начале советского наступления о самовольном отходе Госбаха с рубежей обороны в районе Голдапа, он не преминул тотчас же информировать об этом Гитлера и стал домогаться наказания генерала. Он лично уверял фюрера, что находящиеся на Самбийском. полуострове и Балтийской косе немцы отобьют все атаки Красной Армии и даже перейдут отсюда в контрнаступление. Когда, однако, положение на этом участке стало совсем трагическим, Кох потихоньку, ночью, отправился на заранее приготовленном ледоколе с Балтийской косы в Данию.
Штаб маршала Василевского завершал последние приготовления к штурму Кенигсберга. На очень подробном макете города офицеры знакомились с расположением улиц, площадей, изучали форты и другие оборонительные сооружения крепости, которую вскоре предстояло брать. Формировались специальные штурмовые группы, в состав которых вошли пехотинцы, танкисты, артиллеристы и сапёры. К городу были стянуты тысячи орудий. Апрельский ветер и весеннее солнце подсушили раскисшую землю. Сама природа создавала благоприятные условия для штурма.