Фактически именно 20-й корпус, занимавший позиции восточнее реки Ангерап в центре армии, должен был прикрывать начатое с опозданием общее отступление, сам не имея прикрытия с правого фланга. Между тем его фронт протянулся более чем на 50 км, в его состав входила, кроме 28-й и 29-й дивизий нормальной организации мирного времени, второочередная 53-я дивизия (всего 42 батальона, 513 офицеров и 35 505 нижних чинов)106. Положение на позициях с начала года было довольно спокойным, и с открытием немецкого наступления на Лык из 28-й и 53-й дивизий было приказано выделить по сводному полку для поддержки 3-го Сибирского корпуса. Казалось, ничего опасного не происходило, только 9-10 февраля несколько оживился артиллерийский огонь противника107. В ночь на 27 января (9 февраля) в состав 20-го корпуса была передана из 3-го корпуса 27-я дивизия, которой приказано немедленно сниматься с позиций и двигаться на Сувалки. Дивизия вынуждена была выполнять его, отбиваясь от наседавших немцев, однако выйти к Сувалкам она смогла лишь 1 (14) февраля108.
Немцы, благодаря постоянному присутствию своей авиации в воздухе и продолжавшейся радиоболтовне русских штабов, достаточно оперативно получали информацию о том, что происходило в наших тылах109. События стали уже опережать распоряжения русских штабов. Вечером 28 января (10 февраля) под натиском немцев 3-й армейский корпус без приказа начал отходить за Неман. Его части к концу года были уже серьезно разбавлены плохо обученными резервистами второй очереди, весьма слабо державшимися под огнем110. В то же самое время 56-я резервная дивизия Вержболовской группы расположилась в Эйдкунене и Вержболово без охранения, в результате чего была захвачена врасплох 78-й резервной дивизией немцев. Началась паника, и 56-я дивизия была быстро разбита111. Особого сопротивления она не оказывала, как и в 1914 г., дивизия побежала, бросая все, что можно было бросить112. Проявились все недостатки ее боевых качеств, о которых знало командование. В результате немцам удалось захватить три санитарных поезда, шесть орудий, 10 тыс. пленных, значительное количество военного имущества и весьма необходимого наступавшим продовольствия113. После этого кризис Вержболовской группы только усугублялся.
В ходе последующего отступления оторваться от противника не удалось, вновь произошло то, что уже не раз губило русскую армию: скверное управление движением при начале отступления, и в результате потеря контроля над ним114. В ночь на 28 января (10 февраля) штаб Н. А. Епанчина стал менять место дисклокации, и к утру его поезд оказался в Ковно, в 100 верстах в тылу. Вскоре генерал вернулся назад в Вильковишки, но время было упущено115. Штаб корпуса при переезде фактически оказался оторван от своих подчиненных, управление войсками потеряно. Утром 29 января (11 февраля) две отходившие дивизии вышли на одну дорогу и перемешались, превратившись в толпу вооруженных людей116. Соединения, которые в течение почти двух недель с упорством вели тяжелейшие бои, наступая на немецкие укрепления, фактически прекратили свое существование как боеспособные единицы117. Оказать этим войскам какую-либо помощь непосредственно на фронте или в тылу, путем прикрытия тыловых путей к Неману, штаб 10-й армии не мог118. «Призрак противника сделал остальное, – вспоминал И. А. Хольмсен. – Вержболовская группа пришла в полное расстройство ко дню 11 февраля»119.
Дальнейшее движение ее остатков после этого быстро приняло хаотический характер. Подвергшись вечером 11 февраля нападению незначительных сил противника, толпы отступавших запаниковали и устремились в направлении на Ковно120. Каким-то чудом удалось сохранить артиллерию: из 152 орудий, включая 16 тяжелых, было потеряно только 17 легких и 10 пулеметов121. Порядок и дисциплина сохранились лишь в прикрывающей отход коннице, из пехотных частей корпуса за Неманом собрались поначалу около 5 тыс. человек122. Впрочем, сохранившаяся благодаря командовавшему ею генералу Е. А. Леонтовичу кавалерия после отхода также перестала играть роль в сражении. До 2 (15) февраля конный отряд, выведенный на правый, восточный берег Немана в Олиту, фактически утратил связь со штабом армии и бездействовал. Командир отряда даже не воспользовался имевшейся у него радиостанцией123. Прекрасный состав 1-й и 3-й кавалерийских дивизий и их артиллерийские бригады также не были им использованы в должной мере124.