20 ноября в 4.30 начальник Генштаба маршал Шапошников от имени Ставки Верховного главнокомандования дал командарму 56А генералу Ремезову категорическое указание: «Город Ростов должен быть удержан при всяких обстоятельствах. Драться до последнего бойца».
20 ноября в 8.50 (директивой № 004997) Ставка Верховного главнокомандования приказывала командующему Закавказским фронтом: «Оказать содействие 56 отдельной армии действиями бомбардировочной авиации, для чего срочно перебазировать 132 авиадивизию ДБ в район Армавир, Тихорецкая для работы по заданиям командования 56 армии. Прикрытие — истребителями 56 отдельной армии».
С утра 20 ноября германские части возобновили наступление, нанося удар в следующих направлениях: а) из района Щепкин силами до полка мотопехоты, поддерживаемого 100 танками, стремясь выйти в район Орджоникидзе, захватить Аксайскую переправу и отрезать части 56-й армии с востока; б) из района Красный Крым противник действовал в направлении на Каменоломни силами до полка мотопехоты при поддержке 50 танков с целью прорваться к вокзалу и захватить железнодорожный мост.
В течение всего дня шли упорные бои на подступах к Ростову, где части 343, 353-й и 31-й стрелковых дивизий, 230-й стрелковый полк НКВД и выдвинутая из резерва на северо-западную окраину Ростова 347-я стрелковая дивизия с переменным успехом отбивали наступление танков противника. Части 31-й стрелковой дивизии, оборонявшиеся на участке выс. 110, 2, опушка севернее Чкалова, Мясникован, (иск.) Ленинаван к 15 часам не выдержали танковых атак противника. В районе Каменоломень ему удалось прорваться в тыл нашим войскам и проникнуть в город. 31-я стрелковая дивизия начала отходить. К исходу дня 20 ноября положение на фронте 56-й армии ухудшилось, так как в результате прорыва танки противника проникли в районы Орджоникидзе и Красный Город-Сад, охватывая Ростов с северо-запада и северо-востока. К 17 часам 20 ноября батальон автоматчиков, поддержанный 30–40 танками, прорвался к вокзалу со стороны Нижне-Гниловской и Красного Города-Сада и стал распространяться к центру города, выходя в тыл частям 353, 31, 347-й стрелковых дивизий, к железнодорожному мосту и в южную часть города по направлению к Буденновскому проспекту и улице Энгельса.
В районах железнодорожного моста и Буденновской переправы завязались упорные бои. К исходу дня 20 ноября части 56-й отдельной армии находились в следующем положении: 347-я стрелковая дивизия без одного полка с 6-й танковой бригадой вела бой на северо-восточной окраине Ростова. Один полк 347-й стрелковой дивизии удерживал Аксайскую и Александровскую.
31-я стрелковая дивизия, точнее, ее разрозненные группы, с трудом оборонялись на северной окраине Ростова.
353-я стрелковая дивизия отходила на южный берег реки Дон и занимала опорные пункты в районе наплавного моста (Буденновская переправа) и железнодорожного моста. Командиру 353-й стрелковой дивизии было приказано, продвигаясь от центра города вдоль улицы Энгельса, уничтожить противника в районе вокзала, занять Красный Город-Сад и таким образом пробить путь для 343-й стрелковой дивизии, отходившей в направлении Нижне-Гниловская, Красный Город-Сад. Эта задача выполнена не была. Зато к 21 часу 20 ноября в результате атаки батальона 353-й стрелковой дивизии противник был выбит из района наплавного моста.
343-я стрелковая дивизия, отрезанная противником от переправ, в это время вела бой в районе Западный, Семерниково, Красный Город-Сад, находясь в полуокружении.
С наступлением темноты противник, зажигая отдельные здания, продолжал занимать новые районы города. К 24 часам уличные бои развернулись по всему городу, и особенно упорные в районе переправ Аксайская, о. Зеленый, а также в районе наплавного и железнодорожного мостов. Аксайская была занята немцами. Отдельные танки и пехота противника, проникшие в центр города, вели борьбу с защитниками баррикад, ведя по ним артиллерийский и минометный огонь. Противник обстреливал также все переправы через реку Дон.
Ранним утром 21 ноября маршал Шапошников имел следующий телеграфный разговор с командующим 56-й армией:
«Маршал Шапошников: Побеспокоил Вас, чтобы в трудном деле поближе участвовать с Вами вместе в обороне города Ростова. Какая последняя обстановка? То, что Вы уже передали, я знаю; желательно знать, что есть нового в дополнение к переданному Вами. У меня все.