Однако то, на что надеялся Ганнибал, не произошло. На юге Италии союзники Рима остались ему верны, благодаря чему Рим выстоял. Колеблющихся склонило в сторону Рима и то, что в первом сражении при Ноле Марк Клавдий Марцелл с двумя легионами героически сумел отразить атаки Ганнибала.
После полного разгрома неприятельской армии под Каннами у Ганнибала была неплохая возможность пойти на Рим, но он ей не воспользовался. Или просто не рискнул, поскольку к тому времени не сформировал достаточной осадной базы, которую планировал создать на юге. Для создания прочной базы снабжения на Апеннинском полуострове требовалось разместить пунийские гарнизоны в ряде городов и привлечь на свою сторону союзников из числа недавно покоренных римлянами италийских племен. Только после этого можно было с какими-то шансами на успех подступать к стенам Рима. Кроме того, Ганнибал знал, что после поражения при Каннах римляне призвали в армию всех способных носить оружие, начиная с 17-летнего возраста, сформировав четыре легиона. Государство выкупило 8000 рабов, которые составили еще два легиона. В силу всех этих обстоятельств Ганнибал пока не решился идти на Рим.
Когда карфагенская армия двинулась на юг, многие самнитские племена перешли на сторону Ганнибала. Его поддержал крупнейший город Капуя, но на юге Италии, в области Великой Греции, Неаполь, Кумы и Нола сохранили верность Риму.
Ганнибал заключил союз с македонским царем Филиппом V, а в Сицилии на сторону Карфагена перешли Сиракузы. Но это не помогло: против Филиппа V на Балканах была составлена коалиция из Этолийского союза, ряда греческих городов и пергамского царя Аттала I. Несмотря на то, что македоняне эту войну в конце концов выиграли, непосредственно в Италии помочь Ганнибалу Филипп не смог.
В 215 году до н. э. сложилась парадоксальная ситуация: захватив большое количество городов и крепостей, Ганнибал не добился реальной победы. Рим располагал около 140 000 воинов, включая подразделения в Испании, Галлии, Сицилии; около 80 000 из них было сконцентрировано против сорока или пятидесяти тысяч воинов Ганнибала. Следуя новой тактике, провозглашенной сенатом, римляне избегали открытых столкновений. Марцелл сумел вновь отразить наступление войск Ганнибала во второй битве при Ноле.
В следующем году, проведя против Марцелла ничего не решавшую, третью битву при Ноле, Ганнибал направился в Апулию, чтобы захватить портовый город Тарент.
Тем временем Сиракузы, объявившие себя сторонниками Карфагена, сражались с войсками Марцелла, отправленными в Сицилию. После изнурительной осады Марцеллу все же удастся покорить Сиракузы.
Были еще сражения Гасдрубала в Испании против двух братьев Сципионов, в результате которых оба погибли, после чего Испания к югу от Эбро снова стала владением Карфагена.
А городу Капуя, который присоединился к карфагенянам и в помощь которому он выслал Ганнона, Ганнибал так и не смог помочь. Поход Ганнона закончился неудачей – 6000 карфагенян пали в битве, но не смогли снять осаду. В начале зимы 211 года до н. э. 60-тысячная римская армия под командованием Фульвия и Клавдия подверглась одновременному нападению городского гарнизона и основных сил Ганнибала. Операция также не принесла успеха – из-за нерасторопности осажденных спасти город не удалось. Тогда Ганнибал решил отвлечь противника и объявил о походе на Рим, чем вызвал у римлян вошедший в историю возглас ужаса: «Ганнибал у ворот!» Совершив свой обманный маневр и вернувшись к Капуе, Ганнибал к своему горю застал его капитулировавшим.
Настойчивые просьбы Ганнибала прислать из Карфагена подкрепление так и остались без ответа. Теперь он мог рассчитывать только на собственные силы, которые с каждым боевым столкновением с римлянами неумолимо уменьшались.
Тем временем на политической и военной арене римской истории появилась новая фигура – Публий Корнелий Сципион, сын одного из тех Сципионов, что погибли в Испании. Римский сенат в 210 году до н. э. послал двадцатипятилетнего юношу принять командование войсками в Испании, где Сципион довольно быстро восстановил римскую власть к северу от Эбро. Затем, в 209 году до н. э. маршем с армией в 27 500 человек добрался до Нового Карфагена (Картахена), и неожиданным приступом быстро взял город, блокированный с моря римским флотом.
Хваткий, обладающий незаурядными способностями молодой человек сумел постичь тайну тактического превосходства карфагенян и отныне стремился расчленить римский боевой порядок, сделать отдельные части его способными к самостоятельному маневру. Он объединил манипулы в когорты – своего рода батальон, способный к самостоятельному маневрированию; создал вторую линию боевого порядка; а его переход от фаланги к построению в несколько линий представлял тактическую эволюцию на пути к созданию боевого порядка с независимым общим резервом. Но все это было возможным лишь при условии утраты легионом многих устаревших качеств республиканской милиции.