Совместный штурм был назначен на 17 июля. Французское войско было очень мало: в нем было пятьсот – семьсот рыцарей с таким же количеством конных оруженосцев и несколько тысяч пехотинцев. Из семи дивизий три были оставлены охранять лагерь под командованием Бонифация Монферратского, в то время как Балдуин Фландрский возглавил остальных. Алексей III сумел привести на поле битвы по крайней мере девять дивизий, и каждая из них, по непроверенным данным, в шесть или семь раз превосходила по численности дивизию франков. Когда две армии выстроились друг напротив друга, и войско крестоносцев пошло в наступление, Балдуин Фландрский был предупрежден, что он находится слишком далеко от лагеря и ему лучше ожидать нападения византийцев за его частоколом. Приняв это предложение, он повернул свой авангард назад. Но на кону стояла гордость французских баронов, и военачальники следующей дивизии Хью Сент-Поль и Петр Амьенский отказались последовать его примеру; вместо этого они пришпорили своих коней и направили их на врага, а Балдуин со стыдом последовал за ними. Византийцы собрали свои силы за укрытием, которое Робер де Клари описывает как канал для доставки воды в Константинополь; возможно, это был Ликос. Французы натянули поводья перед этим препятствием и спохватились, что находятся далеко от своего лагеря; они ожидали больших потерь при преодолении водной преграды. Пока они стояли не небольшом возвышении и обсуждали, что им делать, имперские войска отступили в город. Так, без борьбы крестоносцы добились большего успеха.
Тем временем венецианцы атаковали приморскую стену вдоль Золотого Рога, прилегающую к Влахернам, которую защищали пизанцы, английские и датские варяги. На другом берегу гавани венецианский флот выстроился в линию протяженностью в три броска камнеметалки, как пишет Виллардуэн. Несмотря на свою частичную слепоту, Дандоло стоял на носу своего судна со знаменем святого Марка; после обмена стрелами его ободряющие крики так воодушевили команду, что они были первыми, кто добрался до берега. К нему присоединились и другие корабли, и солдаты стали высаживаться с них на берег, пока те, которые находились на штурмовых трапах, сражались с врагами в башнях. После яростного сражения все увидели, что знамя святого с изображенным на нем крылатым львом развевается наверху башни, а византийцы отступают. Была захвачена большая часть стены с двадцатью пятью или тридцатью башнями, и для венецианцев открылись ворота внизу; они рассеялись по городу и разграбили все, что только смогли. Гонцы, посланные к французам, привели с собой коней, захваченных в Константинополе, в качестве подарка от дожа и символа его победы. Возможно, весть об этой катастрофе заставила Алексея III отвести свои войска к столице.
Гонцы дожа вернулись с сообщением, что французы находятся в трудном положении и просят подкрепления, после чего Дандоло (якобы он уже подорвал и обрушил часть стены) решил оставить свои завоевания и идти на подмогу. Для прикрытия его отступления, которое византийцы истолковали как поражение, венецианцы подожгли эту часть города. Этот пожар – самый маленький из трех пожаров, устроенных крестоносцами в Константинополе, горел почти на милю в длину вдоль гавани от Влахерн до монастыря Христа Эвергета; доки, склады, деревянные постройки были отличным материалом для пламени. Под прикрытием этой сумятицы венецианский флот поплыл к лагерю французов, очевидно, потеряв все, чего он добился в тяжелом сражении.
Тем не менее из неудачи неожиданно возникла победа. По словам Никиты Хониата, император, который никогда не был настроен оптимистически, с самого начала рассматривал вариант бегства. Аристократы и придворные во главе, очевидно, с Феодором Ласкарисом фактически заставили его начать сражаться. Успех венецианцев лишил императора мужества; Робер де Клари пишет, что дамы, которые со стен города видели позорное отступление его войск, выразили ему свое презрение, но это свидетельство, вероятно, отражает романтические фантазии автора. В ночь на 17 июля Алексей III, собрав тысячу фунтов золота, императорские драгоценности и забрав свою дочь Ирину, некоторых других родственников и нескольких наложниц, бежал из города. Он направился в Девелтос, расположенный на Черном море на границе валахо-болгарского царства. Там, по словам Никиты Хониата, он заранее приготовил себе убежище.