После возвращения Алексея в Константинополь отношения стали еще более напряженными, хотя официальные византийские представители все еще надеялись на примирение. Никифор Хризоберг в своей речи 6 января 1204 г. воздал хвалу Алексею IV за его хитрость при обращении с латинянами, которые стали орудием завоевания им его законного положения. Император, как заявил он, будучи добр к своим приверженцам, дал им понять, что он воинственный человек, с которым нельзя шутки шутить: те, которые окажут сопротивление Алексею, лишатся голов так же легко, как император бьет по мячу в игре, но в иных случаях его искусство сплотит инакомыслящие народы; с помощью патриарха Алексей IV сможет даже примирить противоречивые требования старого и нового Рима. Хризоберг подразумевает, что небольшое применение силы даст крестоносцам осознать свое изолированное положение и заставит их с большей готовностью принимать то, что им предлагают.
Народ Византии не хотел, чтобы время залечивало раны. Многие обстоятельства вызывали враждебность к западноевропейцам, которая укоренилась в народе еще со времен Мануила Комнина. Крестоносцы, посещавшие Константинополь, вели себя высокомерно, скорее как завоеватели, разгуливающие по захваченному городу, нежели как союзники или наемники правителя. Отдельные их представители, жаждавшие золота, присваивали его напрямую, тогда как эпизоды произвола, случающиеся, когда любая армия размещается в городе, невозможно было предотвратить. Горожане понимали, что их налоги наполняют карманы этой опасной солдатни, а богатые византийцы проводили ночи без сна, задаваясь вопросом: чью собственность правительство конфискует в следующий раз? Крестоносцы также оскорбляли религиозные чувства византийцев, оскверняя церкви, грабя священные сосуды и срывая украшения со святых образов. К тому же слух о планируемом признании власти Ватикана, вероятно, дошел до людей, так как даже языковой барьер не мог помешать крестоносцам хвастаться этим. Это недовольство вместе с не скрываемой Алексеем тесной дружбой с латинянами воспламеняли чувства людей.
Лагерь крестоносцев находился вне досягаемости толпы, а солдат, осматривающих достопримечательности города – к тому же очень осторожных, – было слишком мало, чтобы они представляли собой удовлетворительные цели. Но привилегированные торговые сообщества, особенно пизанское и амальфитанское, продолжали существовать: генуэзцев, очевидно, изгнал дож. Пизанцы отличились своей верностью при защите Алексея III, но толпа была слишком разгневана, чтобы отделять друзей от врагов. Приблизительно 19 августа, когда Алексей IV находился во Фракии, жители Константинополя напали на эти районы, угрожая повторением геноцида латинян 1182 г. Аналогичные попытки предпринимались в 1187, 1192 и последующие годы, так что итальянцы не были захвачены врасплох. Когда начались массовые беспорядки, они взялись за оружие, как и византийцы. Перед численным превосходством нападавших чужеземцы отступили на свои корабли и переправились через гавань к лагерю в Эстаноре, где пизанцы объединили свои силы с венецианцами и французами. Виллардуэн приводит численность этих беженцев – 15 тысяч человек; и эта цифра, возможно, не завышена.
Первым результатом такого союза было желание отомстить. Военачальники крестового похода хотели мира и пытались выступить в роли посредников между византийцами и латинскими купцами. Однако приблизительно 22 августа, распалившись от негодования, отряд фламандцев, венецианцев и пизанцев переправился через гавань, видимо чтобы разрушить мечеть, расположенную на берегу на полпути между Влахернами и Босфором. Захваченная врасплох мусульманская община оказала сопротивление, и византийцы поспешили к ней на помощь. Отброшенный небольшой отряд латинян прибегнул к огню, чтобы защитить себя. Дул северный ветер, который должен был нести пламя в лицо нападавших на него людей.