Успех франков привел мусульман в большую тревогу. Получив известие о падении башни, 31 августа 1218 г. в Дамаске умер с горя долго уже болевший аль-Адил. В Египте ему наследовал султан аль-Камил, в Сирии - аль-Муаззам, в Джазире - аль-Ашраф. Младшие братья пока что подчинялись старшему аль-Камилу, и все держались заодно против франков.
Крестоносцы промедлили, не решились сразу высадиться на восточном берегу рукава и начать немедленный штурм Дамьетты. После взятия башни отправились домой на кораблях фризы, но, как рассказывают хронисты, были наказаны Богом за дезертирство: одни погибли на море в штормах, другие в наводнении, постигшем Фрисландию на другой день после их прибытия. На смену отбывшим в середине сентября прибыл нанятый за 20 тысяч марок серебра папой Гонорием III флот из Италии, который перевез войска, больше года дожидавшиеся транспорта в Бриндизи. С этим флотом прибыл Пелагий, папский легат, кардинал-епископ Альбано. Следом за ним частями в сентябре-октябре начал прибывать флот из Генуи, нанятый графом Эвре де Невером и Гюгом IX де Лузиньяном, графом де Ла Марш, участником Третьего крестового похода, на деньги, собранные как налог с французского духовенства. С этим флотом прибыли Гийом, архиепископ Бордо, епископы Парижа, Лана и Анжера, а также английские графы Уильям Арундел, Ранульф Честер и Уильям Дерби. Духовным главой этого флота, но без полномочий легата папа назначил кардинала Робера де Курсона.
Легат Пелагий был человеком властным, самодовольным и исключительно упрямым, из тех людей, которые, что-то начав, не могут остановиться. Его уже посылали легатом в Константинополь уладить положение греческой церкви в Латинской империи, но он своими действиями только озлобил греков и усилил их вражду к Риму. Прибытие Пелагия вызвало раздоры в лагере христиан. Опираясь на прибывших с ним итальянцев, на итальянских купцов и на рыцарские ордены, он отстранил Иоанна де Бриенна от командования. Пелагий считал, что он, легат папы, - тот единственный, кто должен быть верховным командующим, так как только представитель папы может объединить разные народы, участвующие в походе, и навести порядок и дисциплину. Он объявил, что, когда прибудет германский король Фридрих, передаст ему верховное командование, а пока не намерен выполнять никаких распоряжений Иоанна де Бриенна, который и королем-то стал только благодаря своей умершей жене.
Собрав большие силы и перевезя войска при помощи флотилии, султан аль-Камил Мухаммед 9 октября атаковал лагерь крестоносцев, но, благодаря бдительности и отваге Иоанна де Бриенна, был отбит с большими потерями. Через некоторое время аль-Камил построил наплавной мост через Нил и повторил нападение на лагерь, но снова был отбит. В обороне лагеря активное участие приняли только что прибывшие крестоносцы из Франции.
В конце ноября лагерь крестоносцев затопила вода, нагнанная северным ветром, и погубила запасы продовольствия. Не успели крестоносцы привести в порядок лагерь, как началась эпидемия, от которой погибла шестая часть армии, и среди них кардинал Робер де Курсон. Крестоносцы могли утешить себя только тем, что эпидемии подверглись также гарнизон в Дамьетте и армия аль-Камила. Жак из Витри, епископ Акры, заявлял, правда, что умиравшие христиане радовались этому «приглашению на Небеса» и умирали безболезненно.
Под влиянием тяжелой обстановки и общего недовольства султаном в лагере аль-Камила возник заговор во главе с курдским эмиром Ахметом ибн аль-Маштабом, который хотел убить султана и посадить на его место его брата аль-Фаиза. Узнав о заговоре, аль-Камил бежал из лагеря. Он собирался уже бежать дальше в Йемен к своему сыну аль-Масуду когда пришло известие, что к нему на помощь с войсками приближается его брат аль-Муаззам Иса Дамасский. После бегства султана армия раскололась и бежала из лагеря. В ночь с 4 на 5 февраля 1219 г. весть об этом в лагерь франков принес ренегат-христианин. На следующее утро крестоносцы переправились на восточный берег рукава и овладели лагерем, захватив большую добычу, после чего окружили Дамьетту по суше и по воде. Они заняли лагерь султана на восточном берегу при Адилии, укрепили окружавшие его валы и восстановили мост от укрепленной башни к Дамьетте.
7 февраля братья аль-Камил и аль-Муаззам встретились у Ашмуна (севернее Каира). Заговор был подавлен, Ибн аль-Маштаб арестован и казнен, аль-Фаиз изгнан в Синджар и по дороге убит. Султан предложил крестоносцам за уход долгосрочное перемирие и возврат всего бывшего королевства Иерусалим, включая сам аль-Кудс (Священный город), за исключением Трансиордании с замками Крак и Монреаль, за которую он предложил компенсацию в 30 тысяч безантов. Трансиордания была нужна Айюбидам как связующее звено между Египтом и Сирией. Уверенный в том, что франки примут предложение брата, аль-Муаззам приказал срыть стены Иерусалима, а также стены замков Торон, Сафед и Банияс. Испуганные мусульмане - жители Иерусалима бежали за Иордан, и город был разграблен солдатами аль-Муаззама. Предложение перемирия вызвало раскол в лагере крестоносцев. Иоанн де Бриенн и большинство французов, англичан и немцев стояли за заключение перемирия, легат Пелагий, Рауль, патриарх Иерусалима с прелатами, рыцари орденов и итальянцы - за продолжение войны. Итальянцам была нужна Дамьетта для торговли с Египтом, орденские рыцари справедливо указывали, что Иерусалим невозможно будет оборонять без замков в Трансиордании, священнослужители требовали войны до полной победы над неверными. Под давлением Пелагия предложение было отклонено.