Двести рыцарей, какими бы желанными они ни были, мало что могли сделать, чтобы остановить поток дезертирства, последовавший за отходом Людовика. Жан и Фуко де Берзи, которых молодой Раймунд отпустил в обмен на коменданта Марманда, собрав банду снова начали терроризировать Тулузен, совершив ряд громких злодеяний. Но зимой они были схвачены, и их отрубленные головы были вывешены над воротами Тулузы. Через несколько недель был захвачен Пюилоран, удерживаемый для крестоносцев женой Фуко де Берзи. Сервиан пал весной 1220 года. Лавор был взят штурмом, а его гарнизон истреблен, за исключением нескольких человек, которые переплыли реку Агу вплавь. Крестоносцы предприняли несколько попыток вернуть инициативу, но все они закончились позорным провалом. Амори осаждал Кастельнодари в течение восьми месяцев, так и не взяв его, и понес большие потери, прежде чем был вынужден отступить; среди погибших был его младший брат Ги, "красивый, верный и доблестный в оружии", который был убит во время одного из первых штурмов. Несколько недель спустя Алан де Руси, знаменитый паладин и один из ближайших соратников Симона де Монфора с 1211 года, погиб при защите Монреаля, который вскоре после этого сдался южанам.
В многочисленных городах жители стояли перед трудным выбором, гадая какая из сторон одержит победу, зная, что от этого зависит их будущее. Большинство из них встали на сторону молодого Раймунда, но без особого энтузиазма. Трудности, с которыми столкнулись жители Ажена, были теми же, что и во всем Лангедоке. Они разделились по этому вопросу почти поровну, хотя в 1212–1221 годах верх одержали монфористы. Это, однако, не помешало сторонникам Раймунда в городе прийти на помощь Тулузе в 1217 году, а летом 1221 года они замышляли открыть ворота для армии молодого Раймунда. Они распространяли тревожные слухи о том, что Амори планирует взять заложников за их верность и конфисковать их имущество. Амори поспешил отрицать, что у него есть такие планы. Он отправил им вкрадчивое письмо, в котором хвалил их за верность и обещал, что не причинит им никакого вреда. Консулы, видимо, успокоившись, обязались принять чиновников Амори и закрыть свои ворота для его врагов. Но молодой Раймунд предложил им лучшие условия: амнистию для монфористов города и обещание предоставить достаточно сильный гарнизон, чтобы противостоять крестоносцам. Через три недели Ажен подчинился Тулузскому дому.
В Риме Гонорий III предпринимал неистовые усилия, чтобы переломить, казалось бы, непреодолимую волну поражения. После фиаско крестового похода Людовика Бертран был отозван и заменен в качестве папского легата Конрадом фон Урах, кардиналом-епископом Порто и бывшим аббатом Сито. Конрад был немцем, сыном графа Церингена, человеком большой личной святости, а также выдающимся папским дипломатом. Однако его назначение произошло слишком поздно. Он прибыл в Лангедок весной 1220 года и обнаружил, что большая часть провинции находится в руках Раймунда, а Амори разочарован и разорен. При въезде в Безье легат был изгнан толпой и вынужден бежать на лодке в Нарбон. Взяв под контроль дела, Конрад попытался организовать военный орден, Орден Святой Веры, который должен был быть создан по образцу тамплиеров и, как надеялись, обеспечит Амори постоянную армию для защиты его владений. Были собраны средства и назначен магистр. Официальное одобрение Папы было дано в июне 1221 года. Но после этого Орден Святой Веры исчезает из со страниц хроник. Причина почти наверняка заключалась в нехватке рекрутов в то время, когда священная война приобретала все черты политических разборок ради мирских целей.