Ричард не хотел осаждать Иерусалим. Осаждать хорошо укрепленный город, лежащий внутри страны, имея поблизости в тылу вражескую армию, можно было, только окончательно потеряв разум. Летом к этому добавилось бы отсутствие воды, так как еще осенью султан приказал засыпать все колодцы в окрестностях города. От Первого крестового похода, когда крестоносцам удалось взять Иерусалим, положение дел отличалось тем, что тогда линиям снабжения христиан никто не угрожал, враг был только внутри города. Осада Иерусалима сейчас явилась бы авантюрой, обреченной на поражение. И даже если бы город удалось взять, удержать Иерусалим было бы невозможно. Вместо этого крестоносцам нужно было если уж не завоевывать Египет, то, в крайнем случае, овладеть прибрежной полосой, укрепить на ней города и использовать их в качестве плацдарма в будущем крестовом походе.
В январе 1192 г. военный совет армии принял решение, очевидно, предварительно согласованное с Ричардом, осады Иерусалима не начинать, отойти к побережью и восстановить Аскалон. 13 января армия отправилась в обратный путь. Отчаяние овладело паломниками. Амбруаз описывает дорогу назад: «Тяжело нагруженные, шли они по колено в грязи, их ноги подкашивались, и они падали. Они ругались, как будто шли к дьяволу в ад. И это — правда, никогда порядочные люди не были так унижены… Среди людей была масса больных, и их бросили бы на пути, не будь английского короля, который заставлял их разыскивать, так что их всех собрали и привели».
В Рамле от армии отделились французы во главе с герцогом Бургундским. Они двинулись на Яффу, а некоторые еще дальше, на Акру и Тир. Поредевшая армия из Рамлы направилась в Аскалон, куда пришла 20 января. Город представлял груду развалин. Немедленно Ричард приступил к его восстановлению. Амбруаз пишет: «Король с обычным великодушием участвовал в работе, и бароны ему подражали». Аскалон быстро поднимался из руин. Были отправлены посланцы к герцогу Бургундскому и уговорили его именем Бога присоединиться к армии. Он прибыл в Аскалон, впрочем, ненадолго. Когда Ричард отказался выдать ему новый заем, герцог отправился в Акру Тогда же французы известили Ричарда, что хотят покинуть армию. Формально они имели на это право: уезжая, король Филипп оговорил срок обязательного участия французов в крестовом походе 1 апреля 1192 г. Уговоры ни к чему не привели. Ричард потребовал у герцога вернуть 1500 фунтов. Так как денег у герцога не было, он должен был отдать Ричарду в залог коменданта Акры Каракуша. При заключении мира за Каракуша был заплачен выкуп в 80 тысяч динаров (14 тысяч марок). Находившегося у Ричарда аль-Маштуба выкупили за 50 тысяч динаров. Ричард распорядился в Акру французов не пускать, и они прибыли в Тир.
Свою оставленную ему королем Филиппом часть Акры Конрад Монферратский так и не получил. Французская военная администрация также покинула город. В Акре было неспокойно. Бесконечные распри между пизанцами и генуэзцами переросли в вооруженный конфликт. К началу конфликта у ворот Акры оказался герцог Гюг, а у входа в гавань — галеры Конрада Монферратского. Пизанцы не пустили в город Гюга, обстреляли корабли Конрада и позвали на помощь Ричарда. Призыв о помощи застал его в Цезарее, недалеко от Акры. Узнав о прибытии Ричарда в Акру, Гюг и Конрад немедленно отступили в Тир. Ричард, примирив пизанцев и генуэзцев, оставался в Акре шесть недель и вернулся к армии в Аскалон перед Пасхой. В его отсутствие восстановлением города руководил Жофруа де Лузиньян, граф Яффы и Аскалона. На один день, в воскресенье 5 апреля, Ричард разрешил оторваться от работ по возведению города, чтобы отпраздновать Пасху. Несмотря на то что армия уменьшилась, Ричард постоянно высылал разведывательные группы на юг, к Дарону и Газе, а также отряды в глубь страны на перехват египетских караванов, идущих в Иерусалим. Одновременно продолжались раздельные переговоры Ричарда и Конрада с Салах ад-Дином.