В середине мая 1102 г. египетское войско, состоявшее примерно из 20 000 египтян и суданцев, которым на этот раз командовал сын визиря Шарафа аль-Маали, стянулось к Аскалону и двинулось в сторону Рамлы. Балдуин уже приготовился к прибытию врага. В Яффе его ждало войско, состоявшее из нескольких тысяч христиан, а галилейские гарнизоны были готовы в случае необходимости прислать свои отряды. Но разведчики Балдуина подвели его. Посчитав, будто ему придется иметь дело с немногочисленным и недисциплинированным отрядом, он решил разделаться с египтянами самостоятельно, не призывая резервные войска. Вместе с Балдуином в Иерусалиме находились его друзья, приехавшие с Запада, — Стефан Блуаский, Стефан Бургундский, коннетабль Конрад, Гуго де Лузиньян и бельгийские рыцари, и он предложил им выступить против врага в сопровождении его конницы. Стефан Блуаский осмелился порекомендовать не принимать поспешных решений и предложил спланировать предстоящее сражение более тщательно. Но никто не стал его слушать, не забыв о трусости, проявленной им при осаде Антиохии. В итоге он был вынужден присоединиться к своим товарищам и больше ничего им не предлагал.
Таким образом, 17 мая Балдуин в сопровождении примерно 500 всадников выступил из Иерусалима. Они ехали весьма беспечно, не сохраняя строй. Балдуин осознал свою ошибку лишь тогда, когда крестоносцы прибыли на равнину и увидели многочисленную египетскую армию. Но пути назад уже не было. Египтяне заметили христиан, и их легкая конница уже скакала им навстречу, чтобы не позволить отступить. Крестоносцы понимали: им следует стремительно атаковать противника, иначе они лишатся последнего шанса на спасение. Египтяне, поначалу решившие, что перед ними всего лишь авангард более многочисленного войска, едва не обратились в бегство, испуганные подобным натиском, но затем, увидев, что за христианами никто не следует, сомкнули ряды и перешли в наступление. Солдаты Балдуина нарушили строй. Нескольким рыцарям во главе с Роже де Розуа и двоюродным братом Балдуина Гуго де Буром удалось прорваться сквозь ряды египтян и добраться до Яффы. Многие воины, включая Жерара д’Авена и Стабелона, бывшего мажордома Готфрида, погибли на поле боя. Однако сам король Балдуин и его товарищи сумели укрыться в небольшой крепости в Рамле, которая тотчас же оказалась окружена египетской армией.
От нападения противника крестоносцев спасло наступление ночи. Однако защитные сооружения Рамлы не вызывали оптимизма. Укрывшиеся понимали, что удержать, вероятно, смогут только башню, построенную по приказу Балдуина за год до этого. Поэтому все они поспешили спрятаться именно в ней. Посреди ночи к воротам подошел араб и сказал, что ему нужно поговорить с королем. Его пустили в крепость, и оказалось, что это муж той самой дамы, которую Балдуин пощадил во время похода в Трансиорданию. В благодарность за спасение жены он предупредил короля, что египтяне планируют начать брать крепость приступом на рассвете, и посоветовал ему бежать. Как бы ни жалел Балдуин, что ему придется оставить своих товарищей на верную гибель (хотя в целом его сложно назвать человеком чести), он понимал, что от его жизни зависит будущее целого государства. В сопровождении слуги и трех товарищей он на своем коне Газели пробрался через вражеское войско. Той же ночью крепость покинули наместник Яффы Литар де Камбре и Готман Брюссельский. Последний, хотя и тяжело раненный, сумел добраться до Иерусалима и рассказать о случившейся катастрофе. При этом он просил своих сородичей не отчаиваться, ибо верил, что Балдуин все еще жив.
Рано утром следующего дня египтяне начали штурмовать Рамлу. Вокруг башни, в которой укрылись рыцари, они разложили вязанки хвороста. Не желая гибнуть в пламени, пришельцы с Запада во главе с коннетаблем Конрадом выскочили на врага. Но пробиться на свободу им не удалось. Всех их перебили на месте или взяли в плен. Храбрость Конрада настолько поразила египтян, что они решили сохранить ему жизнь. В итоге его, а также более сотни его сородичей угнали в Египет в качестве пленников. Другие предводители крестоносцев: Стефан Бургундский, Гуго де Лузиньян и Жоффруа Вандомский — пали на поле боя. Погиб и Стефан Блуаский, славная смерть которого наконец способствовала восстановлению его репутации. Графиня Адела теперь могла спать спокойно.