Узнав о том, что Стефан Блуаский отправляется в поход, многие франкские рыцари во главе с графом Бургундии Стефаном, Гуго де Бруа, Балдуином де Гранпре и епископом Суассона Гуго де Пьерфоном решили присоединиться к нему. Они отправились на юг через Италию, пересекли Адриатическое море и достигли Константинополя примерно в начале мая. По пути их нагнал небольшой германский отряд под командованием Конрада, коннетабля императора Генриха IV.
Крестоносцы-франки обрадовались, узнав, что Раймунд находится в Константинополе, да и сам византийский император принял их очень хорошо. Возможно, последовав совету Алексея, они решили, что Раймунд должен возглавить поход; ломбардцы также пошли на уступки и согласились с этим предложением. В последние дни мая вся армия, состоявшая из франков, германцев и ломбардцев, а также немногочисленных византийцев под командованием военачальника Цитаса, которого также сопровождал отряд тюркских наемников, вероятно печенегов, выступил из Никомедии в сторону Дорилея.
Участники крестового похода планировали достичь Святой земли, а по дороге расчистить путь, который шел по Малой Азии (нужно сказать, что император полностью поддерживал выполнение этой вторичной для крестоносцев задачи). Поэтому Стефан Блуаский предложил двигаться по дороге, проходившей через Дорилей и Конью, которой в свое время воспользовались участники Первого крестового похода. Раймунд с ним согласился, так как это предложение вполне соответствовало инструкциям, полученным им от Алексея. Однако у ломбардцев, составлявших основу войска, было другое мнение. Они считали своим героем Боэмунда, и только он, по их мнению, был единственным полководцем, способным вести их к победе. Сам Боэмунд в это время находился в плену у эмира из династии Данишмендидов в его замке в Никсаре, расположенном далеко на северо-востоке Анатолии. Ломбардцы настаивали, что в первую очередь следует освободить Боэмунда. Раймунд и Стефан пытались спорить, но тщетно. О том, что Раймунд завидует Боэмунду, знали слишком многие; к тому же, несмотря на все его качества, он ни разу не проявил себя как сильный военный лидер, а репутация Стефана была испорчена воспоминанием о проявленной им трусости. Миланский архиепископ и Альберто де Бьяндрате поддержали ломбардцев, в итоге сумевших добиться своего. Выйдя из Никомедии, войско повернуло на восток и направилось в сторону Анкары. Большая часть этой территории находилась во власти византийцев, благодаря чему крестоносцы по пути могли спокойно раздобыть пищу. В самой Анкаре управлял султан из династии Сельджукидов Кылыч-Арслан, но, прибыв туда 23 июня, крестоносцы увидели, что город плохо укреплен, и взяли его приступом. Затем Анкару передали во власть императора, сделав таким образом очень правильный шаг.
Покинув Анкару, крестоносцы отправились на северо-восток по пути, который вел в Гангру в Южной Пафлагонии, собираясь выйти на большую дорогу в сторону Амасьи и Никсара. Уже по пути в Гангру у крестоносцев начались проблемы. Кылыч-Арслан отступал, двигаясь перед ними и опустошая при этом области, по которым шел, вследствие чего участникам похода не удавалось найти для себя пищу. Тем временем о приближающемся войске узнал Малик Гази из династии Данишмендидов. Он поспешил возобновить союз с Кылыч-Арсланом и уговорил правителя Алеппо Ридвана прислать с юга подкрепление. В начале июля крестоносцы достигли Гангры, но там их встретили полностью готовые к бою сельджуки. Крепость действительно оказалась неприступной. Разграбив окрестности и забрав столько еды, сколько можно было унести, крестоносцы были вынуждены уйти. Они были вымотаны, их мучило чувство голода, да и июльскую жару на Анатолийском нагорье вынести непросто. Охваченные разочарованием, они прислушались к словам графа Раймунда, посоветовавшего им отступить на север, к Кастамону, а оттуда — в один из византийских городов на побережье Черного моря. Это отступление должно было спасти войско от неизбежного уничтожения. Раймунд, несомненно, думал, что император простит его за непослушание, ведь он планировал на обратном пути захватить два города: Анкару и Кастамону — и передать их Алексею. Не случайно последний из этих двух городов носил название Castra Comnenon — именно оттуда происходила правившая в Византии династия.