Покарав вероломного союзника, крестоносцы двинулись маршем через пустынные степи в Иконий. Переход был трудным, сопровождался жесточайшими лишениями и потребовал огромного напряжения сил. Голод и жажда были постоянными спутниками крестоносцев, поскольку Кутбеддин приказал увезти припасы из селений, встречавшихся на пути, в горы или спрятать в отдаленных укрытиях. Необычайно рано начавшаяся в тот год летняя жара до срока иссушила степную траву. Летучие отряды турецкой конницы днем и ночью нападали на измученных пилигримов, делая смертельно опасной любую разведывательную вылазку в поисках пастбищ для лошадей и вьючных животных. Питались мясом лошадей и мулов. Некоторые не выдерживали и отдавались врагам в рабство, отрекаясь от своей веры. Другие ложились на дорогу и, крестом раскинув руки, ждали мученической смерти от врагов.
Наконец, 15 мая, когда до столицы Иконийского султаната оставалось еще не менее десяти километров, в болотистой низине крестоносцы нашли воду и расположились там на отдых, собираясь с силами и готовясь к неизбежному сражению. Но и тут сельджуки не оставляли их в покое. Шестьдесят оруженосцев, отправившихся на поиски корма для лошадей, были убиты. На следующий день Килич Арслан направил из Икония посольство, предлагая императору свободный проход, если он заплатит дань золотом и уступит ему «страну армян» — Исаврию и Киликию. На это Барбаросса ответил, что и его императорское достоинство, и обычай рыцарей-крестоносцев требуют «прокладывать путь железом, а не золотом». Отправляясь назад, султанский посол сказал, что если он не вернется ночью, то утром все турецкое войско будет готово к бою.
Для крестоносцев выдалась тревожная ночь. На военном совете, созванном императором, предлагалось обойти Иконий стороной, направившись прямо в Армению. Однако слишком велика была угроза того, что лишенное провианта войско не выдержит очередных атак турок и тягот марша до армянской границы. Поэтому поневоле пришлось принять решение штурмовать Иконий, дабы заполучить все необходимое для продолжения похода. Епископ Вюрцбургский старался вселить в сердца пилигримов мужество и уверенность в победе, обещая им поддержку святого Георгия, который будто бы подал добрый знак своим появлением у палатки императора. Барбаросса, на которого тяжело давил груз ответственности, пообещал расположиться лагерем в саду султана перед воротами Икония, считая добрым знамением, если завтра удастся, с Божьей помощью, поставить там палатки. Тогда же он прилюдно дал обет построить храм в честь святого Георгия, если сумеет вызволить войско из столь бедственного положения.
Ранним утром 17 мая, отслужив мессу, двинулись к Иконию, показавшемуся некоторым пилигримам не меньше Кёльна. На крестоносное войско с обеих сторон нападали конные отряды турок, оглашая округу боевыми кличами, что, однако, не причиняло вреда Христову воинству. До сражения дело так и не дошло, и первое желание Барбароссы исполнилось без кровопролития: лагерь разбили в саду султана к западу от города, в зверинце, обнесенном стенами и потому пригодном для использования в качестве укрепления. Однако желанного отдыха пилигримы не обрели, поскольку ночью разразилась гроза с проливным дождем, лишившая их сна.
Наутро крестоносное войско заняло позиции у стен города. Барбаросса разделил его на две группы: одна под командованием герцога Фридриха Швабского должна была штурмовать город, а другой под командованием его самого предстояло сражаться с турками, находившимися вне города. Однако еще до того, как был отдан приказ к наступлению, некоторое время настроения колебались между миром и войной. Перед взорами пилигримов предстал старый султан Килич Арслан, выехавший из ворот города с несколькими сотнями всадников. Очевидно, своим вмешательством он хотел предупредить роковое развитие событий. Однако немецкое войско уже двигалось к городу. Султан, будто внезапно осознав опасность, грозившую ему и его спутникам на открытом пространстве, отделявшем друг от друга враждебные стороны, и понимая, что момент для примирения упущен, повернул коня и поскакал обратно в город, укрывшись за его стенами.