Судя по дошедшим до нашего времени рассказам современников, он, видимо, искренне верил в то, что сам выдумал. Тут и письмо, которое он всюду читал, якобы полученное им от Бога, где Тот обещал, что христиане прогонят язычников из Святых мест, если попытаются; тут и явление ему Иисуса, когда он молился у Святого Гроба (хотя он так и не добрался до Иерусалима); и письмо патриарха Иерусалимского, будто бы переданное им папе о необходимости крестового похода; и его мнимое выступление на Клермонском соборе перед Урбаном II (на котором он не был). Однако его зажигательные речи, аскетизм, бессребреничество, щедрые раздачи полученных в дар денег вызывали поклонение ему как святому или пророку. Хронист Гибер из Ножана (Шампань) пишет: «Многие выдергивали шерсть из его мула, чтобы хранить как реликвию. Я не припомню никого, кому бы когда-нибудь оказывались такие почести… То, что он говорил или делал, казалось, исходило от полубога». Всем участникам похода Петр Пустынник отпускал грехи.
Самыми мобильными оказались бедняки, страдавшие от военных неурядиц, голода, холода и эпидемий и видевшие в крестовом походе средство достижения земного счастья и небесного блаженства. Жизнь нарушила запрет папы, и вокруг самозваных вождей собирались фанатически настроенные толпы мужчин, женщин и детей. Религиозный энтузиазм, охвативший Францию, перекинулся в Германию, Италию и Англию.
В начале весны 1096 г. толпы бедного люда с женами и детьми, мелких рыцарей, преступников и бродяг собрались во Франции, руководимые Петром Пустынником и бедным рыцарем Готье Сент-Авуаром по прозвищу Голяк, и двинулись через Германию, Венгрию и Болгарию к Константинополю. Их было не менее 15 тысяч. Они шли пешком и ехали на двух- и четырехколесных повозках, запряженных лошадьми или быками, все время увеличиваясь в количестве. В Кельне, куда они прибыли на Пасху 12 апреля, толпы разделились — часть отправилась вперед во главе с Готье Голяком. В Германии под влиянием французского примера к походу в Святую Землю присоединилось еще большое количество немецкой бедноты. Потеряв пойманных на грабежах в Венгрии и публично опозоренных, а также несколько десятков человек в стычках с болгарами при разбоях, воинство Голяка в середине июля достигло Константинополя. Следом за Готье двинулся Петр Пустынник, оставив в Кельне своего сподвижника немецкого священника Готшалька, который должен был возглавить дополнительно собиравшиеся толпы. Сборище Петра Пустынника, насчитывавшее вначале около 20 тысяч, потеряв четверть народу в столкновениях при разбоях в Венгрии и Болгарии, в начале августа присоединилось к Готье Голяку в Константинополе. Там этот сброд пополнился толпами итальянских паломников.
Следом за Петром Пустынником из Германии двинулись другие толпы по нескольку тысяч человек, не отличавшиеся по составу от первых. Многие из них возглавлялись дворянами. Почти все отряды были откровенно разбойничьими, такие, как руководимые Готшальком; Гийомом, виконтом де Меленом, прозванным Шарпантье (Плотником) за пристрастие к боевому топору; священником Фолькмаром и графом Эмихо Лейнингенским. «Много всякого сброда примкнуло ко крестовому воинству не для того, чтобы искупить грехи, но чтобы содеять новые», — пишет хронист. Они начали «священную войну» с избиения «здешних врагов Христа», с еврейских погромов, прокатившихся по прирейнским городам Кельну, Майнцу, Триру, Вормсу, Шпейеру и далее — в Праге. Церковные власти пытались их остановить, но вяло и по большей части безуспешно. Погибло несколько тысяч евреев. Такого масштаба еврейских погромов до сих пор Европа еще не знала. В Венгрии эти отряды, начав угонять скот, грабить и убивать жителей, были почти полностью перебиты войсками венгерского короля Коломана, хотя часть их предводителей улизнула и добралась до Константинополя, а другие возвратились и примкнули к рыцарским армиям лотарингцев и северофранцузов. По некоторым данным, в Европе сложило голову до 30 тысяч крестоносной разбойничьей бедноты.
Петр Пустынник был принят императором, объяснившим ему, что его отряды мало пригодны для борьбы с турками и лучше подождать прихода более надежных войск, но тот не смог справиться со своим разнузданным воинством. Послушаем Анонима, участника крестового похода, видимо, итальянского нормандца, имя которого до нас не дошло: «Упомянутый Петр первым подошел к Константинополю в третий день от августовских календ [30 июля], вместе с ним подошло большинство немцев. Среди них были лангобарды [итальянцы] и множество других. Василевс [император] приказал снабдить их продовольствием по мере возможности города и сказал им: не переходите Босфор до прихода основной армии, так как вас недостаточно, чтобы сразиться с турками. Но христиане повели себя недостойно — они разрушали и сжигали дворцы в городе, снимали свинец, которым были покрыты церкви, и продавали его грекам, так что император, прогневавшись, приказал переправить их через Босфор».