Лишь в одной сфере деяния Генриха нашли широкую поддержку: он выступал против преследования еретиков, которые Фридрих II закрепил в своей Liber Augustalis. Начавшаяся в 1232 году в Италии волна преследований пришла в Германию, а свирепый Конрад Марбургский довел ее ужасы до предела.
Бесчисленные верующие в верхней Италии, впечатленные темными пророчествами и интерпретациями Священного Писания, ожидали в 1233 году конца света, Страшного Суда, явления Антихриста, а вместе с тем и прихода мессии, всемирного царства мира или аполлонического Золотого века. Крупномасштабное богослужение со всеобщим покаянием и молитвами о мире, названное экзальтированными проповедниками «Большая Аллилуйя», началось под руководством нового нищенствующего ордена доминиканцев, но вскоре вообще вышло из-под какого-либо контроля. Доминиканцы удовлетворились тем, что их основатель, умерший в 1221 году испанец Доминик, в 1234 году был причислен к лику святых, как и Франциск Ассизский. Организованные ими преследования еретиков превратились не только в безумие, фанатизм, но и в борьбу за власть. В королевстве Сицилия тем временем царил новый порядок. Заведенный Фридрихом, он остался неизменным: императорские чиновники недолго думая отправляли каждого появившегося в Апулии проповедника через границу, во Флоренции же со священниками поступали совсем «не по-божески». Однако в многочисленных столь важных для императора ломбардских городах монахи-«чудотворцы» могли беспрепятственно очаровывать народ, а иногда даже захватывать политическую власть. Так произошло в Вероне, этом ключевом пункте важнейших связующих путей между Севером и Югом империи, что имело весьма неблагоприятные последствия для Фридриха. Летом 1233 года один из его союзников, Эцелино да Романо, не отступающий ни перед каким преступлением тиран, должен был принести клятву послушания доминиканцу, возглавившему «Большую Аллилуйю».
Ломбардская Лига, набравшая силу со времен неудавшегося придворного сейма в Равенне (в ноябре 1234 года), не собиралась смиряться, и уж конечно вялые попытки переговоров Папы не оказали на нее никакого влияния. Только на Троицу 1234 года Грегор IX призвал городам пропустить через Альпы германскую армию, шедшую ему на помощь против снова восставших римлян, а также и впредь подчиняться его третейскому решению. «Большая Аллилуйя», которая должна была принести вечный мир, уже осенью 1233 года бесславно превратилась в войну между противоборствующими городами.
В Германии всеобщее религиозное возбуждение также уже много лет провоцировало отделение широких масс населения от официальной церкви. Стремление к особому благочестию, подражанию Христу, стерло границы между Единоспасающей Церковью и сектами, наставляющими истинных христиан (прежде всего вальденсами, ср. ниже, гл. 7). Чтобы возвести заслон против этой угрозы, понтифики Иннокентий III и Гонорий III после долгих раздумий постановили включить нищенствующие ордена францисканцев и доминиканцев в систему католицизма, но этим решением была погребена идея «чистой» церкви. Законы о язычниках, принятые Фридрихом, должны были положить конец успешной пропаганде «нищенствующих», и главным образом, с помощью доминиканцев, которые вскоре были названы «Domini canes», «собаки господина». В марте 1232 года Фридрих провозгласил по всей территории государства ужесточенный вариант законов о еретиках.
Папским инквизитором в Германии уже с 1227 года был мрачный Конрад Марбургский, духовник ландрафини Элизабет Тюрингской, которая после смерти ее мужа (1227) вела жизнь, полную деятельной любви к ближним и ужасных самобичеваний. Только после ее смерти в 1231 году Конрад, принадлежащий, возможно, согласно последним исследованиям ордену премонстратов, с полной силой стал исполнять свои обязанности главного инквизитора. Ко времени «Большой Аллилуйи» он колесил по Германии, чтобы предать сожжению «язычников» всяких мастей. Так как королю поступала часть от конфискованного имущества жертв инквизиции, он гарантировал Конраду и другим ловцам еретиков полную неприкосновенность. Преследования переросли в массовые убийства и оргии произвола, в которых Конрад отличался особой, граничащей с сумасшествием яростью. В конце концов выяснилось, что жертвами вердикта главного инквизитора пали приближенные короля, как, например, граф фон Сайн, фон Солмс, фон Арнсберг, а также графиня фон Лоц. После этого 25 июля 1233 года на придворном сейме в Майнце Генрих занял позицию против папского инквизитора. Это придало угнетенным храбрости, и уже через пять дней позднее по пути домой из Майнца в Марбург Конрад был убит.