Ему противостоял молодой, неопытный, но чрезвычайно самонадеянный король. Их конфликт получил в литературе название «спор об инвеституре». Инвеститурой называлась церемония, когда император при вступлении епископа в должность вручал ему кольцо и посох как символы власти в духовном княжестве и принимал от него клятву в ленной верности. Инвеститура не являлась частью церковного церемониала, а она носила характер светского ленного пожалования.
Папа настаивал на том, что он, как наместник Бога, является единственным источником и земной власти. И если он торжественным обрядом помазания «делает» короля императором, то имеет и право отрешать его от престола. Конфликт быстро разгорался и привел к тому, что папа объявил Генриха отлученным от церкви и низложенным с трона, а его подданных — освобожденными от вассальной присяги и повиновения королю. Некоторые крупные феодалы, заключив союз с Римом, избрали «антикороля» Рудольфа, герцога Швабского, который, что весьма примечательно, тут же отказался передать папе право назначения епископов, поскольку оно служило источником неиссякаемых доходов.
Однако Генрих проявил себя как гибкий и умный политик. Видя, что его положение резко пошатнулось, он решился на неслыханный шаг. В 1077 г. король в одиночестве пешком отправился через альпийские перевалы в замок Каноссу Тосканского герцогства, где находился в это время Григорий VII. По не слишком достоверной легенде, три дня, босой и в белом рубище отлученный король стоял на снегу перед воротами замка и взывал о прощении. Папа был настолько потрясен драматическим зрелищем, что снял свое отлучение. И хотя выражение «пойти в Каноссу» стало нарицательным для обозначения величайшего унижения, по сути, этот поступок оказался для Генриха весьма выигрышным ходом. Через некоторое время он объявил, что ни в коем случае не откажется от права инвеституры, и продолжал своей властью назначать епископов и аббатов.
Борьба вспыхнула с удвоенной силой и привела к вторичному отлучению Генриха. На этот раз император в ответ созвал новый собор, на котором недовольные Григорием кардиналы объявили папу низложенным и избрали нового — Климента III, который в 1084 г. торжественно возложил императорскую корону на голову Генриха. Теперь в Италии и Германии были две разные церкви, папская и императорская, непрерывно проклинавшие и отлучавшие друг друга.
Стараясь ослабить императора, римская курия усиленно настраивала против него собственных его сыновей, Конрада и Генриха. Император же вошел с большим войском в Рим и заставил папу искать убежища у союзных с ним норманнов, к тому времени осевших на Сицилии. С их помощью Григорий вернулся в Рим, который норманнские воины подвергли страшному разграблению. Против папы поднялось возмущенное население. Он вновь был вынужден бежать к норманнам, но вскоре умер в Гаэте, покинутый почти всеми прежними соратниками. Однако император столкнулся в Италии с новым противником — городами, не желавшими терпеть господство епископов и светских феодалов, многие из которых входили в императорскую партию.
В Германии же дела обстояли как раз наоборот. Там городское население из-за притеснений со стороны местных правителей в целом поддерживало Генриха. Раздираемая распрями Германия почти не принимала участия в крупнейшем международном явлении той эпохи — первых Крестовых походах.
С помощью Крестовых походов папство и католическая церковь стремились расширить сферу своего господства. К тому же эти походы позволяли направить воинственную энергию европейского рыцарства в желаемое русло и положить конец бесконечным междоусобным распрям. В Крестовых походах было заинтересовано и городское торговоремесленное население, и крестьянство, надеявшееся найти на сказочном Востоке свободу и богатство.
В первом Крестовом походе, провозглашенном папой Урбаном II летом 1095 г., со стороны Германии принимало участие только рыцарство из Лотарингии, Баварии и Каринтии, хотя предводитель похода Готфрид Бульонский и его брат, первый в будущем иерусалимский король Балдуин, являлись имперскими князьями и вассалами Генриха. Сам же Генрих, который по своему рангу, собственно, и должен был возглавить поход против врагов христианской веры, из-за своего непрочного внутреннего положения и продолжавшегося конфликта с папами не мог этого сделать.
Вормсский конкордат