В конце мая Генрих собрал в Май-нце собор немецких епископов, объявивший папу низложенным. К ним присоединился Бриксенский собор итальянских прелатов. В июне был избран папою архиепископ Равеннский Виберт, принявший имя Климента III. Рудольф в свою очередь был отлучен от церкви и предан проклятию- В октябре того же года Генрих вторгся в Тюрингию, разграбил и сжег Эрфурт, дошел до Эльстера, но здесь его настиг Рудольф и принудил к битве на неудобной заболоченной местности. Королевская конница была утомлена трудным движением по вязкой почве, но все-таки Генрих разбил ту часть неприятельского войска, которая находилась против него. Епископы, сопровождавшие короля, уже начали служить благодарственный молебен, но тут саксонская пехота неожиданно напала на всадников, расстроивших свои ряды в погоне за побежденными. Все войско Генриха было охвачено паническим страхом; конница поскакала к реке, много воинов утонуло в Эльстере, другие были перебиты саксонцами во время бегства. Королевский стан был взят, и победителям досталась богатая добыча. Однако к великому несчастью победителей их король Рудольф получил в этой битве смертельные раны и вскоре умер. Воодушевленный этим Генрих в марте 1081 г. оставил вместо себя в Германии Фридриха Гогенштауфе-на, а сам выступил походом в Италию. Вся Ломбардия, давно уже враждовавшая с Григорием, приняла его сторону. В Тоскане у него также нашлось много сторонников, недовольных властным правлением Матильды. Лукка, Пиза и Сиена открыли перед Генрихом ворота. Около Троицы немецкое войско подошло к Риму и 21 мая раскинуло свой стан на Нероновом поле близ Ватикана. Римляне остались верны папе. На помощь Григорию подошли войска из Тосканы и норманны из Южной Италии. Натолкнувшись на упорное сопротивление, Генрих отправился опустошать владения Матильды. Зиму он провел в Равенне, а весной 1082 г. во второй раз подошел к Риму. Он несколько раз приступал к стенам Леонова города, но все приступы были отбиты. Началась долгая осада. Только 2 июня 1083 г. немцам удалось взойти на стену Леонова города, перебив всех ее защитников. На улицах города Генрих тоже встретил отчаянное сопротивление, однако соотношение сил было не в пользу осажденных. Григорий укрылся в замке святого Ангела. Генрих понимал, что ему выгоднее помириться с папой, чем злоупотреблять своим успехом. Он просил только, чтобы Григорий снял с него отлучение и короновал императорской короной, а решение всех спорных вопросов согласен был передать церковному собору. Многим сторонникам папы казалось, что такой исход борьбы не уронит папского величия; г оворят, что они на коленях умоляли его примириться с королем. Но Григорий непреклонно требовал, чтобы Генрих, согласно церковному постановлению, сложил с себя королевский сан. Истощив все средства убеждения, Генрих созвал 21 марта 1084 г. духовных и светских сановников своего войска в собор святого Петра. Собрание объявило Григория низложенным и признало папой Климента III. Через десять дней новый папа торжественно короновал Генриха императорской короной. Затем Генрих начал осаду замка святого Ангела, но, узнав, что норманнский герцог Роберт Гискар спешит с большим войском на помощь папе, в мае ушел из Рима. Вскоре после его отступления норманны взяли Рим и подвергли его такому жестокому разгрому, какого этот город не испытывал со времен г отов. Григорий после этого не мог оставаться в Риме, где все проклинали его имя. Вместе с Робертом Гискаром он поехал в Южную Италию и умер в мае 1085 г. в Салерно.
Тем временем Генрих вернулся в Германию, которую продолжали раздирать междоусобия. В его отсутствие враждебные князья избрали королем графа Люцельбургского Германа. С приездом императора война возобновилась с новой силой. Всякий порядок нарушился; повсюду владычествовало беззаконие; буйные войска г рабили, опустошали, резали, и никто не смел требовать от них дисциплины или уважения к закону. В августе 1086 г. Генрих сразился с мятежниками у Плейхфельда, неподалеку от Вюр-цбурга. Сам император бился очень храбро, но кельнцы и утрехтцы отступили в самом начале битвы. Вслед за ними обратились в бегство рыцари и пехота, так что Генрих в очередной раз потерпел полное поражение. В том же году Герман, рассорившись со своими союзниками и утомившись войной, сложил с себя королевский сан. После этого самым г розным противником императора сделался молодой маркграф Мейсенский Экберт. В декабре 1088 г. он нанес Генриху тяжелое поражение близ замка Глейхен в Тюрингии. Император бежал и едва успел укрыться в Ре- г енсбурге. Однако спустя несколько месяцев Экберт сам погиб в бою. Столь же ожесточенная война шла в Италии, где приверженцы Григория избрали в папы аббата Мон-те-Кассинского Дезидерия, принявшего имя Виктора III. Ему оказывала поддержку маркграфиня Матильда. Сторонники Генриха выступали вместе с Климентом. Оба папы предали друг друга взаимному отлучению, так что весь западный христианский мир оказался расколотым на два лагеря. После смерти Виктора в 1088 г. его сторонники избрали папой Отгона, епископа Остийского, принявшего имя Урбана II. Это был достойный приемник Григория, полностью разделявший его идеи. Он немедленно предал проклятию и отлучению Генриха и Климента III, в то время владевшего Римом. Ему удалось устроить в 1089 г. брак между двумя заклятыми врагами Генриха - маркграфиней Матильдой и графом Вельфом, сыном герцога Баварского. Известие об этом сильно встревожило Генриха и заставило его совершить второй поход в Италию.
В марте 1090 г. император перешел через Альпы и начал войну против Матильды. Одиннадцать месяцев немцы осаждали Мантую, в которой заперся граф Вельф. На Пасху 1091 г. изнуренные г олодом г орожане открыли перед императором ворота. Вельф едва успел Уйти. Генрих внезапно напал на его брата Гуго, охранявшего низовье По, и нанес ему тяжелый урон в сражении у Триконтои. Узнав об этом, Урбан бежал на юг страны под защиту норманнов. Генрих вошел в среднюю Италию и осадил Монтевио. Осажденные искусно оборонялись, сделали вылазку и сожгли у императора все осадные машины. Тогда он пошел на Канос-су и в октябре 1092 г. потерпел под стенами этого замка новое поражение. Матильда и ее вассалы приободрились. К довершению несчастья, раздор возник в собственной семье императора. Женившись через два года после смерти первой жены на русской княжне Евпрак-сии, Генрих стал вскоре подозревать ее в супружеской неверности и даже в связи со своим старшим сыном Конрадом. Император начал обращаться с женой очень дурно, отнял у нее подобающие почести и держал ее в такой строгости, что это походило на тюремное заключение. Когда же Конрад вступился за мачеху, отец вспылил и обвинил его в том, что он не его сын, а сын одного вельможи, на которого юноша действительно был очень похож. Враги немедленно воспользовались размолвкой между отцом и сыном. Матильда овладела доверием Конрада и склонила его на свою сторону. Празднуя в Павии Пасху 1093 г., Генрих узнал, что сын восстал против него и соединился с его противниками. Ломбардские города Милан, Кремона, Лоди и Пьяченца отложились от Генриха и приняли сторону его сына. Архиепископ Миланский Ан-сельм короновал Конрада королем итальянским. Генрих упал духом, заперся в замке близ Вероны и в порыве отчаяния хотел заколоться; друзья едва удержали его от самоубийства. Вскоре из-под стражи к Матильде бежала и жена Генриха Евпраксия. На Констанском соборе она объявила, что муж принуждал ее к прелюбодеянию, чтобы тем легче было потом с ней развестись. Священники приняли сторону императрицы, объявили ее брак расторгнутым и позволили ей вернуться на родину в Киев. С помощью норманнов и Матильды Урбан вернулся в Рим, а Климент бежал из него. Благодаря подготовке к Первому крестовому походу, авторитет Урбана поднялся очень высоко. Климент потерял всякое значение и должен был удалиться в Равенну.
Казалось, что дела Генриха идут очень плохо, но некоторые обстоятельства позволили ему поправить положение. Граф Вельф узнал, что его жена Матильда (которая была старше его двадцатью пятью годами) завещала все свои огромные имения папскому престолу. Возмущенный этим, он стал г оворить, что его обманули, и принялся хлопотать о разводе. В 1096 г. он примирился с Генрихом, помирил с ним и своего отца, г ерпога Баварского. Император утвердил за ними владение Баварией. Примирение с могущественными Вельфами сразу переменило соотношение сил в пользу Генриха. В декабре 1097 г. храбрый Бертодьд Церингенский, воевавший с Фридрихом Гогенш-тауфеном из-за Швабии, вступил в мирные переговоры с императором. Генрих передал ему во владение Западную Швабию с герцогским титулом, и с этого времени Бертольд сделался его верным вассалом. В том же году Генрих возвратился в Германию. В 1098 г. он созвал съезд в Майнце. Конрад за мятеж, поднятый против отца, был лишен прав на корону, а наследником был объявлен младший сын Генрих. Здесь же был заключен мир с саксонцами. Главной причиной установившегося спокойствия было крайнее утомление немцев от беспрерывной многолетней войны. Вместе с тем много рыцарей покинуло тогда страну и приняло участие в крестовом походе. Уход этого буйного воинства благодатно сказался как на Германии, так и на Италии.