Генрих принял все эти условия, сложил с себя королевские регалии и поселился в Шпейере. Однако, опасаясь весьма вероятного торжества своих врагов на соборе в Аугсбурге, он решил не дожидаться папского суда, а ехать в Италию. В январе 1077 г. он отправился в путь, не имея при себе никого, кроме жены и одного немецкого дворянина, единственного сохранившего ему верность. С ним не было ни денег, ни дорожных запасов, так что иногда королю приходилось просить милостыню. Сверх того, князья заняли все проходы из Германии в Италию. Генрих принужден был пробираться через Савойю, где его теща, маркграфиня Сузская Адельгейда, дала ему несколько человек провожатых. Стояли такие холода, что Рейн замерз уже в середине ноября. Ехать по обледенелым г орам было чрезвычайно трудно и опасно. В г орах Це-ниса пришлось нанимать местных поселян, которые перетаскивали королеву, закутанную в воловью шкуру, с одной высоты на другую; мужчины продвигались ползком и не редко скатывались вниз по снежным уступам. Наконец, Генрих добрался до Италии, где к изумлению своему был принят с восторгом. В Ломбардии в это время распространился слух, будто император идет в Рим обуздать силой оружия г ордого папу. В северных итальянских областях уже давно не любили Григория; светские владельцы оскорблены были его новыми законами, а духовенство негодовало из-за преследования симонии и введения безбрачия. Многие итальянцы, в том числе архиепископы Миланский и Равеннский, находились под церковным проклятием. Вообще, Генриху представлялся удобный случай возмутить Италию против папы, но последние события в Германии лишили его всякой надежды на успех борьбы: он думал только о примирении со своим врагом. В это самое время папа ехал в Германию на Аугсбургский съезд для суда над Генрихом; узнав о внезапном прибытии короля в Италию, он для большей безопасности свернул с дороги в укрепленный замок Каноссу, принадлежавший богатой тосканской маркграфине Матильде. Матильда пользовалась в Италии большим влиянием, в Тоскане и Ломбардии все ей повиновались. Она славилась решительным характером, благочестием и целомудрием. Генрих обратился к маркграфине, прося ее о заступничестве перед папой. Григорий сначала отвергал все предложения и г оворил, что дело должно решиться на предстоящем съезде. Наконец, он уступил просьбам и согласился впустить Генриха в замок. В покаянной власянице и босыми ногами вошел король в ворота окруженного тройной стеной замка. Ему дозволили пройти во внутренний двор, но одному, без провожатых. По-прежнему держались жестокие морозы. Трое суток сряду, без сна, стоял Генрих босой во дворе замка. Все обитатели Каноссы жалели его. Маркграфиня Матильда обливалась слезами, и по ее ходатайству Генриха, наконец, выпустили назад из замка. Только на четвертый день Генрих вместе с несколькими другими отлученными был введен в зал, где находился папа, окруженный кардиналами и друзьями. Король вместе с другими несчастными бросился на колени и, проливая слезы, покаялся в г рехах. Наконец, Григорий поднял всех кающихся, снял с них отлучение, дал им отпускное благословение и допустил в церковь, где совершал литургию.
После этого Генрих со стыдом и досадою оставил Каноссу. Итальянцы тотчас заметили перемену в его настроении и в отношении к папе; старые приверженцы императорской власти, из которых многие до сих пор находились под церковным проклятием, мало-помалу стали собираться к нему и побудили его провести зиму в Италии. Генрих, наделенный от природы достаточной дальновидностью, скоро заметил, что нигде основания папской власти не были так шатки, как в этой стране раздоров, и пришел к убеждению, что с помощью денег, разных обещании и коварства здесь можно приобрести множество приверженцев и успешно бороться с папой. В душе его страх перед Григорием уступил место прежней решимости, и с этих пор началась борьба, которую он вел мечом и словом в течение тридцати последующих лет и которая обнаружила в нем немало твердости и таланта.
Между тем враждебные Генриху князья обвинили его в нарушении данной клятвы. В марте 1077 г. они собрались на съезде в Форш- г ейме, объявили Генриха низложенным и выбрали императором герцога Швабского Рудольфа. Но далеко не все прежние противники Генриха поддержали этот выбор. Верность старому королю сохранили многие города, а также духовенство, опасавшееся властолюбия Григория. Немецкое национальное чувство вообще было оскорблено тем унижением, которому подвергся в Каноссе король. К тому же отречение с Генриха было снято, и он мог требовать от вассалов прежней покорности. Весной он вернулся в Германию. С ним было мало войск, но он вез большие суммы денег, полученные от ломбардцев, и поэтому смог быстро увеличить свои силы. Радость, с которой встретили короля граждане Реген-сбурга, ободрила его. К Генриху отовсюду съезжались епископы и князья, уверяя его в своей преданности. После нескольких небольших сражений на Верхнем Дунае и Некаре Рудольф был принужден уйти из Южной Германии в Саксонию. Генрих собрал в Ульме съезд князей и на нем по алеманскому закону объявил мятежниками герцога Швабского, Баварского, Карин-тийского и других князей, находившихся в войске Рудольфа, отнял у них лены, родовые имения, титулы и раздал их своим приверженцам. Герцогом Швабским он сделал храброго графа Фридриха Гогенштауфена, обручив с ним свою маленькую дочь Агнессу. Таким образом было положено начало могуществу этого рода. Вскоре страшная война охватила всю Германию. По свидетельству современников, убийства, г рабежи, пожары и опустошения охватили страну от Дании до Апулии и от Франции до Венгрии. Трупы г рудами валялись без погребения, отданные в пищу волкам. Как и ожидалось, самую сильную поддержку Рудольф нашел в Саксонии. Также многих сторонников он имел в Баварии и Швабии. Но все остальные области Германии приняли сторону Генриха. В августе 1078 г. при Марлихш-тадте произошла кровопролитная битва. Вскоре после начала сражения левое крыло мятежников обратилось в бегство. Архиепископ Магдебургский был убит, архиепископы Майнцкий и Вормсский попали в плен к королю. Был также взят в плен герцог Саксонский Магнус. Но с другой стороны, левый фланг королевских войск также был разбит. Исход битвы остался нерешенным: противники разошлись, и каждый считал себя победителем. В январе 1080 г. произошло второе сражение - в Тюрингии, близ деревни Флархгейм. Оно также было очень упорным, и к вечеру Генрих, понеся большие потери, должен был отойти в свой стан. Победители на плечах отходивших ворвались в королевский лагерь и разграбили его. Общий исход сражения был очень неудачен для короля; его противники торжествовали победу. Григорий во время всех этих междоусобий старался сохранять нейтралитет, хотя явно и всей душой сочувствовал Рудольфу. Узнав о флархгеймской победе, он отбросил всякие колебания и объявил, что считает Рудольфа единственным законным правителем Германии. В Риме как раз проходил церковный собор, и на одном из заседаний папа вновь провозгласил Генриха отлученным от церкви и лишенным королевского сана.
Это второе отлучение не произвело того впечатления, какое имело первое. Генрих узнал о папском проклятии в Бамберге, где он праздновал Пасху. Князья, съехавшиеся к нему на праздник, тотчас единогласно объявили, что перестают признавать Григория папой.