Политика укрепления центральной власти привела к тому, что против короля поднялись его вассалы. В 1077 году началась гражданская война, которая в немецких землях то вспыхивала, то затухала в продолжение трех десятков лет. События начались с того, что король отбыл в Италию, чтобы помириться с папой Григорием VII. Этим воспользовались его враги. Они собрались на съезд в городе Форхгейме и избрали новым германским королем мужа одной из сестер Генриха – швабского герцога Рудольфа.
Однако мятежники просчитались. Когда Генрих IV вернулся из Италии, на его сторону перешло так много немецких графов и епископов, что его противнику пришлось отступить из Южной Германии в Саксонию. Рудольф стал собирать войска. На его сторону встало два влиятельных герцога – Вельф Баварский и Бертольд Каринтийский.
Летом 1078 года герцог Рудольф начал поход из Саксонии по земле Тюрингии, а швабская армия под начальством герцогов Вельфа и Бертольда стала медленно собираться между реками Рейн и Некар. Однако король сумел предупредить соединение главных сил мятежников. Он решительно двинулся навстречу саксонцам и встретился с ними у города Мельрихштадт, под которым 7 августа состоялось сражение.
В битве участвовала только закованная в броню тяжеловооруженная кавалерия. Особенностью столкновений рыцарей являлось то, что они не могли вести оборонительный бой, – обычно рыцари или наступали, либо бежали прочь. Дело завершилось тем, что саксонцы были разбиты и бежали вместе со своим самозваным королем Рудольфом Швабским.
Генрих IV тоже отступил с поля битвы, на котором остался только небольшой рыцарский отряд саксонцев под командованием пфальцграфа Фридриха. Благодаря удивительным обстоятельствам он не ушел с места боя, оставшись до утра следующего дня.
Рудольф счел за благо временно отойти в верную ему Саксонию. Однако отступавшие грабили деревни, и поэтому местное крестьянство взяло в руки оружие и перебило немало мятежников, а некоторых передало в руки короля.
Генрих IV мог праздновать победу, но неожиданно оказался без армии. Его рыцари, ушедшие с поля битвы под Мельрихштадтом, разъехались по своим замкам. Делать было нечего, и король отправился в Баварию и только в октябре смог собрать новую армию. После этого он двинулся в Швабию, где принялся разорять владения своего соперника.
Пока германский король все усиливался, герцог Рудольф в союзе с Оттоном Нордгеймским выступил ему навстречу и оказался в Тюрингии. 27 января 1080 года близ Флархгейма состоялось второе большое сражение воюющих сторон, исход которого историки оценивают крайне противоречиво.
Флархгеймское сражение имело и другой результат: папа римский Григорий VII необдуманно во второй раз отлучил непокорного ему германского короля от церкви, за что вскоре и поплатился. Случилось это на пасхальном соборе 1080 года.
Теперь Генриху IV было не до мятежников. Он занялся церковными делами, организовав два собора – один в городе Майнце, другой совместно с итальянскими епископами в Бриусене. Ему пришлось пойти на самую крайнюю меру – выбрать нового папу римского. Только после этого гражданская война в Германии возобновилась.
Прежде чем начать поход в мятежную Саксонию, король решил соединить свои силы. Он задумал собрать на саксонской границе где-то на реке Заале войска из Западной и Южной Германии, Чехии (Богемии) и вставшего на его сторону маркграфа Мейсенского. Но Генрих избрал лично для себя опасный путь к месту сбора войск – из города Гессена в Тюрингию.
Саксонцы внимательно следили за движением главных сил королевской армии и вскоре поняли ошибку противника. Они зашли к нему в тыл, и 15 октября 1080 года на берегах реки Эльстер близ города Цейца состоялось третье большое сражение враждующих сторон.
Генрих IV приказал своим войскам занять позицию за болотистой долиной, которая не позволяла саксонцам атаковать его с фронта. Болото называлось Грона. Подошедшие к реке Эльстер, которая тихо текла в заболоченных берегах, саксонские рыцари не решились форсировать ее на виду у неприятеля. Какое-то время рыцари перебранивались между собой через болото, приглашая друг друга первым совершить смелое нападение. Однако на такой неразумный шаг никто не решился.
Затем саксонцы отошли назад и обошли болото Грона с западной стороны. Но при этом их войска растянулись, поскольку пешие воины не успевали за конными рыцарями.
Герцог Рудольф и герцог Оттон Нордгеймский очень хотели в тот день победить короля. Они не стали дожидаться, когда подтянется пехота, и приказали тем рыцарям, кто имел слабосильных лошадей, спешиться.