Конрад III Штауфен стоял перед трудным выбором: довольствоваться лишь видимостью королевской власти, живя под опекой церкви и пасуя перед Вельфами, или встать на путь борьбы. Поскольку Генрих Гордый и не подумал отказаться от одного из двух герцогств и хоть в чем-то сотрудничать с королем, Конрад решился на второе, подвергнув Вельфа в июле 1138 года имперской опале. Это было равнозначно объявлению войны между Штауфенами и Вельфами. Поначалу Конраду улыбнулось счастье: в октябре 1139 года, в самый разгар успешной для него борьбы, Генрих Гордый умер во цвете лет, едва разменяв четвертый десяток. Трудно сказать, каков был бы исход этой междоусобицы, останься он в живых…
Но удача, едва улыбнувшись, тут же отвернулась от Конрада III: когда он пожаловал освободившееся герцогство Саксонию преданному ему Альбрехту Медведю из рода Асканиев, саксонская знать отказалась принести тому присягу на верность, став на сторону сына покойного, как и отец нареченного Генрихом и заслужившего не менее горделивое прозвище — Лев. Генриху Льву только-только исполнилось тринадцать лет. Со стороны матери он был внуком Лотаря, стало быть, князем саксонских кровей, что и сыграло решающую роль. Королю Конраду не оставалось ничего иного, как закрепить за мальчиком достоинство герцога Саксонии. Зато ему хватило решимости и сил, чтобы иначе распорядиться Баварией, являвшейся родовым владением Вельфов. Он передал ее в лен своему сводному брату маркграфу Австрийскому Леопольду IV Бабенбергу, а спустя некоторое время, после его смерти, другому сводному брату — Генриху II Бабенбергу, имевшему прозвище Язомиргот из-за своей привычки то и дело приговаривать: «Ja so mir Gott helfe!», то есть «Да поможет мне Бог!» Оба они, Леопольд и Генрих, были сыновьями его матери Агнес, дочери императора Генриха IV, вышедшей после смерти супруга замуж вторым браком за маркграфа Австрийского Леопольда III Бабенберга, которому она родила восемнадцать детей. Среди них был и Оттон Фрейзингенский, епископ Фрейзинга и знаменитый историограф, поведавший потомкам о славных деяниях своего великого племянника — императора Фридриха I Барбароссы.
В духе той же династической политики, дабы нанести решающий удар против Вельфов, король Конрад выдал вдову Генриха Гордого, мать Генриха Льва, дочь императора Лотаря III, замуж за Генриха Язомиргота. Однако сколь бы тонко задуманным и реализованным ни был этот план, сопротивление Вельфов не только не ослабело, но и стало еще более ожесточенным. Вместо своей дочери-изменницы энергичная вдова Лотаря, императрица Рихенза, взяла в свои руки опеку над внуком Генрихом Львом, а также управление Саксонией. Борьбу за Баварию возглавил младший брат Генриха Гордого, граф Вельф VI, правивший на территориях близ Боденского озера и в Альгое.
Кровопролитная, опустошавшая Германию война между Штауфенами и Вельфами продолжалась с переменным успехом. Вельф VI, разгромив Леопольда Бабенберга, проиграл в 1140 году Конраду важное сражение у бурга Вайнсберг близ Хайльбронна. Именно тогда, желая показать свое королевское милосердие и великодушие, Конрад объявил, что находившиеся в бурге женщины могут уйти, прихватив с собой всё, что в силах унести. Вскоре из ворот бурга потянулась вереница женщин, каждая из которых несла на спине своего мужа, тем самым спасая его от плена или смерти. Когда же брат короля герцог Фридрих Одноглазый попытался остановить диковинное шествие, крича, что королевское слово истолковано превратно, Конрад будто бы возразил: «Королевское слово нельзя истолковать превратно», и женщины Вайнсберга смогли унести своих мужей.
Усилия по водворению мира в Германии увенчались успехом к маю 1142 года, когда на рейхстаге во Франкфурте-на-Майне Конрад III признал юного Генриха Льва герцогом Саксонии, после чего тот отказался от Баварии. Однако Вельф VI не согласился с отречением своего племянника и продолжил борьбу против короля, получая щедрую финансовую помощь от сицилийского короля Рожера II, который тем самым старался удерживать Конрада III вдали от Италии.
Папа римский, на словах осуждая неповиновение законному королю, к тому же своему ставленнику, с выгодой для себя использовал внутригерманскую смуту. В те годы папское влияние захлестнуло Германию, словно поток, прорвавшийся через лопнувшую плотину. Конрад III Штауфен первым среди немецких королей был коронован и помазан папским легатом. Архиепископ Кельнский, до сих пор исполнявший эту почетную службу, смиренно стоял в стороне. Это стало символом наступивших новых времен. Отныне римские легаты не уходили из Германии. Сначала их принимали с подобающим их положению почетом, однако вскоре из-за собственного высокомерия они стали ненавистны. Все расходы по их пышному приему должны были нести епископства, монастыри и церковные приходы. Зачастую приходилось даже расставаться с церковными сокровищами, лишь бы угодить господам из Рима, считавшим унизительным для себя возвратиться домой без богатых даров. Подававшиеся папе жалобы оставлялись без внимания. Легаты вмешивались во все дела Империи и следили за тем, чтобы лишь верные папе люди получали должности и чины. Вскоре уже не осталось таких выборов епископа или аббата, в которых не был бы решающим голос итальянцев. И лишь в самых незначительных, не представлявших интереса для курии вопросах она в виде особой милости предоставляла принимать решения короне.