Однако Фридриха Швабского постигло горькое разочарование. После смерти в 1125 году Генриха V князья по настоянию папы римского избрали королем не его, а престарелого герцога Саксонии Лотаря Супплинбургского. Поскольку акт передачи Фридриху королевских инсигний, знаков монаршей власти, в свое время не состоялся, он не мог официально считаться наследником престола, хотя Генрих V и передал ему наследственные владения Салического дома. Этим и не замедлили воспользоваться паписты. Братья Штауфены, Фридрих и Конрад, известные своей преданностью Генриху V, разделяли и его отношение к папству, не отличавшееся особым почтением, что теперь им и припомнили. Церковь отдала предпочтение герцогу Лотарю Супплинбургскому, поскольку тот давно слыл противником императоров Салической династии и убежденным папистом. Против Фридриха возник заговор, возглавленный архиепископом Майнцским, примасом, главой немецкой церкви. Между ним, папой, а также архиепископами и епископами непрерывно скакали гонцы, доставляя донесения и распоряжения. Папа даже специально прислал в Германию двоих кардиналов, дабы обеспечить исход дела в интересах римской курии.
Архиепископу Майнцскому удалось хитростью завладеть королевскими инсигниями, отданными Генрихом V на сохранение своей супруге Матильде, после чего противники Фридриха Штауфена в конце августа 1125 года во всеоружии собрались в Майнце для избрания нового короля Германии. Исход голосования был неясен до самого последнего момента, и все решил голос, поданный герцогом Баварии Генрихом Черным, долго размышлявшим, кому отдать предпочтение: своему зятю Фридриху, герцогу Швабскому, или герцогу Саксонскому Лотарю, обещавшему его сыну Генриху, прозванному Гордым, руку своей единственной дочери Гертруды и титул герцога Саксонии в качестве приданого. Рассудив, что больше выгоды будет от породнения с Лотарем, Вельф и проголосовал за него, после чего обескураженный Фридрих Швабский три дня отказывался принести присягу на верность своему новому государю, но затем смирился.
Однако позднее, когда король Лотарь III потребовал возвратить короне в качестве «королевского имения» салическое наследство, завещанное Фридриху Генрихом V, братья Штауфены восстали. Поначалу положение Лотаря казалось угрожающим. Конрад по настоянию старшего брата, предпочитавшего держаться на втором плане, был даже избран частью знати королем в пику «поповскому королю» Лотарю III. Но тут вмешались Вельфы.
Генрих Гордый, шурин Фридриха, ставший после смерти своего отца Генриха Черного герцогом Баварии, справедливо опасался, что Конрад, если сумеет утвердиться на троне, не потерпит объединения в его руках сразу двух герцогств, Саксонии и Баварии. Уже по одной этой причине он стал на сторону своего тестя, сразу же признавшего его в качестве герцога Баварии и завещавшего ему титул герцога Саксонии. Тщетно возражали против этого Штауфены, ссылаясь на законы и обычаи: никогда еще два герцогства не были в одних руках, ибо это вопиющим образом противоречило смыслу ленного права. Однако против превосходящей силы дома Вельфов они не могли ничего поделать. После десятилетней кровавой усобицы Штауфены уступили, покорившись Лотарю III, к тому времени ставшему обладателем и императорского достоинства. Подвергшийся имперской опале Фридрих Одноглазый, как прозвали Фридриха Гогенштауфена из-за потерянного в бою глаза, вынужден был броситься в ноги императору. Он клятвенно заверил, что отказывается от всех притязаний на корону, за что получил обратно свое достоинство герцога Швабии.
В то время как младший из братьев Штауфенов, Конрад, находился при дворе императора, Фридрих держался вдалеке от политики. Расставшись с мечтой о королевской короне, он решил превратить свое герцогство в надежное, единое владение рода Штауфенов. После безвременной кончины своей первой супруги он женился на дочери-наследнице графа Саарбрюккенского, получив за ней в качестве приданого богатые земли Саарланда, служившие естественным связующим звеном между его владениями в Эльзасе и Швабии. Герцог умел не только приобретать, но и удерживать имеющееся. Ясно сознавая недостатки традиционной ленной системы, при которой вассалы нередко выходили из повиновения, он, опираясь на традиции Салической династии и беря пример с Сицилийского государства норманнов, предпринял смелое для того времени нововведение, назначив чиновников, служивших за жалованье.