Южная часть современной Баварии и юго-восточная часть современной земли Баден-Вюртемберг в состав названных двух провинций не включались и относились к провинции Реция. Большая часть современной Германии при этом вообще находилась за пределами Римской империи.
Земли на правом берегу Рейна были утрачены римлянами в III веке нашей эры. На рейнском левобережье в результате административно-территориальных реформ императора Диоклетиана в последнем десятилетии III века возникли провинции под названием Германия Первая (ее ядром являлась территория современного Пфальца) и Германия Вторая (бывшая Нижняя Германия). Южная часть бывшей провинции Верхняя Германия (не вошедшая в состав провинции Германия Первая) стала провинцией Максима Секванов, а юго-западная часть отошла к Первой Лугдунской провинции. Все названные провинции в результате реформ Диоклетиана были включены вместе с находившимися на территории современных Франции и Бельгии в состав надпровинциального территориального образования — диоцеза Галлия, управлявшегося имперским викарием. В 318 году диоцезы Галлия, Британия и Испания были объединены в префектуру Галлия во главе с претором.
После низложения последнего императора Западной Римской империи в 476 году земли ее бывших германских провинций стали территориальной основой Франкского государства. В конце V — начале VI века к востоку и юго-востоку от Франкии, в местах расселения германских племен, возникло еще несколько государственных объединений: Тюрингия, Алеманния, Бавария. Вскоре все они попали под власть франков, сохранив при этом значительную самостоятельность. В результате завоеваний в VI веке Франкское государство фактически стало представлять собой единство трех королевств: Австразии (в северо-восточной части Франкии), Нейстрии (в западной части) и Бургундии, — во главе каждого из которых стоял свой монарх. В 613 году король Хлотарь II из династии Меровингов объединил под своей властью все части Франкского государства. В уделы последнего из представителей наиболее знатных местных родов королем назначались управляющие — майордомы. К середине VII века королевская власть пришла в упадок и фактическое управление сосредоточилось именно в руках майордомов, которые часто враждовали между собой. Так, в 687 году австразийский майордом Пипин Геристальский подчинил остальные уделы и стал править всем королевством. Окончательно политическое единство Франкского государства было восстановлено в первой половине VIII века. Максимального расширения империя франков достигла в правление Карла Великого (768–814), занимая с учетом зависимых земель всю Центральную Европу (территорию современных Австрии, Бельгии, Нидерландов, Словении, Франции, ФРГ, Хорватии, Чехии, Швейцарии, западной части Венгрии и северо-восточной части Испании).
Первое собственно германское государство наиболее известно под часто встречающимся в литературе наименованием «Восточно-Франкское» (именно на это государство на рубеже раннего и высокого Средневековья перешло название «Германия», точнее «Regnum Teutonicorum»). Оно образовалось в результате распада Франкской империи, оформленного Верденским договором 843 года (о разделе империи Людовика I Благочестивого (сына Карла Великого) между тремя его сыновьями: Лотарем (получал Среднюю Франкию), Людвигом Германским (получал Восточную Франкию) и Карлом Лысым (получал Западную Франкию)).
Первоначально Восточно-Франкское государство представляло собой объединение политически самостоятельных этнических областей, племенных герцогств, крупнейшими из которых являлись Алеманния, Бавария, Франкония (будущая Швабия) и Саксония (включала также большую часть Тюрингии). В 870–880 годах к Восточной Франкии были присоединены восточная часть Лотарингии и Фризия (Фрисландия), а в 882–887 годах король Германии Карл Толстый одновременно правил Францией и Италией. Воссоединение империи Карла Великого не стало долговременным, однако впоследствии германские короли присоединяли к своим владениям соседние земли: западную Лотарингию, Ломбардию и прочие.
Герцоги, стоявшие во главе областей, располагали самостоятельными военными силами, высшей судебно-административной властью и обладали наследственными правами на свои владения, в то время как в целом в Германии какой-либо одной династии закрепиться на более или менее значительный период не удавалось. Со смертью последнего Каролинга Восточной Франкии, Людвига IV Дитя (умершего в 18 лет), реальную власть в свои руки взяли как раз именно герцоги (точнее, знатнейшие из семейств, так называемые «Große», если следовать германской исторической науке; хотя называть можно по-разному: nobiles, potentes, proceres,optimates и так далее), ну и конечно же, церковные прелаты (куда уж без них), в частности, архиепископ Майнца Хатто, чей духовный пост считался важнейшим в королевстве. В 911 году оптиматы государства выбрали королем Конрада I, герцога франконского.