Когда, наконец, Роберт смог выступить в Англию, он, как человек здравомыслящий, понял, что нет смысла этого делать: младший брат уверенно держал бразды правления в своих руках. Тогда герцог решил официально отречься от прав на престол в пользу Генриха, оставив себе часть земель в Нормандии и оговорив сумму ежегодной денежной компенсации. Однако правитель из Роберта был никудышный: за несколько лет он умудрился довести герцогство до полного хаоса. Клирики, которые бежали в Англию от произвола, царившего на родине, начали подговаривать Генриха захватить Нормандию, чтобы снова восстановить целостность отцовских владений. Наконец, в 1106 году король, заручившись поддержкой соседей и местной знати, отправился воевать с братом. В битве при Теншбре (на юго-западе Нормандии), произошедшей 28 сентября 1106 года, Роберт потерпел поражение, попал в плен и был заключен в замок Кардифф, где ему предстояло провести на положении узника 29 лет.
Поскольку к тому моменту между архиепископом Кентерберийским и королем уже два года велись споры о праве назначать епископов и аббатов, Генрих решил избавиться и от этого не в меру строптивого иерея, отправив престарелого Ансельма в очередную ссылку, что вылилось в оживленную переписку между обоими противниками и папой. Наконец, стороны пришли к компромиссу — в 1107 году в Лондоне Добрый Школяр отказался от права инвеституры, а архиепископ подписал закон о принудительном принесении духовенством присяги королю.
Таким образом, Нормандия и Англия снова оказались в руках одного правителя. Генриху I пришлось еще выдержать серьезную борьбу с Людовиком VI за сюзеренные права над Бретанью и Мэном, а также воевать с собственным племянником, Вильгельмом Клито, претендовавшим на Нормандию. Несмотря на то, что сына Роберта поддерживали сам Людовик VI, графы Фландрский и Анжуйский, а также многие нормандцы, Генриху удалось отстоять захваченную вопреки всем законам власть. Немало способствовала этому женитьба единственного законорожденного сына короля, Вильгельма, на представительнице Анжуйской династии. Дочь Генриха I Матильда (Мод) была на тот момент замужем за германским императором Генрихом V. Поэтому король еще при жизни объявил Вильгельма наследником и островных, и континентальных владений Нормандской династии. Но в 1120 году молодой человек погиб при кораблекрушении; его смерть стала концом стабильности Нормандского дома. Дело в том, что королева Матильда, первая супруга Доброго Школяра, отошла в мир иной еще в 1118 году, а второй брак короля (с Аделаидой Лувуан), заключенный в 1121 году, оказался бездетным. Таким образом, на престол могла претендовать только супруга германского императора, Матильда, которая в 1125 году стала вдовой, после чего английский король заставил баронов присягнуть ей как наследнице престола. Год спустя Матильда вторично вышла замуж за наследника графства Анжу Годфрида (Жоффруа) Плантагенета и в 1133 родила ему первенца, которому предстояло основать новую королевскую династию и вступить на британский престол под именем Генриха II Плантагенета.
После смерти Доброго Школяра (1135), между Матильдой и любимым племянником покойного, Стефаном Блуаским, разгорелась борьба за владения Нормандской династии. Годфриду Анжуйскому удалось в 1141 году захватить власть в Нормандии. Разгоревшаяся гражданская война закончилась, когда противоборствующие стороны пришли к компромиссу: узурпатор Стефан отказался от претензий на герцогство, остался королем Англии, но объявил своим официальным наследником сына Матильды. Генрих II Плантагенет в 1154 году, опираясь на помощь матери, сумел вернуть себе корону Англии, вновь соединив под единым управлением Нормандию и Туманный Альбион. В дальнейшем власть в Англии переходила к следующим династиям, которые своими корнями уходили во времена становления Нормандского дома. А само герцогство перестало существовать как особое государство, войдя в домен французских королей при Филиппе II Августе, завоевавшем Нормандию в 1203–1204 годах, хотя английские монархи продолжали претендовать на власть в Нормандии. Формально Англия отказалась от своих прав на эту территорию 20 мая 1259 года, подписав договор с Людовиком IX. Тем не менее к вопросу принадлежности Нормандии обе страны возвращались еще неоднократно. Так, во время Столетней войны эта земля еще не раз превращалась в театр военных действий. 8 мая 1360 года, согласно мирному договору в Бретиньи, ее признали владением Франции, однако английский король Генрих V вновь завоевал Нормандию в 1417–1419 годах. Спорная территория в очередной раз перешла под власть французского короля Карла VII в 1449 году и с тех пор навсегда стала французской провинцией. Короли из Нормандской династии этого, естественно, не узнали. Их владычество в Англии закончилось в 1154 году, когда на трон вступил сын последней представительницы этого дома Генрих II Плантагенет.