С новой настоятельной необходимостью продемонстрировать потенциал европейского проекта, теперь уже за счет очевидного объединения Германии, 26 мая 1952 года Аденауэр подписал договорные соглашения о Европейском оборонном сообществе. Но многие во Франции по-прежнему не желали примириться с тем, чтобы делить армию с нацией, с которой их страна вела войны в каждом поколении, начиная с XVI века, которая разрушила часть их страны в Первой мировой войне и оккупировала всю ее во Второй. Через два года после заключения соглашения, 30 августа 1954 года, Национальное собрание Франции отказалось ратифицировать EDC - и одновременно отбросило план Плевена.
Назвав это "черным днем для Европы", Аденауэр выразил свою озабоченность представителям Люксембурга и Бельгии:
Я твердо убежден, на 100 процентов убежден, что национальная армия, к которой нас принуждает [премьер-министр Франции Пьер] Мендес-Франс, будет представлять большую опасность для Германии и Европы. Когда меня уже не будет под рукой, я не знаю, что станет с Германией, если только нам еще удастся вовремя создать Европу.
Из-за этих предчувствий Аденауэр отказался от проекта EDC и лично вел секретные переговоры с союзниками о контурах немецкой национальной армии.
Американское лидерство оказалось решающим. Избранный президентом в ноябре 1952 года, Эйзенхауэр решил, что объединение Европы и ее совместная оборона, включая Федеративную Республику Германия, является, по словам одного историка, ключом, открывающий решение сразу нескольких проблем, и, что самое важное, обеспечивающий тип "двойного сдерживания". Советский Союз можно было не пускать в Европу, а Германию - удерживать в Европе, при этом ни одна из сторон не могла доминировать на континенте.
Вместе с министром иностранных дел Великобритании Иденом Эйзенхауэр добился внесения изменений в Договор об ОДК, которые позволили создать немецкую армию. Менее чем через десять лет после безоговорочной капитуляции НАТО будет состоять из объединенных национальных сил, включая силы Германии.
Поездка Аденауэра в Вашингтон в 1953 году стала кульминацией этих усилий. 8 апреля он посетил Могилу Неизвестного солдата. Над Арлингтонским национальным кладбищем был поднят немецкий флаг - черно-красно-золотой триколор Федеративной Республики, а не черный меченосный орел Пруссии или свастика Тысячелетнего рейха. Когда канцлер шел к могиле, прозвучал салют из двадцати одного орудия - сцена, которой Аденауэр закончит том своих мемуаров 1945-53 годов:
Американский оркестр исполнил национальный гимн Германии. Я видел, как по лицу одного из моих спутников текли слезы, и я тоже был глубоко тронут. Это был долгий и тяжелый путь от полной катастрофы 1945 года до этого момента 1953 года, когда на национальном кладбище США звучал немецкий гимн.
Аденауэр восстанавливал вооруженные силы Германии на протяжении всех оставшихся лет пребывания у власти, не воскрешая исторический прерывистый милитаризм Германии. К началу 1964 года общая численность Бундесвера достигла 415 000 офицеров и рядовых. Один историк описывает его как "острие копья" альянса НАТО и "стержень" обороны Западной Европы от обычного советского нападения. Более того, армия стала опорой для возвращения ФРГ в международную дипломатию - ощутимый знак того, что новая Германия пользовалась доверием Атлантического альянса и была ответственным участником общей обороны.
Аденауэр использовал политический капитал, накопленный во время создания НАТО, для достижения своей основной цели - положить конец оккупации Германии . Чтобы добиться полноправного членства в НАТО и приступить к демонтажу оккупационного статута, Аденауэр согласился в 1954 году отложить решение вопроса о территории Саар - которую Париж стремился сохранить в качестве нейтрального протектората под французской оккупацией - до 1957 года. Потребовались сложные парламентские маневры, чтобы склонить Бундестаг к ратификации обоих договоров в феврале 1955 г.
Когда 5 мая 1955 года договоры вступили в силу, Федеративная Республика вновь стала суверенным государством. Если шестью годами ранее избрание Аденауэра было ратифицировано верховными комиссарами союзников, то теперь они приняли свой собственный роспуск. Аденауэр стоял на ступенях своего офисного комплекса - дворца Шаумбург - и наблюдал, как над правительственными зданиями в Бонне поднимается немецкий флаг. Первая великая задача Аденауэра - обеспечить мирное, быстрое и дружественное завершение оккупационного статута - была выполнена.