Мэрами Кельна, как правило, становились бывшие государственные служащие, которые стремились возвысить свое поведение над жестокой и крайне пристрастной политикой той эпохи. Репутация Аденауэра выросла до такой степени, что в 1926 году в Берлине даже обсуждался вопрос о том, не может ли он стать канцлером правительства национального единства. Эта попытка провалилась из-за трудностей с поиском беспартийного альянса, что было условием Аденауэра при принятии этой должности.
Первое заметное поведение Аденауэра на национальном уровне произошло в связи с назначением Гитлера канцлером 30 января 1933 года. Чтобы укрепить свое положение, Гитлер назначил всеобщие выборы и предложил немецкому парламенту так называемый Акт о полномочиях, приостанавливающий верховенство закона и независимость гражданских институтов. Аденауэр в течение месяца после назначения Гитлера канцлером предпринял три публичные демонстрации оппозиции. В верхней палате парламента Пруссии, в которую он входил по должности как бургомистр Кельна, он проголосовал против закона о разрешении. Он отклонил приглашение встретить Гитлера в аэропорту Кельна во время избирательной кампании. А за неделю до выборов он приказал снять нацистские флаги с мостов и других общественных памятников. Аденауэр был отстранен от должности через неделю после предрешенной победы Гитлера на выборах.
После увольнения Аденауэр обратился за убежищем к старому школьному другу, который стал настоятелем бенедиктинского монастыря. Убежище было предоставлено, и в апреле Аденауэр поселился в аббатстве Мария Лаах, расположенном в 50 милях к югу от Кельна на Лаахер-Зее. Там его основным занятием было погружение в изучение двух папских энциклик - обнародованных папами Львом XIII и Пием XI - которые применяли католическое учение к социальным и политическим событиям, особенно к меняющемуся положению современного рабочего класса. В этих энцикликах Аденауэр встретил доктрины, которые соответствовали его политическим убеждениям: подчеркивание христианской, а не политической идентичности, осуждение коммунизма и социализма, смягчение классовой борьбы через смирение и христианское милосердие, обеспечение свободной конкуренции вместо картельной практики.
Время пребывания Аденауэра в Мария Лаах не было долгим. Во время посещения рождественской мессы, на которую съехались люди из окрестностей, чтобы увидеть и поддержать его, нацистские чиновники оказали давление на настоятеля, чтобы тот выдворил своего восхищенного гостя. Аденауэр уехал в январе следующего года.
Следующее десятилетие его жизни принесло трудности и нестабильность. Были моменты серьезной опасности, особенно после неудачного заговора против Гитлера в июле 1944 года, организованного представителями прусской верхушки и включавшего остатки донацистской политической и военной жизни. Месть Гитлера стремилась уничтожить все эти элементы. Некоторое время Аденауэр избежал их участи, путешествуя перипатетически, никогда не задерживаясь на одном месте более двадцати четырех часов. Опасность не изменила его неприятия Гитлера за попрание верховенства закона, которое Аденауэр считал непременным условием современного государства. Хотя Аденауэр был известным инакомыслящим, он не хотел присоединяться к антиправительственным заговорам, гражданским или военным, в основном потому, что скептически относился к возможности их успеха. В целом, по словам одного исследователя, "он и его семья делали все возможное, чтобы жить как можно тише и незаметнее".
Несмотря на его уход из политики, нацисты в конце концов посадили его в тюрьму. Осенью 1944 года он провел два месяца в тюремной камере, из окна которой наблюдал казни, в том числе шестнадцатилетнего мальчика; над собой он слышал крики других заключенных, которых пытали.
В конце концов, его сын Макс, служивший в немецкой армии, сумел добиться его освобождения. Когда американские танки вошли в Рейнланд в феврале 1945 года, Аденауэр начал думать о том, сможет ли он найти роль в своей побежденной в военном отношении, морально опустошенной, экономически и политически развалившейся стране.