На следующий день после покушения Штауффенберга на Гитлера Гальдер был арестован гестапо в Ашау. Он был заключен в полицейскую тюрьму в Мюнхене, а два дня спустя отправлен в концентрационный лагерь Дахау. Потом, с 24 июля по 7 октября, он без суда пли предъявления обвинений находился в концентрационном лагере Равенсбрюк/Фюрстенберг. Свой арест он сам называл «загадочным делом». В Равенсбрюке были собраны многие военные, арестованные после 20 июля. На размещение и обеспечение, по собственным сообщениям Гальдера, нельзя было жаловаться. Арестованные были размещены группами в зданиях бывшей полицейской школы. 15 августа была арестована его жена и также заключена в Равенсбрюк. Его старшая дочь Ирмингард Зейдерер, муж которой был подполковником и находился в американском плену, также была помещена до осени в Маобитскую женскую тюрьму. С 7 октября Гальдер без своей жены находился в одиночном заключении в подвалах пресловутой тюрьмы главного управления службы безопасности рейха на Принц-Альбрехт-штрассе в Берлине. Там его многократно допрашивали, обвиняя в измене родине, так как ранние записи Бека, Остера и Герделера периода 1938–1940 гг. попали в руки гестапо и уличали его. В то же самое время в подвалах тюрьмы гестапо в одиночном заключении содержались также бывшие министры Шахт и Попиц, Герделер, генерал-полковник Фромм, адмирал Канарис, генерал Остер, статс-секретарь Планк, генеральный судья Зак и генерал Томас. По высказываниям Томаса, с заключенными обращались унизительно и часто издевались: «Пытки были обычным явлением».
В декабре 1944 года управление кадров сухопутных войск сообщило Гальдеру о решении Гитлера не использовать его больше в военной области, в связи с чем была начата процедура увольнения, и 31 января 1945 года он был уволен с действительной военной службы. То же самое относилось к его преемнику Цейцлеру, который к тому времени также попал в немилость и был смещен. Особенно болезненно оба бывших генерал-полковника восприняли то, что при этом им было запрещено носить военную форму. К тому же увольнение с действительной военной службы могло стать очень опасным для Гальдера как для заключенного гестапо, поскольку в случае обвинения его бы судил не военный суд, а судьи-убийцы «народного суда» Фрейслера.
Однако положение изменилось из-за повреждения здания гестапо на Принц-Альбрехт-штрассе в результате воздушного налета союзников 3 февраля. Гальдера, как и Канариса, Остера, Зака и Томаса, перевели 7 февраля 1945 года в концентрационный лагерь Флоссенбюрг в Баварском лесу. Там СС держала его, как и всех других заключенных, полностью изолированно. Как знаток военных событий он мог, однако, с помощью периодически доставляемых сообщений вермахта проследить крушение национал-социалистского государства, так что надежда на освобождение из рук нацистов росла. С конца марта ему, похоже, запретили переписку. После двух месяцев в Флоссенбюрге Гальдера перевели 9 апреля в лагерь Дахау, где он вскоре встретился со своей женой.
Здесь заключенные размещались в специальном флигеле, можно было установить контакты с другими знаменитыми заключенными. Помимо генералов. Томаса и фон Фалькенхаузена, к ним относились бывший рейхсминистр Шахт, французский премьера министр Леон Блюм с женой, австрийский бундесканцлер фон Шушниг с женой и дочерью и полковник фон Бонин, бывший в последнее время начальником оперативного отдела в верховном главнокомандовании сухопутных войск; здесь же, в заключении, находились многие члены семей фон Штауффенберг, фон Хассель, фон Хаммерштейн, фон Плеттенберг, Линдерманн, фон Хофаккер и Герделер, взятые нацистами под арест целыми кланами.
Когда союзники приблизились к Мюнхену, группу, состоящую примерно из 150 видных немецких и иностранных заключенных, 24 и 27 апреля увезли двумя транспортами в нескольких автобусах и грузовиках под охраной СД и гестапо через Розенхейм, Иннсбрук и перевал Бреннер в направлении Пустерталь в Доломитовых Альпах, 28 апреля они прибыли в Нидердорф, недалеко от Тоблаха/Южный Тироль. Там арестованному в военной форме полковнику Бонину удалось во время остановки связаться по телефону с одним из штабов сухопутных войск, расположенным в Нидердорфе, и попросить защиты у начальника генерального штаба группы армий «Юг» генерала Реттигера в Боцене, так что транспортировка заключенных была прервана 30 апреля. Эта группа была освобождена наступавшими американскими частями генерала Героу 5 мая 1945 года.