Накануне 1944 года Гальдер попытался с помощью дружившего с ним соборного викария д-ра Альбрехта Редера из Шпейера узнать о состоянии военной оппозиции против Гитлера. С согласия Гальдера викарий в декабре 1943 года и в январе 1944 года посетил отстраненных от должностей генерал-фельдмаршалов фон Вицлебена и фон Браухича в Берлине и в Болькепхейме в Силезии, а также генерала фон Штюльппагеля в Потсдаме. Разведка Редера, но его собственной оценке, была «положительной», но определенного согласия на акцию он от заговорщиков не привез, так как его собеседники не находились более в центре офицеров, готовых на акцию против Гитлера, которые концентрировались вокруг генерал-полковника в отставке Бека. Так как Редер был арестован весной 1944 года, то Гальдеру были неизвестны дальнейшие цели заговорщиков.
В то время как Гальдер в своем верхнебаварском пристанище ввиду его ограниченных возможностей был лишен информации о планах военной оппозиции в «ставке фюрера» и в Берлине, служба безопасности Гиммлера оценивала его как «государственного врага» национал-социалистского режима. Министр пропаганды Геббельс отметил 8 ноября 1943 года в своем дневнике, будто Гиммлер сообщил ему, что Гальдер принадлежит к кругу врагов государства, который «через голову фюрера стремится установить связь с англичанами». Геббельс считал такого рода деятельность «дилетантской» и «неопасной», но не следует «терять их из виду». Соответственно этому за Гальдером продолжали наблюдение. Генерал-полковник был подозрителен национал-социалистам еще и потому, что во многих британских листовках-брошюрах, сброшенных на Германию с марта по ноябрь 1943 года, он был представлен как «предостерегающий» от мании величия Гитлера, и поэтому уволенный со своей должности. То, что Гальдер находился под наблюдением, знали: заговорщики в Берлине, примыкавшие к Беку, Герделеру и Штауффенбергу, так. что они осознанно избегали контакта с бывшим начальником генерального штаба, чтобы не оставлять ненужных следов конспиративной деятельности.
Помимо общих намеков, которые он получал «то там, то здесь», Гальдер был лишен более точной информации о группе покушения, в которую входили Штауффенберг, Ольбрихт, Тресков и Мерц фон Квирнхейм, так что он не был посвящен в план переворота Штауффенберга, с которым у него в то время уже не было никаких контактов. Он и не встал бы на их сторону, так как, по собственному признанию, отверг «политическое убийство как средство борьбы против Гитлера». Покушение Штауффенберга на диктатора 20 июля 1944 года он рассматривал как своего рода «панику перед закрытием ворот», обусловленную отчаянным положением. Как и многие другие, Гальдер был поражен этой мужественной акцией. Впоследствии он резко критиковал организационные недостатки и ошибки руководителей этой попытки путча, но в то же время о ее действующих лицах всегда отзывался с особым человеческим уважением.