30 июня 1934 года далеко от Мюнстера, в Баварии, произошло нечто неслыханное. Одним ударом Гитлер приказал ликвидировать командование штурмовыми отрядами во главе с начальником штаба Эрнстом Ремом и объявить жестокое насилие во имя справедливости. Между начальником штаба штурмовиков Ремом и полковником Гальдером существовали еще со времен их совместной службы в 6-й пехотной дивизии товарищеские, возможно, даже дружеские отношения, которые возродились в Мюнхене в 1921 году и в Берлине в 1930–1931 годах. С другой стороны, насильственные действия СА в последние месяцы, видимо, обеспокоили Гальдера. Так что не удивительно, что полковник Гальдер выразил свою критику акций уничтожения тогдашнему начальнику военного ведомства в Берлине. 6 августа он писал ему, не зная, что Гитлер был движущей силой преступления: «Чистое и основанное на идеалистическом воодушевлении желание канцлера становится на практике благодаря множеству некомпетентных исполнительных органов искаженной картиной, а частично даже противоположной тому, к чему стремится канцлер… Сотрудничество уступает место все более углубляющемуся антагонизму между двумя группами, одна из которых стремится в духе фюрера к созиданию на основе существующих ценностей, а другая пока не знает иной цели, как под лозунгом избитых и невразумительных фраз разрушить существующие ценности». Бунт Рема является «лишь одним и* возможно, не самым опасным нарывом на больном теле Германии». При этом Гальдер указал на возможность, что когда-нибудь армия может быть использована как «вооруженный миротворец собственного народа». Однако он надеялся, что она будет избавлена от такой задачи.
Обеспокоенный той же проблемой, Гальдер писал в конце года генералу фон Фричу, что следует искать «пути, чтобы уведомить фюрера и канцлера о намерениях (партии), которые он определенно не одобрит, и средства, чтобы защитить тех, кому что-то угрожает». Как и другие офицеры, Гальдер жестоко ошибался в оценке желаний и целей Гитлера. Только несколько лет спустя он понял это. Политическая озабоченность Гальдера не уменьшилась и в последующее время. С недоверием наблюдали в командовании рейхсвером подъем СС (эсэсовские отряды) в качестве нового рода войск. Возникло сомнение в том, останется ли рейхсвер действительно единственной вооруженной «опорой», обеспечивающей жизненное существование Третьего рейха, как об этом заявлял Гитлер.
Однако дальнейшее военно-политическое развитие заставило обратиться к многочисленным организационно-техническим вопросам, так как новые задачи вставали в связи с быстрым вооружением рейхсвера, так что и Гальдер вскоре получил повое назначение в Мюнхен. Когда 1 октября 1934 года начальником артиллерии VII он вернулся в Баварию, то сразу за этим последовавшее присвоение ему звания генерал-майора свидетельствовало, что, по крайней мере с этого момента, он причислялся к избранным офицерам генерального штаба с перспективой назначения командиром дивизии, тем более, что штабы начальников артиллерии должны были преобразовываться при соответствующих командующих округами в ходе дальнейшего вооружения непосредственно в новые штабы дивизий.
В Мюнхене Гальдер опять занял позицию, направленную против методов гестапо: в январе 1935 года он предупредил своего бывшего начальника кронпринца Баварского Руппрехта о возможных акциях гестапо и партии против главы дома Виттельсбахов.
Объявление всеобщей воинской повинности командованием рейхсвера в марте 1935 года и связанное с ним быстрое увеличение рейхсвера до 36 дивизий имело для Гальдера профессиональные последствия: 15 октября 1935 года он был назначен командиром 7-й дивизии и 1 августа 1936 года произведен в генерал-лейтенанты. Как командир дивизии Гальдер руководил осенними маневрами своего соединения во всей Баварии. В ноябре 1936 года генерал-полковник фон Фрич поручил ему подготовку и проведение маневров вермахта в Мекленбурге в 1937 году, которые впервые должны были включать боевое применение и движение крупных моторизованных частей и танковых соединений. Для этой цели Гальдер как начальник вновь образованного штаба учений был командирован до сентября 1937 года в главный штаб сухопутных войск в Берлин, где он был непосредственно подчинен главнокомандующему сухопутными войсками. «С тяжелым сердцем» он оставил командование 7-й дивизией, так как этот пост командира соединения, который в сознании немецких высших офицеров представлял собой важный этап карьеры, он занимал только один год.