Когда в августе 1919 года баварская армия прекратила официально существовать и ее самостоятельная служба генерального штаба была распущена, то Гальдер согласно общей квоте для баварских офицеров был отправлен в Берлин в новое руководство сухопутными войсками «временного рейхсвера». Он был назначен в учебный отдел министерства вооруженных сил, а потом с октября 1919 года референтом во вновь организованное военное ведомство под руководством генерал-майора фон Зеекта. По семейным обстоятельствам уже в конце июля 1920 года Гальдер возвратился в Мюнхен и получил должность офицера генерального штаба при городской комендатуре. К 1-му октября 1920 года он был официально зачислен в германские сухопутные войска и в мае 1921 года принял участие в первом учебном марше военного округа в Баварии. После этого он с октября 1921 года проводил как преподаватель тактики и ведущий офицер 7-й дивизии курсы в рамках децентрализованного обучения руководящего состава, которые служили подготовке офицерской смены для генерального штаба, официально запрещенного в соответствии с положениями Версальского мирного договора.
Гальдер входил в испытанное, перешедшее из офицерского корпуса кайзеровской империи руководящее ядро нового рейхсвера. Это ядро внешне являло собой почти однородную группу» убежденную в том, что она представляет и защищает «империю», в результате чего постепенно стала инородным телом в Веймарской республике.
Особое военное устремление офицерского корпуса под командованием генерала фон Зеекта, в который входил также и Гальдер, состояло в том, чтобы вопреки всем политическим и партийным интересам или возражениям сохранить и укрепить рейхсвер (вооруженные силы Германии), численность которого была сведена Версальским мирным договором до 100 000 человек. Усилия руководства рейхсвера укрепить оборону страны последовательно поддерживались штабами военных округов. В то же время постоянно вспыхивающие внутриполитические перепалки между партиями и в парламенте воспринимались отрицательно и осуждались. Гальдер тоже холодно относился к партиям и их действиям в парламенте.
Почти в сорокалетием возрасте, будучи капитаном, он наконец в середине сентября 1923 года получил должность командира батареи седьмого артиллерийского полка в г. Ландсберге на реке Лех. На этой должности 1 марта 1924 года ему присвоили звание майора. Нам ничего не известно об оценке Гальдера мюнхенских событий 8 и 9 ноября 1923 года. Только на следующее утро после начала гитлеровского путча батарея Гальдера была поднята по тревоге и срочно переведена в столицу федеральной земли. Там он вместе со своими солдатами был временно расквартирован в казарме в ожидании возвращения в Ландсберг, ни с кем не вступая в соприкосновение. Участие Людендорфа в гитлеровском путче напомнило о критической позиции по отношению к военачальнику во время пребывания его в штабе группы армий «Кронпринц Руппрехт фон Байерн». Так как путч Гитлера быстро потерпел неудачу, то в гарнизоне тихого и мирного Ландсберга он не нашел большого отзвука. Внутренние раздоры и распри в новой республике командир батареи, как он сам говорил позже, наблюдал с беспокойством и отчасти осуждал как «партийную перебранку».
К 1 декабря 1925 года Гальдер снова был переведен на офицерскую должность в главном штабе 7-й дивизии. Там он многие годы был ответственным за боевую подготовку во всем 7-м военном округе, охватывающем Баварию. В секторе боевой подготовки офицерской смены Гальдер выполнял важную задачу, так как единое обучение и боевая подготовка офицеров рейхсвера в различных округах служила при тогдашнем начальнике управления по общим вопросам в Берлине заменой централизованной боевой подготовке в военных академиях, запрещенной державами-победительницами. В рамках своих служебных обязанностей он часто принимал участие в учениях военных округов на юге Германии. 1 февраля 1929 года он был повышен до подполковника и в следующем месяце переведен в министерство рейхсвера в Берлине в отдел боевой подготовки (Т4) управления войск. Здесь он также отвечал в качестве руководителя группы за общие вопросы боевой подготовки. Начальником его отдела был будущий генерал-фельдмаршал Вальтер фон Браухич. По его собственному признанию, он вынужден был к нему «притереться», а потом между ними на долгие годы возникли товарищеские отношения.