Соответственно, и в командовании сухопутных войск не возникло серьезных возражений против решения внезапно напасть на Советский Союз. Безответными остались тщательно составленные аналитические записки, как, например, предназначенные в октябре 1940 года для Гальдера записки советника германской дипломатической миссии при посольстве в Москве фон Вальтера, который предостерегал от экономических и общестратегических последствий новой войны. Можно констатировать, что Гальдер, в отличие от ситуации перед началом похода на запад, не усматривал в решении Гитлера никаких исходных возможностей для формирования новой действенной военной оппозиции против Гитлера.
В то время когда шло планирование войны на востоке, Гальдер снова связался с многими противниками национал-социалистского режима. Когда в ноябре 1940 года старый знакомый Гальдера патер иезуитов кронпринц Георг Саксонский вместе с другими членами ордена попытался выяснить у начальника генерального штаба, какими средствами для устранения Гитлера располагает главное командование сухопутных войск, Гальдер дал понять, что воспитанные в духе подчинения государственному руководству сухопутные войска не могут быть использованы для этого. До более тесной связи между различными группами сопротивления и главным командованием сухопутных войск дело не дошло.
Вместо этого Гальдер по собственной инициативе взял на себя оперативную разработку намечаемой войны на востоке, когда впервые узнал от Браухича и статс-секретаря фон Вайцзеккера, что взгляд Гитлера «твердо направлен на восток». Он не хотел, чтобы ему еще раз, как в случае западного похода, пришлось бы предоставить непродуманный, составленный наспех временный план операции, который вновь вызвал бы критику со стороны диктатора и других генералов. Так как он сам одновременно занимался разработкой возможного вторжения в Великобританию, то летом 1940 года Гальдер приказал генералам и сотрудникам в генеральном штабе составить первые наброски, координацию которых под руководством Гальдера с сентября обеспечил вновь назначенный обер-квартирмейстер и заместитель начальника генерального штаба генерал-лейтенант Паулюс, так что после безрезультатного визита советского комиссара иностранных дел Молотова Гитлер 18 декабря 1940 года подписал план «Барбаросса».
Привлечение способных сотрудников к самостоятельной проработке также и крупных боевых задач демонстрирует то, что Гальдер как начальник генерального штаба не был сторонником авторитарного стиля руководства. Такой способ стимулирования молодых офицеров, с одной стороны, позволил добиться совместных успехов в генеральном штабе, а с другой стороны, вызвал критику со стороны других командующих, как, например, будущего генерал-фельдмаршала фон Манштейна, который обвинял Гальдера в том, что тот держал в своих руках всю разработку и подготовку вплоть до проведения похода.
Согласно директиве № 21 от 18 декабря «Советская Россия должна быть разгромлена в ходе быстрой военной кампании» русские сухопутные войска должны быть уничтожены «решительными операциями с дальним продвижением танкового клина» и как конечная цель должна быть достигнута линия Волга — Архангельск. Операции трех раздельных групп сухопутных войск проводились соответственно планам, разработанным генеральным штабом под руководством Гальдера. При этом должны были быть захвачены Ленинград и Донецкий бассейн; далее быстрый захват Москвы рассматривался как решающий успех.
В ходе подготовки нападения на СССР Гитлер все больше придавал этой войне характер расово-идеологической борьбы на истребление, многократно подчеркивая, что война против Сталина для него «больше, чем только война оружия». Особое качество этой войны, полное отличие от сражений в Западной и Северной Европе обнаружились весной 1941 года в заявлении Гитлера о намечаемом тотальном уничтожении России как государства и о методах господства и оккупации завоеванного жизненного пространства на востоке. Расово-идеологические представления Гитлера четко проявились 30 марта 1941 года, когда он перед почти 250 высшими офицерами вермахта в рамках речи о предстоящей «борьбе двух мировоззрений» призывал к «истреблению» коммунизма «на все времена» и к «уничтожению большевистских комиссаров и коммунистической интеллигенции». Далее эти представления содержались в изданных еще до начала войны распоряжениях, таких как директивы для особых районов, в «указе о подсудности», директивах о поведении войск и «приказе о комиссарах», а также в особом поручении Гиммлеру по работе групп боевого назначения. Эти приказы были составлены при участии главного командования вермахта и сухопутных войск; Гальдер при обсуждении проекта приказа верховного командования сухопутных войск о комиссарах также согласился с тем, что в этом восточном походе войска должны «до конца вести» «мировоззренческую борьбу». Попытка Браухича и Гальдера особым распоряжением о сохранении самообладания и дисциплины перехватить или смягчить приказ Гитлера об истреблении, оказалась безуспешной; распоряжения диктатора выполнялись на востоке в широком масштабе. Впоследствии Гальдер назвал это «позорной главой» в истории сухопутных войск.