После того как 20 июня 1941 года он отдал приказ «Дортмунд», германский вермахт 22 июня между 3.00 и 3.30 осуществил внезапное нападение на Советский Союз. Это была крупнейшая военная операция в военной истории Германии. Из новой штаб-квартиры генерального штаба сухопутных войск под Мауервальдом в Восточной Пруссии Гальдер должен был координировать наступление 153 дивизий, насчитывающих почти 3,6 миллиона немецких и союзных солдат. Внезапное нападение удалось, советские пограничные позиции были прорваны. Уже спустя несколько дней наметились большие оперативные успехи. Красная Армия несла тяжелые потери, ее разгром в пограничных районах, казалось, подтверждал то, что запланированный «молниеносный поход» продлится всего лишь 3–4 месяца. В июле 1941 года немецкие руководящие органы, как и Гитлер, были уверены, что окончательная победа станет фактом через несколько недель. С большим оптимизмом Гальдер записал 3 июля в своем дневнике: «В общем уже сейчас можно сказать, что задача разгрома основной массы русской армии перед Даугавой и Днепром выполнена»; «не будет преувеличением», если сказать, «что поход против России был выигран в течение 14 дней». Однако в силу огромных пространств и упорного сопротивления советских солдат он «этим еще не закончен». Гальдер был убежден, что советское командование в силу политических причин сосредоточит свои вооруженные силы перед линией Даугава — Днепр, чтобы защитить западные промышленные районы и подключить все резервы для защиты Москвы, поэтому решающее для исхода войны сражение должно произойти на центральном участке фронта.
Однако военные события развивались иначе. Несмотря на огромные потери в живой силе Красная Армия оказывала немецким войскам упорное сопротивление в боях в окружении под Киевом, Вязьмой и Брянском. Была создана новая линия обороны, чтобы затем, сдерживая противника, отойти глубоко в тыл. При обсуждении следующего направления удара Гальдер с самого начала не смог настоять на своем мнении, так как Гитлер выше, чем Гальдер, оценивал значение южных районов СССР с их промышленностью, сырьем и нефтью для немецкой военной экономики. Поэтому согласно представлениям Гитлера наступление на Москву предстояло форсировать только после продвижения флангов на севере и юге. Если начальник генерального штаба сначала предполагал, что после первой фазы операции он сможет пренебречь «горизонтальными продвижениями по-пластунски» Гитлера на флангах, как он это называл, и взять столицу Сталина под прицел как главную цель наступления, то вскоре выяснилось, что это невозможно, так как Гитлер отклонил изложенные в докладных записках от 12 и 22 августа предложения генерального штаба сухопутных войск и, более того, назначил наступление танковых соединений из центра на север и юг, чтобы сначала устранить опасность для флангов и завоевать Украину и Донецкую область. Только после этого — но еще до зимы — должна была быть взята Москва. После такого прямого оскорбления со стороны Гитлера Гальдер и Браухич начали думать о том, чтобы вместе подать просьбу об освобождении их от должности. Но потом Браухич отговорил Гальдера от этого, так как чувствовал свою ответственность перед восточными сухопутными войсками.
Решение Гитлера предоставило советскому командованию достаточно времени для того, чтобы укрепить оборонительные позиции перед Москвой и подвезти обширные резервы живой силы. Когда, наконец, Гитлер приказал готовить наступление на Москву под кодовым названием «Тайфун» на конец сентября 1941 года, то в немецких руководящих кругах существовали значительные расхождения мнений о дальнейших перспективах на успех. Гальдер между тем понял, что он недооценил «колосса Россию» и очень ошибся, когда предположил, что Сталин проиграл войну еще в июле. Потери немецких сухопутных войск, начиная с августа, были невосполнимы. Тем не менее в начале ноября он разделил оптимистичную оценку положения Гитлером, чтобы провести и успешно завершить пропагандируемую им «последнюю, великую, решающую битву» за Москву.
После совещания генерального штаба в городе Орша, на которое Гальдер приехал из Восточной Пруссии, начальник генерального штаба приказал продолжить наступательные операции «с полной отдачей сил» и, несмотря на значительные трудности снабжения, энергично «форсировать» их. Он все поставил на одну карту: последним усилием Москва должна быть захвачена. В ходе наступления на Москву для того, чтобы все-таки разгромить якобы обессиленную Красную Армию, решающим фактором считалось «последнее напряжение воли и сил». Начальник генерального штаба не хотел повторения мнимого «чуда на Марне» во время первой мировой войны. Борьбу нельзя было прекращать слишком рано, так как она явно находилась на решающей стадии. При этом генеральный штаб, как и Гитлер, утратили возможность объективно оценить достигнутое. Вопрос о реальных перспективах успеха последующего наступления и Гальдеру, и Браухичу казался «вопросом воли», как того требовал Гитлер. При этом устанавливались даже утопические цели, как, например, линия Ярославль — Рыбинск — Вологда. Старый друг Гальдера генерал фон Штюльпнагель, тогда главнокомандующий 17-й армией на юге восточного фронта, предостерегал от такого высокомерия и чрезмерных требований к войскам. Последствия этого были тяжелыми. В конце ноября немецкое наступление остановилось, войска были повсюду истощены. В начале декабря танковые армии генералов Рейнхардта, Хепнера и Гудериана были вынуждены остановить наступление. Теперь Гальдер жаловался, что Гитлер не хочет понять состояние совершенно измученных и измотанных войск. Когда Красная Армия воспользовалась 5–6 декабря шансом и ловко перешла в контрнаступление, широко растянутый немецкий фронт был прорван во многих местах.