Надежды Гальдера сблизить Гитлера с главным командованием сухопутных войск рухнули, так как главное командование сухопутных войск и верховное командование вооруженных сил вступили в прямую конкуренцию. Сам Гитлер к тому же распределял военное руководство операциями и возлагал на генеральный штаб и Гальдера ответственность за Восточный фронт, в то время как все остальные театры военных действий подчинил верховному главнокомандованию вооруженных сил. Помимо этого, неоперативные задачи главнокомандующего сухопутными войсками Гитлер передал верховному главнокомандованию вооруженных сил в лице генерал-фельдмаршала Вильгельма. Кейтеля, так что уход Браухича нанес функциям верховного главнокомандования сухопутных войск значительный ущерб. Следовательно, исходные позиции Гальдера и генерального штаба для установления новых позитивных отношений с «величайшим полководцем всех времен» стали не лучше, а скорее хуже, хотя на совещаниях Гитлер внешне старался продемонстрировать хорошую атмосферу.
Об оперативных предложениях отдельных командующих на Восточном фронте перейти к оборонительной тактике Гитлер не хотел даже слышать. В эти дни Гальдер также усвоил по отношению к главнокомандующим армиями и группами армий резкий стиль фюрера, поскольку в силу недостатка свободы движения не считал более возможным отступать из-за наступления; сильных холодов. В частности, он заявил командирам и командующим, что у тех есть приказ удерживать фронт, а риск берет на себя верховное командование.
Когда в начале 1942 года наконец удалось отразить атаки Красной Армии и снова стабилизировать фронт, Гитлер укрепился в своей позиции, что он сам может «немножко руководить операциями» сухопутных войск, как он заявил, приняв на себя обязанности верховного командования 19 декабря 1941 года. Гитлер был убежден, что преодоление кризиса под Москвой является исключительно его заслугой.
Хотя Гальдер и в дальнейшем пренебрежительно высказывался о военных способностях Гитлера и в присутствии третьих лиц саркастически характеризовал их как «позицию ефрейтора», с декабря 1941 года оп старался улучшить климат и создать новую базу для дальнейшего сотрудничества. Чтобы «смягчить настроение» Гитлера, Гальдер якобы задним числом негативно высказывался также о руководстве Браухича. В качестве нового главнокомандующего сухопутными войсками Гитлер взял в свою непосредственную компетенцию также и менее важные мероприятия и решения подчиненных ему командных ведомств. К тому же оп сохранял свою антипатию к генеральному штабу, так что отношения с Гальдерм оставались напряженными. Ежедневные, часто многочасовые споры об оперативных решениях отягощали сотрудничество. Характерный свет на стиль разговора и руководства Гитлера проливают описанные Гальдером приступы ярости диктатора, в ходе которых он не стеснялся даже пригрозить гестапо, если что-то шло не в духе его требований. Атмосфера таких «совещаний фюрера» вряд ли могла улучшить отношения между Гальдером и Гитлером. К тому же напряжение между обоими было подогрето тем, что Гальдеру подсунули информацию, будто бы по представлениям диктатора он лишь временно остается на своей должности.
Когда верховное главнокомандование сухопутных войск весной 1942 года составляло новые оперативные планы для объявленного фюрером летнего наступления, Гитлер снова был убежден, что разгромит Красную Армию и успешно проведет запланированное наступление на Дон и Кавказ, так как Сталин якобы использовал все резервы в зимнем наступлении. В действительности СССР располагал еще большими резервными силами. Правда, Гальдер высказался за то, чтобы сначала перейти в «стратегическую оборону», и предостерегал от того, чтобы снова недооценивать Красную Армию и считать, что немецкая сторона все сможет осуществить; тем не менее он поддержал планы наступления Гитлера и разработал соответствующие варианты операции.
После войны Гальдер заявил, что тогда он был принципиально против наступательных планов Гитлера. Однако новые исследования показывают, что свою тогдашнюю идею «стратегической обороны» он разрабатывал с неохотой и больше следовал наступательным намерениям диктатора. В конце марта 1942 года генеральный штаб предоставил новые соображения. Они предусматривали сдерживание центра Восточного фронта и новые наступления на Ленинград и Дон, чтобы захватить город Сталинград и кавказские нефтяные районы. Так как уже не хватало сил вести наступательные операции по двум направлениям, то сначала нужно было осуществить наступление на южном фланге в сторону Дона с последующим продвижением в нефтяные районы под Майкопом, Грозным и Баку. Хотя Гальдер, возможно, был не согласен с планом, описанным в директиве от 5 апреля, он, однако, не предоставил никакой реальной альтернативы в качестве нового проекта операции генерального штаба. Наконец, весной и в начале лета 1942 года он как начальник генерального штаба лояльно взял на себя планирование и подготовку новой операции «Блау» («Синева»), хотя сомневался в удаче; его беспокоило то, что еще в мае и июне 1942 года в кадровом составе сухопутных войск Восточного фронта имелось свыше 700 000 вакантных мест и не было никакой возможности их заполнения. Материальное снабжение также никоим образом не соответствовало тому, что было в 1941 году. По крайней мере внешне Гальдер отбросил свои сомнения в отношении новых планов Гитлера. Характерно, что граф фон Штауффенберг, руководитель группы в генеральном штабе сухопутных войск в апреле 1942 года на вопрос одного из посетителей, кого из высшего состава можно привлечь к борьбе против военной политики Гитлера, занял отстраненную позицию к Гальдеру и объяснил: «Гальдер думает только по-военному и всегда думал только по-военному. Нет, никаких иллюзий. Нашими союзниками являются не Гальдер и Кейтель, а бедственное военное положение и — поражения, которые заставляют задуматься… Пока еще не поздно».