В 1940 году Жуков, вспомнив о своем сокурснике по академии, забрал Баграмяна к себе в округ, сделав его начальником штаба 12-й армии. Это соединение, состоявшее из выходцев с Кавказа, было одной из первых советских горных армий. Хотя горные части существовали в РККА еще с 1920-х годов, но как крупные формирования они стали создаваться только перед войной.
Перед началом Великой Отечественной войны Ивану Христофоровичу было присвоено звание генерала. Войну он встретил в должности начальника оперативного отдела штаба Киевского Особого округа.
Образованный в первые дни войны Юго-Западный фронт возглавил генерал-полковник Кирпонос, а Баграмян стал начальником штаба этого фронта. В состав фронта входили четыре общевойсковые армии, три механизированных корпуса (22-й, 4-й и 15-й), расположенные вблизи границы, 8-й корпус в резерве и два корпуса в оперативном тылу (9-й и 19-й).
Уже в первый день войны три корпуса, находившихся в резерве, получили приказ штаба фронта выдвинуться северо-восточнее Ровно и нанести удар совместно с 22-м механизированным корпусом (который уже находился там) по левому флангу танковой группы фон Клейста. Пока резервные корпуса подходили к месту сосредоточения, 22-й корпус успел понести большие потери в ходе боев с немецкими частями, а 15-й корпус, расположенный южнее, не сумел пробиться сквозь плотную немецкую противотанковую оборону. Резервные корпуса подходили по одному. Первым на место новой дислокации форсированным маршем подошел 8-й корпус, и ему сразу пришлось в одиночку вступить в бой, так как обстановка, сложившаяся к тому времени в 22-м корпусе, была очень тяжелой. Подошедший корпус имел в своем составе танки Т-34 и КВ, а воинский контингент был хорошо подготовлен. Это и помогло корпусу сохранить боеспособность в ходе боев с превосходящими силами противника. Позже подошли 9-й и 19-й механизированные корпуса и также сразу вступили в боевые действия. Неопытным экипажам этих корпусов, измученным 4-дневными маршами и непрерывными налетами немецкой авиации, было трудно противостоять опытным танкистам немецкой 1-й танковой группы. В отличие от 8-го корпуса они имели на вооружении старые модели Т-2 и БТ, значительно уступавшие по маневренности современным Т-34, к тому же большая часть машин пострадала во время авиационных налетов на марше. Так сложилось, что штабу фронта не удалось собрать для мощного удара одновременно все резервные корпуса, и каждому из них приходилось вступать в бой по очереди. В результате сильнейшая танковая группировка РККА утратила свою ударную мощь еще до того, как возникла действительно критическая фаза боев на южном фланге советско-германского фронта. Тем не менее штабу фронта удалось на время сохранить целостность своих войск, но, когда силы танковых частей были на исходе, штаб отдал приказ об отступлении на старую советско-польскую границу.
К середине сентября танковые дивизии фон Клейста, прорвав оборону 38-й советской армии, соединились с дивизиями Гудериана, замкнув кольцо окружения, куда попали четыре армии Юго-Западного фронта. Расчлененные на отдельные отряды и группы, практически без горючего и боеприпасов, советские части продолжали мужественно сопротивляться. Штабом фронта вскоре было потеряно управление войсками, поэтому скоординировать прорыв вражеского кольца стало невозможно. Каждой группе советских войск приходилось действовать на свой страх и риск и самостоятельно пробиваться из окружения.
Для начальника штаба фронта Баграмяна, награжденного еще в августе 1941 года за оборону Киева орденом Красного Знамени, такое сокрушительное поражение не прошло даром – за ошибки при руководстве крупными танковыми соединениями, приведшие к разгрому этой мощной советской группировки войск, он был понижен в должности. До конца года его положение было неопределенным.
Но в декабре 1941 года он был назначен начальником штаба Юго-Западного направления, объединяющего три фронта. В 1942 году Иван Христофорович был переведен на Западный фронт, получив под свое командование 16-ю общевойсковую армию. На этой должности он смог себя реабилитировать за обидное поражение первых месяцев войны. Под его командованием 16-я армия была переименована в 11-ю гвардейскую за отличия в боях. Но его полководческий талант проявился в полной мере в боях под Орлом и Брянском.
Немецкие армии, которые еще в начале войны получили приказ обойти Москву с юга и захватить столицу, в течение 20 месяцев, вплоть до августа 1943 года, оставались в районе Орла, куда отступили после поражения под Тулой. За бои под Орлом Баграмян был награжден высшей полководческой наградой – орденом Суворова I степени.