К осени 1941 года немецкие войска продвинулись к Дону, а затем захватили Ростов-на-Дону. Сразу после этого была поставлена задача — освободить город. Одно из первых удачных наступлений Красной Армии заставило вермахт 29 ноября оставить город и отойти на рубеж реки Миус. В результате советского наступления потери вермахта в этой операции составили около 20 000 человек, 275 танков, 359 орудий, 400 пулеметов и около сотни минометов. Такие потери (и все ради того, чтобы всего неделю удерживать позиции) Гитлера привели в бешенство.
В штабе Юго-Западного фронта. Слева направо: командующий ЮЗФ С. К. Тимошенко, член Военного совета ЮЗФ Н. С. Хрущев, начальник штаба ЮЗФ И. Х. Баграмян
В марте 1942 года Баграмян был переведен на московское направление на штабную должность. Удачные контрудары подвижной группы привели к разгрому нескольких частей вермахта в районе Ельца. За отличную работу на штабной должности в удачно действовавших группах Баграмян в декабре был произведен в генерал-лейтенанты.
Летом 1942 года прошло неудачное наступление на Харьков. В разработке этого плана участвовал и Иван Христофорович. Однако уже после начала наступления стала сказываться неподготовленность наступления — слишком сильно командование надеялось на то, что немцы летом этого года снова будут наступать на Москву. Тимошенко, продолжая наступление, поздно обратил внимание на не принятые командующим Южным фронтом Малиновским меры по обеспечению стыка и фланга, а запоздалый приказ о прекращении наступления позволил немцам загнать советские дивизии в «мешок». Провал наступления привел к тому, что командующий фронтом и офицеры штаба были сняты с должностей. Но Баграмяну повезло, больших наказаний не последовало. Сначала он был в распоряжении Военного совета З.Ф., а затем командующим 16-й армией, которая действовала на центральном направлении. В июле 1943 года 16-я армия в составе Брянского фронта участвовала в Курской битве.
В ноябре 1943 года Иван Христофорович был повышен в звании — стал генерал-полковником. В ноябре 1943 года получил звание генерала армии, назначен на должность командующего 1-м Прибалтийским фронтом. На этой должности он пробыл до апреля 1945 года. Его фронт успешно проводил наступательные операции, что отмечалось руководителями Генштаба и Ставки.
В феврале Василевский был назначен командующим 3-м Белорусским фронтом, а на базе 1-го Прибалтийского фронта была создана Земландская группа войск, командиром которой стал Баграмян. Эта группа вошла в состав 3-го Белорусского фронта. Его группа при поддержке авиации фронта начала штурм «абсолютно неприступного бастиона немецкого духа» — Кенигсберга, который и был удачно взят уже через несколько дней.
4 апреля 1945 года Баграмян был назначен на должность командующего 3-м Белорусским фронтом. На этой должности он и пробыл до конца войны.
Как началась жизнь в первый месяц после окончания боевых действий, рассказал сам Баграмян:
«Встала нелегкая задача — обеспечить наиболее удобное размещение войск фронта. Но не успели мы как следует развернуть эту работу, как меня вызвали в Москву.
С аэродрома я поехал к начальнику Генерального штаба. Алексей Иннокентьевич Антонов сказал:
— Товарищ Сталин решил обсудить с участием командующих войсками фронтов и начальников центральных управлений Наркомата обороны ряд проблем, связанных с переводом армии на мирное положение. Совещание начнется завтра в одиннадцать часов утра в Кремле. Руководить им будет сам Верховный, участие в работе примут члены Политбюро.
Прибыв к назначенному времени в приемную Сталина, я увидел там всех командующих фронтами и группу генералов Наркомата обороны.