Войска Калининского фронта первыми начали контрнаступление против гитлеровских войск и уже 5 декабря прорвали оборону 9-й немецкой армии, а 16 декабря освободили Калинин. К началу января 1942 года войска Конева вышли к Волге северо-западнее Ржева.
Большую часть 1942 года войска Калининского фронта действовали против Ржевского выступа, который Сталин считал важным стратегическим плацдармом противника для нового наступления на Москву. Несмотря на то что войска группы армий «Центр», находящиеся в этом выступе, окружить не удалось, командование вермахта было вынуждено перебрасывать сюда войска с действительно важных стратегических направлений, что облегчило положение действующих там советских войск.
Весной 1943 года Конев был назначен командующим Степным (Резервным) фронтом, силы которого должны были быть введены на втором этапе сражения на Курской дуге. Но уже на первом этапе по приказу Ставки ему пришлось вводить в полосу Воронежского фронта 5-ю гвардейскую танковую и 5-ю гвардейскую армии, сыгравшие решающую роль в сражении под Прохоровкой.
К 13 августа войска Конева подошли к Харькову, прорвали внешнее кольцо его обороны, а через четыре дня завязали бои на его окраине. По приказу Конева город был охвачен почти со всех сторон. По единственной шоссейной и железной дорогам противник стал отходить из Харькова. 22 августа последовал ночной штурм города, и к 12 часам следующего дня город был освобожден. Чтобы не дать немецким войскам опомниться, по приказу Конева был организован авиационный удар по отходящему противнику. 28 августа ему было присвоено звание генерала армии.
23 сентября была освобождена Полтава, а на следующий день был захвачен плацдарм на Днепре северо-западнее Днепродзержинска.
5—8 января 1944 года была успешно проведена Кировоградская операция.
В конце января в результате проведенных операций на стыке 1-го и 2-го (бывшего Степного) Украинских фронтов в районе Корсунь-Шевченко образовался выступ, который Гитлер приказал удержать с целью восстановления обороны по Днепру. Этот выступ Ставка приказала «срезать» командующему 1-м Украинским фронтом генералу Н.Ф.Ватутину и Коневу. Операция проходила с 24 января по 17 февраля. Была окружена и уничтожена группировка генерала Штиммермана. Коневу было присвоено звание Маршала Советского Союза.
В марте войска 2-го Украинского фронта овладели Уманью и форсировали Южный Буг на протяжении 100 км. К концу марта войска вышли на государственную границу, перенеся военные действия на территорию Румынии. К середине апреля войска Конева достигли Карпат, вышли на подступы к Яссам и Кишиневу. Но Коневу освобождать Молдавию и Румынию не пришлось. В мае он был назначен командующим 1-м Украинским фронтом.
Целью новой операции был разгром группы «Северная Украина», освобождение Западной Украины и юго-восточной Польши. Планируя операцию, Конев решил нанести два равных по силе удара на львовском и рава-русском направлениях, учитывая, что это вынудит немецкое командование распылить свои силы.
13 июля операция началась, и к 18 июля оборона противника была прорвана на глубину 50—80 км. Немецкое командование ожидало главного удара на львовском направлении, сосредоточив здесь значительные силы, и потому сопротивление на рава-русском направлении оказалось незначительным. Поэтому часть войск Конев повернул в тыл Львовской группировки. Вскоре под Бродами было окружено 8 немецких дивизий. К концу дня 22 июля вражеская группировка была ликвидирована. 27 июля были освобождены Львов, Перемышль, Станислав. К 1 августа в районе Сандомира была форсирована Висла и создан важный плацдарм для дальнейшего наступления.
Немецкое командование, понимая всю опасность этого плацдарма, попыталось нанести по оборонявшимся на нем советским войскам несколько контрударов, подтянув для этого 16 пехотных и танковых дивизий. Тогда Конев ввел в сражение 5-ю гвардейскую танковую армию из своего резерва, которая отразила натиск противника.
За Львовско-Сандомирскую операцию Коневу было присвоено звание Героя Советского Союза.
1 октября войска 1-го Украинского фронта перешли чехословацкую границу северо-западнее Дукельского перевала и при содействии чехословацких войск овладели перевалом.
В завершающем году войны войска 1-го Украинского фронта начали наступление с Сандомирского плацдарма. В ходе наступления были разгромлены как тактические, так и оперативные резервы противника и создана угроза его окружения между Пулковским и Сандомирским плацдармами.