Уверенные в предстоящем успехе наступления, Тимошенко и Жуков игнорировали сведения военной разведки о скрытом сосредоточении новых немецких войск на западной границе. Уже с февраля 1941 года началась скрытая переброска войск вермахта на линию Радом – Варшава. Соединения передвигались ночными маршами, а штабы размещались в расположении старых мест дислокации. К концу мая на границе было сосредоточено около 170 дивизий. Разведка докладывала, что войска, ранее сосредоточенные на побережье против Англии, куда-то увозят в эшелонах.
18 июня на участках границы началось разминирование линий-проходов, а затем и выдвижение войск в приграничную зону.
21 июня Жуков все же добился разрешения Политбюро развернуть в Тернополе штаб Южного фронта во главе с генералом армии И.В.Тюленевым и своего назначения координировать действия Юго-Западного и Южного фронтов. Вылететь в Тернополь Жуков должен был на следующий день. Следующим днем стало 22 июня.
В ночь на 22 июня всем сотрудникам Генерального штаба было приказано оставаться на своих рабочих местах. Сам Жуков находился в служебном кабинете наркома обороны.
Уже в 3 часа он стал получать сообщения от командующих округами и флотами о налетах вражеской авиации. Он спешно соединился со Сталиным и доложил ему о нападении противника. В ответ Сталин приказал Жукову и Тимошенко немедленно прибыть в Кремль. Там он услышал слова наркома иностранных дел В.М.Молотова о том, что «германское правительство объявило нам войну».
На следующий день после начала немецкого наступления Жуков, как это и предполагалось ранее, вылетел на Юго-Западное направление. Он должен был помочь командующему фронтом М.П.Кирпоносу организовать проведение контрудара по наступающим войскам противника. Контрудар был нанесен, но немецкие войска остановить не удалось, и Жуков вскоре вернулся в Москву, где доложил Сталину об отступлении советских войск в район Минска и Киева. Эти города ни в коем случае нельзя было сдавать, напротив, они должны были стать опорными пунктами для проведения нового контрудара.
Становилось очевидным, что танковые клинья немцев, уже зажавших в кольцо огромную массу советских войск на Львовском и Белостокском выступах, уже не станут останавливаться для их уничтожения, а будут продолжать стремительно двигаться вперед. Им уже удалось захватить огромные запасы горючего, в беспорядке складированного вдоль дорог и предназначенного для предполагавшегося ранее советского наступления. Огромная масса техники Красной Армии выходила из строя, колонны красноармейцев в пешем порядке отступали в глубь страны.
28 июня пал Минск, в районе которого была окружена значительная группа советских войск. Прибегать к репрессиям в отношении наркома обороны и начальника Генерального штаба Сталин не стал, но уже на следующий день (30 июня) Тимошенко был послан командовать Западным фронтом вместо арестованного за поражение генерала Павлова. Верховное командование Красной Армии перешло к Сталину, который стал Верховным главнокомандующим.
10 июля началось Смоленское сражение, разгоревшееся на фронте в 650 километров. Еще раньше, 7 июля, началась битва за Киев, куда устремились германские войска группы армий «Юг». И на западе и на юге удалось замедлить продвижение войск противника, а затем заставить его перейти к обороне. Советским войскам было приказано не отступать ни шагу назад и в плен не сдаваться. Как начальник Генерального штаба Жуков подписал приказ № 270, который говорил о расстрелах за сдачу в плен или за самовольный уход с позиций. Но и сам он понимал необходимость более гибкого руководства войсками и в конце августа доложил Сталину о необходимости отвести большую часть войск Юго-Западного фронта за Днепр. Жуков говорил об опасности ее полного окружения немецкими танковыми группами, а также о необходимости организовать контрудар на ельнинском направлении, где в ходе Смоленского сражения образовался выступ, который командование группы армий «Центр» могло использовать для наступления на Москву. На вопрос Сталина, что же будет с Киевом в случае отвода войск, Жуков определенно ответил – придется оставить. Сталин вспылил, обругал Жукова, тот потребовал своей отставки с поста начальника Генерального штаба. Верховный объявил, что может обойтись и без него, и пусть теперь Жуков сам едет под Ельню и решает там вопрос, который сам поставил.