Ожесточенные танковые бои разгорелись с самого начала кампании. Танковые части Красной Армии бросались в дерзкие и энергичные контратаки с первого дня войны. Например, уже в первый день вторжения, 22 июня 1941 года, 25-й танковый полк 7-й танковой дивизии потерял в Олите половину своих машин.
Одна только 14-я танковая дивизия за неделю боев западнее Луцка уничтожила 156 советских танков. В это же время 11-я и 16-я танковые дивизии отражали мощные контрудары советских танковых бригад под Дубно. 16-я танковая дивизия понесла особенно тяжелые потери, но уничтожила 215 советских танков. Хотя советские войска несли более тяжелые потери, чем немецкие танковые дивизии, в их распоряжении было около 15 000 танков, тогда как немецкие танковые резервы, как уже упоминалось, были слишком малочисленны. Очень скоро среднее количество танков в танковых дивизиях упало до уровня меньше 100 машин. Впоследствии это число стало еще меньше.
Однако наиболее сильным потрясением для вермахта оказались не потери, а то, что советские танки были лучше, чем их собственные. 3 июля два советских танковых корпуса нанесли удар по 3-й танковой группе силами 600 танков Т-34. Т-34 весил 28 тонн и был вооружен 76-мм пушкой. Он полностью превосходил Pz-III и Pz-IV по всем параметрам, кроме связи. При этом по советской классификации Т-34 считался средним танком! Вскоре после этого появились и тяжелые танки КВ-1. Они весили 48 тонн и были вооружены 76-мм или 85-мм пушками с высокой начальной скоростью снаряда, а на некоторых машинах были даже установлены 152-мм гаубицы.
Реакция немецких войск на Т-34 граничила с паникой. Многие офицеры хотели получить простую копию Т-34, но это было невозможно, поскольку в его дизельном двигателе использовался алюминий, которого в Германии не хватало. Вместо этого для изучения вопроса была учреждена комиссия из предпринимателей, промышленников и специалистов управления вооружений сухопутных войск. Комиссия быстро завершила работу, и в ноябре 1941 года управление вооружений приняло решение, основанное на ее выводах. Для борьбы с новыми советскими танками предполагалось разработать две собственные модели танков: Pz-V «Пантера» (весом до 35 тонн) и Pz-VI «Тигр» (весом до 60 тонн).
Уступая противнику в численности и качестве, танковые дивизии осуществили первые грандиозные операции на окружение на Восточном фронте, и все они увенчались успехом. Огромные силы советских войск были уничтожены, помимо прочего, под Минском, Смоленском, Уманью, Вязьмой, Брянском и Черниговкой (у Азовского моря). В кольце под Киевом, которое замкнули 2-я и 1-я танковые группы (которыми командовали, соответственно, Гудериан и фон Клейст), оказались сразу несколько советских армий, которые затем были уничтожены немецкой пехотой. К 20 сентября, когда сражение завершилось, группа армий «Юг» захватила 667 000 пленных, 3718 орудий и 884 единицы бронетехники. Однако этого было недостаточно. Из-за плохой погоды и недостаточно развитой дорожной сети Советского Союза в октябре танковые клинья забуксовали, а в начале декабря и вовсе остановились. 6 декабря Сталин начал свое первое зимнее наступление, и вскоре вермахт начал отступать.
Вместо того чтобы усиливать и направлять подкрепления и новое снаряжение опытным дивизиям, Гитлер приказал сформировать новые соединения. По ходу войны его фактически больше заботило количество дивизий, несмотря на то что из-за потерь опытные дивизии «усыхали» до размера полков. Эта недальновидная политика распространялась и на панцерваффе. Еще в начале октября Гитлер (через ОКХ) приказал сформировать 22, 23 и 24-ю танковые дивизии. В феврале 1942 года ОКХ приказало также сформировать в Норвегии 25-ю танковую дивизию. Тем временем 5-я легкая дивизия в Северной Африке была перевооружена и переименована в 21-ю танковую дивизию.
В 1941 году Германия вторглась в Советский Союз на трех основных направлениях: северном, центральном и южном (соответствующие наименования получили и группы армий: «Север», «Центр» и «Юг»). К концу весеннего таяния снегов 1942 года ее сил хватало для удара лишь на одном из этих направлений. Гитлер выбрал южное. Соответственно, ОКХ уменьшило количество танков в дивизиях на других направлениях до одного батальона на танковый полк. Наступление, которое вела группа армий «Юг», оказалось менее успешным, чем надеялось руководство вермахта. После безуспешного наступления под Харьковом советские войска в основном отступали в направлении на Сталинград и Кавказ вместо того, чтобы оказывать сопротивление и попадать в окружение. В это время Гитлер совершил решающую ошибку, разделив группу армий «Юг» на группы армий А и Б и направив их, соответственно, на Кавказ и Сталинград. В результате он роковым образом распылил силы. Группа армий Б была вынуждена прикрывать свои фланги войсками союзников (венграми, итальянцами и румынами), пока 6-я армия истекала кровью в уличных боях в Сталинграде. Три ее танковые дивизии (14, 16 и 24-я) без необходимости понесли тяжелые потери. К 19 ноября, когда советские войска начали контрнаступление, в 14-й танковой дивизии оставалось всего пять машин, в 16-й — 28, а в 24-й — 55. Все они были уничтожены еще до капитуляции под Сталинградом 2 февраля 1943 года.