Операція тривала з 12 до 31 травня. Упродовж перших декількох днів радянське північне угруповання «прогризло» оборону німців на декілька кілометрів, 13 травня в цілому здолавши головну німецьку смугу оборони і вийшовши до висот навколо Харкова зі сходу. Потім контрудар 3-ї і 23-ї німецьких танкових дивізій змусив війська Д. Рябишева і К. Москаленка перейти до оборони, і наступ забуксував. Спробами прорвати німецьку оборону по річці Харків радянські генерали вкрай знекровили свої війська, але обійти Харків або увірватися в місто не змогли, а після катастрофи південного угруповання були змушені просто відійти на колишні (до 12 травня) позиції.
Спочатку дуже успішно наступало і південне радянське угруповання – 6 дивізій за підтримки 200 танків і 14 полків РГК до полудня 12 травня зламало опір двох німецьких піхотних дивізій і угорської бригади. У другій половині дня на Красноградському напрямі ввели в прорив 6-й кавкорпус з наданою йому танковою бригадою. До вечора війська А. Городнянського і Л. Бобкіна на 40-кілометровій ділянці вклинилися вглиб німецької оборони на 12–15 км, досягнувши другого оборонного рубежу, створеного на високому західному березі річки Орель. Німці кинули сюди все, що було напохваті, у тому числі трофейні команди і будівельні підрозділи, а генерал А. Городнянський почав висувати в бій дві дивізії другого ешелону. Відзначимо, що радянські танкові корпуси залишалися на місці, хоча перебували вже за 35 км від лінії фронту. Просуванню радянських військ сприяла практично повна відсутність у супротивника авіації. Річ у тому, що основні сили німецького 4-го повітряного флоту були задіяні в цей час набагато південніше, допомагаючи Е. фон Манштейну громити радянський Кримський фронт. Тому радянська авіація працювала фактично в умовах чистого неба. Аналізуючи підсумки першого дня боїв, С. Тимошенко і його штаб дійшли висновку, що в цілому наступ розвивається за планом.
Ф. Паулюс, оцінивши обстановку, почав перегрупування своїх сил. На південну ділянку він направив один піхотний полк 113-ї дивізії, одночасно з Харкова проти 38-ї армії почали висуватися 3-тя і 23-тя танкові дивізії і три полки піхоти. З Криму під Харків почалося перекидання ескадр 4-го повітряного флоту. 13 травня радянський наступ тривав. На південній ділянці фронт прориву був розширений до 55 км, а глибина досягла 25–50 км. Опір супротивника тут помітно послабився, створилися сприятливі умови для введення в бій рухомої групи. Стрімкий і потужний удар двох танкових корпусів (21-го і 23-го, близько 300 машин різних типів) міг виявитися дуже ефективним. Проте командування Південно-Західного фронту вирішило притримати корпуси в резерві і ввести їх у прорив із виходом стрілецьких дивізій на рубіж річки Берестова, до якої треба було ще пройти з боями 15 км. Тим часом німецьке командування швидко перекинуло під Харків 4-й повітряний корпус К. Пфлюгбайля, а також декілька свіжих піхотних полків і дивізій. Начальник генштабу вермахту Ф. Гальдер (і поінформований ним фюрер) побачили в подіях під Харковом прекрасну можливість провести операцію на оточення супротивника із залученням 1-ї танкової групи фон Клейста, яку радянські воєначальники вважали чи не розгромленою взимку 1941–1942 рр. (у будь-якому разі, на думку С. Тимошенка і Т. Баграмяна, на небезпеку з півдня мали зреагувати армії Південного фронту Р. Малиновського).
Але армії Південного фронту, що мали головним завданням стримувати німців на південь від Ізюма і Слов’янська, затіяли свою операцію із заволодіння важливим пунктом німецької оборони – селом Маяки і зазнали в цій операції чималих втрат, встигнувши використати велику частину своїх резервів. У результаті початок контрудару нечисленних танкових частин фон Клейста 17 травня вони проґавили. Бомбові удари люфтваффе і успішні дії винищувачів довершували сценарій катастрофи, що вже насувалася. Саме 17–18 травня було ще не пізно припинити радянський наступ на південь від Харкова і почати спішний вихід з майже зав’язаного «мішка». Провину за те, що такого наказу не було віддано, М. Хрущов згодом заднім числом покладав на Й. Сталіна, але саме М. Хрущов і С. Тимошенко в телефонній розмові з Москвою 18 травня переконали вождя не припиняти наступ.
Тим часом удосвіта 17 травня після півторагодинної артпідготовки німці перейшли в наступ на стику радянських 9-ї армії і 57-ї армій на двох напрямах: з району Петрівки – на Барвінкове і з боку Слов’янська. Вже до 8-ї години ранку радянську оборону прорвали на обох напрямах на глибину 6–8 км. Більше того, частина Південного фронту сама виявилася відрізаною і в результаті потрапила в оточення. Найбільше вражає те, що, вже перебуваючи майже в оточенні, ударні армії Південно-Західного фронту продовжували наступ, щогодини погіршуючи своє становище. 21 травня Паулюс перекинув 3-тю і 23-тю танкові дивізії на північний фас «мішка». Наступного дня вони форсували Сіверський Донець і почали рух на південь, з’єднавшись за 10 км південніше від Балаклеї з танками фон Клейста і перерізавши останні комунікації, що зв’язували війська 6-ї і 57-ї армій з тилом. В оточенні опинилося більш ніж чверть мільйона радянських солдатів і офіцерів. 28 травня С. Тимошенко наказав припнити наступ, але було вже надто пізно – почалася агонія оточених радянських армій. На 26 травня вони були затиснуті на невеликому клаптику під Барвінковим. Спроби деблокувати їх ззовні з одночасним проривом зсередини по суті провалилися. До 29 травня радянські з’єднання вели боротьбу в оточенні при повному пануванні супротивника в повітрі, нестачі пального, боєприпасів і продовольства. У боях загинули генерали Ф. Костенко, К. Подлас, А. Анісов, А. Городнянський, Л. Бобкин, З. Кутлін та інші. З оточення на східний берег Дінця вийшли 6 танків і близько 22 тис. осіб (розрізненими групами).