В результате его солдаты несли ужасные потери под ударами кавалерии англичан. Эта кровавая бойня длилась около двух часов, с четырех до шести пополудни. В конце концов, получив подкрепление из последнего оставшегося у французов резерва и при поддержке пехоты, Ней все-таки в 6.30 завладел Ля-Эй-Сен, охранявший ее ганноверский гарнизон отступил, поскольку у солдат кончились патроны.
Потеря Ля-Эй-Сен опасно обнажила участок центральных позиций Веллингтона, и вскоре французская артиллерия в упор обрушила на его ряды ливень шрапнели. Наполеон ухмылялся, повторяя раз за разом «Они наши! Они у меня на крючке!» В этот момент вперед следовало послать свежие силы пехоты, но имевшиеся у императора войска заметно поредели в результате «страшнейшей мясорубки», как назвал ее Ней, а все резервы в это время были брошены на сдерживание пруссаков. Пехота начинала постепенно отступать под натиском противника.
Правда, французам удалось отбить атаку пруссаков у Папелота и тем самым обезопасить Наполеону правый фланг.
Император тем временем вывел двенадцать гвардейских батальонов к подножию занятого Веллингтоном хребта. И он, и его солдаты все еще свято верили, что победа будет за ними. Наполеон построил 4 тысячи гренадеров и кавалерию средней гвардии в пять колонн, по шестьдесят человек в каждой, и послал их вверх по склону, полагая, что это станет первой волной окончательного прорыва. До этого любая атака гвардии неизменно оказывалась прелюдией к славной победе. Каждую из колонн возглавлял конный генерал, а впереди всех гарцевал Ней. На самом же деле они надвигались не совсем по центру, а отклонились влево, и таким образом оказались в пределах досягаемости для английской артиллерии у Гугумона. Гвардейцев встретили смертельный ружейный огонь, обрушившийся на них с холма, и артиллерийские залпы как с фланга, так и прямо в лицо. Гвардейцы все же поднялись на холм, а затем остановились. В считанные минуты они обратились в бегство под испуганные выкрики французов «Гвардия отступает!» Такого французская армия еще не знала.
В это же самое время 30 тысяч пруссаков накатывались на правый фланг Наполеона. Боясь оказаться отрезанными, французская кавалерия и пехота, дрогнув, тоже начали отступление, а английская кавалерия своими действиями только способствовала этому. Неожиданно отступление превратилось в бегство. Императорская армия рассыпалась прямо на глазах, а неприятель, преследуя по пятам, кромсал на куски уцелевшие ее остатки. Битва, которая предвещала победу, обернулась поражением. Император не мог поверить собственным глазам.
Впервые за свою жизнь Наполеон познал полный разгром. Он обнажил шпагу, словно готовясь умереть, сражаясь в бою. К нему подскакал Жером с лицом, черным от порохового дыма, в висящей клочьями форме и с рукой на перевязи, и прокричал: «Брат, я узнал тебя слишком поздно!» (Несколько дней спустя новеллистка Фэнни Берни взволнованно сообщала из Брюсселя, что, по слухам, «малыш Джерри» убит). Два полка старой гвардии, лишенные амуниции, все ещё твердо стояли под командованием Камбронна, и Жером остался вместе с ними, дожидаясь атаки лорда Аксбриджа, чтобы затем покинуть бесславное поле. Тем временем офицеры штаба затолкнули Наполеона в ландо, и он, обливаясь слезами, бросился в бегство. Когда же преследующие его прусские уланы почти догнали его, Наполеон пересел на лошадь. Остатки сил Камброна прикрывали его отступление, пока все они не полегли под вражескими пулями. Император поддался на уговоры и принял решение вернуться в столицу, хотя и понимал, что это могло оказаться фатальной ошибкой. «Прекрасно, — произнес он. — Я поеду в Париж, хотя убежден, что вы заставляете меня совершить глупость».
Когда Жозеф 20 июня получил известие о катастрофе, он созвал Совет министров «во имя спасения Франции и империи». Этот шаг позволил Фуше организовать оппозицию еще до того, как выбившийся из сил и заляпанный грязью Наполеон рано утром следующего дня объявился в Елисейском дворце. Сначала, вдохновленный Люсьеном, Лазаром Карно и кое-кем из маршалов, он надеялся продолжить борьбу. Во время преследования в рядах союзников начался разброд, после того как, неожиданно для себя, они получили у Парижа отпор от Даву. Жозеф сказал Совету, что повода для отчаяния нет. Люсьен обратился с речью к Верхней палате, блеснув при этом своим былым красноречием. Взывая к чести своей аудитории, он увлеченно доказывал, что вовсе ничего не потеряно. Затем со своего места вскочил Лафайет и произнес единственно разумную речь за всю свою долгую карьеру: