Однако попытка мирного переворота у Крючкова сорвалась. Люди, уже почувствовавшие вкус перестройки и гласности, не хотели поворачивать время вспять. У председателя КГБ и его сообщников оставался только один выбор — сместить Горбачева силой до того, как в августе будет подписан договор.
20 июня 1991 года посол США в СССР Джек Мэтлок отправил в Белый Дом тревожное сообщение с грифом "совершенно секретно", копия была послана также госсекретарю Джеймсу Бейкеру, находившемуся в то время на экономическом саммите в Европе. Мэтлок писал, что несколько часов назад, во время встречи с мэром Москвы, сторонником реформ Гавриилом Поповым, тот незаметно передал ему записку, явно опасаясь прослушки КГБ. Попов предупреждал, что Крючков вместе с министром обороны Дмитрием Язовым и председателем Верховного Совета Анатолием Лукьяновым собирается при поддержке войск КГБ совершить государственный переворот, сместить Горбачева и захватить власть в советской империи. Мэр призывал США предупредить Бориса Ельцина, недавно избранного президента Российской Федерации, который на тот момент был в Вашингтоне на встрече с Джорджем Бушем Старшим. Кроме того, Попов просил Белый Дом связаться с Горбачевым, не сомневаясь, что КГБ помешает это сделать ему самому.
Президент Буш позвонил Бейкеру, и они договорились о плане действий. Буш должен был лично предупредить Ельцина. Бейкер поговорит с министром иностранных дел СССР Александром Бессмертных, принимавшим участие в той же конференции по экономике в Европе. Посол Мэтлок постарается связаться с Горбачевым в Москве. Они рассчитывали, что хотя бы один вариант окажется успешным и Горбачев узнает о готовящемся перевороте.
В своих мемуарах, вышедших в 1998 году, президент Буш вспоминал, что очень осторожно подбирал слова во время своей беседы с Ельциным в Вашингтоне. Буш знал, что Горбачев и Ельцин были политическими соперниками и опасался, что Ельцин решит, будто американцы подсовывают ему дезинформацию с целью дестабилизировать обстановку в Советском Союзе.
"Ельцин сразу отмел информацию о заговоре, — писал Буш в своей книге Трансформация Мира. — Он просто сказал, что этого не может быть". В то же время, Буш уговорил Ельцина связаться с Горбачевым прямо из Белого Дома. Однако операторы почему-то так и не смогли до того дозвониться.
Согласно записке Попова, переворот был запланирован КГБ на 21 июня. В этот день ничего не произошло, и предупреждение, переданное мэром Москвы послу Мэтлоку, сочли просто плодом его воображения.
Почти два месяца спустя, 18 августа, американская разведка обратила внимание на то, что вокруг черноморской дачи Горбачева, где он тогда отдыхал с семьей, происходит что-то необычное. В то время американские спутники-шпионы следили за всеми передвижениями Горбачева, и на снимках, сделанных Агентством Национальной Безопасности США (АНБ), было четко видно, что президентский лимузин так и не покинул территорию дачи, хотя должен был отвезти Горбачева на аэродром для запланированного полета в Москву, где через два дня, 20 августа, он должен был подписать Союзный Договор. Более того, на снимках АНБ было видно, что проезд с дачи на шоссе заблокирован колонной автомобилей, которых там раньше не было.
Утром следующего дня группа, именовавшая себя "Государственный комитет по чрезвычайному положению" (ГКЧП) сделала по московским теле- и радиостанциям заявление о том, что Горбачев "болен" и освобожден от занимаемой должности. Этот же комитет назначил вице-президента Геннадия Янаева исполняющим обязанности Горбачева. В ГКЧП входили: Крючков, Язов, Павлов, министр внутренних дел Борис Пуго и еще четыре человека. На Западе эту группу прозвали "Банда восьмерых".
После того как Горбачев был помещен под домашний арест, Крючков ввел в Москву спецвойска КГБ, чтобы подавить возможные волнения. Толпа протестующих собралась перед "Белым Домом" — зданием, отделанным белым мрамором, местом, где заседал Верховный Совет. Ельцин и его единомышленники-реформаторы находились внутри, окруженные танками КГБ, совещаясь, что делать дальше. В конце концов, в самый разгар этой драмы, Ельцин бесстрашно вышел из осажденного здания и, забравшись на башню одного из танков, обратился к толпе с призывом осудить "хунту". Его страстная речь была настолько убедительной, что военные, посланные разогнать демонстрантов, перешли на сторону народа, отказались стрелять по "Белому Дому" и развернули орудия, став на его защиту.
21 августа большинство войск КГБ, находящихся в Москве, уже были на стороне демонстрантов, Крючков потерпел крах, Горбачева освободили, а заговорщики оказались в тюрьме.