Утром 20 августа состоялось совещание начальников всех управлений КГБ, которое возглавлял генерал-полковник Г. Е. Агеев, заместитель председателя КГБ СССР. На совещании прозвучал приказ вместе с частями Советской армии, КГБ СССР и МВД СССР осуществить штурм здания российского парламента (Белого дома) и интернировать правительство России и Президента России в специально оборудованные точки под Москвой. Командиру «Альфы» были также приданы все остальные спецподразделения КГБ и МВД (в том числе группа «Вымпел») и силы МВД СССР (московский ОМОН и дивизия ОМСДОН). Все приказы были отданы устно, следующий сбор должен был пройти в 14 часов в Министерстве обороны. Военные, выполняя распоряжение руководства, осуществляли предварительно рекогносцировку вокруг Белого дома, который планировалось обстрелять для устрашения с воздуха, а затем пойти на штурм; десантников планировали разместить в районе американского посольства, МВД — на Кутузовском проспекте, а «Альфа» — на набережной. МВД должен был оттеснить людей от Белого дома, а «Альфа» взяла бы его штурмом, однако взять его без больших человеческих жертв среди гражданского населения было на практике невозможно, и был риск того, что силовики могли предстать перед судом за выполнение преступного приказа. В итоге 20 августа на совещании между 14:00 и 15:00 Карпухин заявил, что участвовать в штурме не будет; аналогично отказался выполнять приказ и генерал армии П. С. Грачёв. Все старшие офицеры группы «А» объявили о своём отказе выполнять распоряжение за два часа до времени, когда должен был начаться штурм.
Преобразование структуры: Отказ Карпухина от штурма Белого дома привёл к тому, что после провала ГКЧП и. о. председателя КГБ СССР генерал-лейтенант Л. В. Шебаршин снял Карпухина с должности командира группы «А», назначив вместо него Головатова; попытки Карпухина добиться отмены решения успехом не увенчались, несмотря на личную беседу с новым председателем В. В. Бакатиным. Ельцин, несмотря на выраженную бойцам благодарность за то, что они отказались от выполнения приказа ради сохранения жизней гражданских, даже собирался расформировать группу: 21 декабря 1991 года в газете «Правда» появился отчёт с пресс-конференции о создании единого Министерства безопасности и внутренних дел, в котором утверждалось, что группа «А» прекращает своё существование; пресса же не стеснялась оскорблять «Альфу», называя её «головорезами Крючкова» и припоминая ей гибель гражданских лиц в Вильнюсе, инкриминированную «альфовцам», и попытку ареста Ельцина. Тем не менее, Ельцин не расформировал команду, а ограничился её передислокацией в Кремль.
Зайцев и Карпухин пытались с самого начала добиться закрепления юридического статуса за «Альфой», и даже существовало положение о группе антитеррора, утвержденное Президентом России; однако многие политики настолько широко трактовали обязанности группы, что она могла стать инструментом в политических играх. В 1992 году «Альфа» и «Вымпел» были введены в состав Главного управления охраны Российской Федерации, созданного на базе Девятого главного управления КГБ СССР, но в 1993 году были выведены из его состава и переданы в ведомство МВД РФ. Летом 1996 года группа «А» вошла в состав Антитеррористического центра ФСБ России. В июне 1997 года Управление «А» было передано в подчинение Департаменту по защите конституционного строя и борьбе с терроризмом ФСБ России. 8 октября 1998 года группа «А» по инициативе занимавшего тогда пост директора ФСБ В. В. Путина вошла в состав Центра специального назначения Федеральной службы безопасности Российской Федерации на правах одного из четырёх оперативно-боевых управлений. Процесс объединения завершился к 2000 году. По словам генерала Владимира Козлова от 1999 года, помещения территории управления «Альфа» не показывались ни на одной съёмке, объясняя это их ужасным состояние.
Северный Кавказ. События октября 1993 года: После распада СССР группа «А» не только продолжила борьбу против террористов-одиночек и против организованной преступности, но и стала заниматься операциями против чеченских сепаратистов на Северном Кавказе. Оперативники группы участвовали в операциях против банд, куда входили бывшие военнослужащие спецназа Вооружённых сил СССР и внутренних войск, а также боксёры, тяжелоатлеты и культуристы. МВД Российской Федерации обращалось к группе «А» в тех ситуациях, когда силами обычной милиции было невозможно справиться с подобными бандами. Также в 1990-е годы группа участвовала в обеспечении безопасности во время визита Патриарха Московского и Всея Руси Алексия II во время его поездок в Прибалтику, на Западную Украину и на юг России. Из первых примеров участия в борьбе против террористов уже в новой России выделяется следующий. В ночь с 7 на 8 декабря 1992 года самолёт Ил-86 с 347 пассажирами на борту, следовавший рейсом Минеральные Воды — Москва, был захвачен 44-летним жителем Ярославля по фамилии Захарьев. Он требовал организовать встречу с Борисом Ельциным или Александром Руцким, угрожая взорвать самолёт. Самолёт сел в 1:39 по расписанию в аэропорту Внуково, и прибывшие на место оперативники группы «А» задержали захватившего самолёт человека: пострадавших не было, взрывчатку не обнаружили. Как потом выяснилось, некоторое время назад под колёсами поезда погиб 13-летний сын Захарьева, но уголовное дело в ярославской прокуратуре не возбудили, постановив, что имел место несчастный случай; отчаявшийся Захарьев решил привлечь к себе внимание таким образом.