Конкурсный отбор личного состава для группы был очень жёстким: туда могли быть зачислены только люди, имевшие высокий уровень физической и профессиональной подготовки, годные для службы в Воздушно-десантных войсках, положительно себя зарекомендовавшие, а также честные, преданные своей Родине, психологически выносливые и добросовестные; также они должны были являться офицерами КГБ, имеющими московскую прописку. В связи с тем, что подобных отрядов и групп прежде не сформировывалось в связи с отсутствием прецедентов, которые создали бы необходимость в таковых подразделениях, формирование группы «А» осуществлялось исключительно на добровольной основе. Первая база нового отряда была размещена в борцовском зале на Новослободской улице в Москве. В отличие от зарубежных спецподразделений типа «Дельта», для пополнения личного состава «Альфы» руководство КГБ СССР не проводило массовый смотр потенциальных кандидатов, направляя своих представителей в те или иные уголки СССР, а разрешило принимать любых сотрудников КГБ при наличии у них московской прописки, но, прежде всего, полагалось на опыт комитетского отдела кадров и даже на личные знакомства последних с кандидатами. Савельев отмечал, что многие пришли в группу из службы наружного наблюдения при Седьмом управлении КГБ СССР («наружки»), где от сотрудников требовалось постоянно думать и анализировать ситуацию для принятия верного решения.
В связи с тем, что для подготовки и тренировок личного состава отряда не было возможности и смысла создавать новую базу, группу «А» передали в Седьмое управление КГБ СССР, где имелись соответствующие для этого условия. При создании группы «А» руководство КГБ СССР стремилось создать такую мощную базу для развития отряда, чтобы она не уступала как минимум главной базе GSG-9 под Бонном, на которой были созданы все необходимые условия для тренировок отряда. Помимо разработки своих программ, руководство также использовало некие наработки аналогичных кубинских служб безопасности.
Первые операции: На протяжении первых двух лет существования группы она несколько раз поднималась по тревоге: ей приходилось разгонять демонстрации студентов у посольств Эфиопии и Того, которые требовали повышения стипендий — оперативники после первых попыток переговоров затем сами входили в посольства и выводили протестующих, рассаживая их по автобусам. В 1976 году в Москве услуги «Альфы» понадобились при освобождении посла Гайаны, взятого в заложники группой студентов-соотечественников. Ещё два сотрудника в 1976–1977 годах несли службу в Ливане, обеспечивая личную безопасность советского посла, резидента КГБ и членов семей дипломатов. Первая серьёзная операция с участием группы «А» состоялась 18 декабря 1976 года, когда в Цюрих по указанию Ю. В. Андропова вылетел самолёт Ту-134, доставивший диссидента В. К. Буковского с матерью, сестрой и тяжело больным племянником. На борту находились четыре сотрудника группы «А» — заместитель командира группы «А» майор Р. П. Ивон и его подчинённые Н. В. Берлев, Д. А. Леденёв и С. Г. Коломеец По воспоминаниям Берлева, Буковский утверждал, что сопровождавшие его силовики обращались с ним вежливо.
В 1977 году численность группы была расширена с 30 до 56 человек, когда её командиром стал Г. Н. Зайцев. С июля по август 1978 года совместно с боевыми пловцами Черноморского флота ВМФ СССР оперативники группы «А» обеспечивали безопасность подводной части теплоходов «Грузия» и «Леонид Собинов», зафрахтованных для размещения на них делегатов XI Всемирного фестиваля молодёжи и студентов, который проходил в Гаване. Командир группы «А» Г. Н. Зайцев был ответственным за эту операцию. Однако, помимо этого, сотрудники группы «А» занимались также операциями по обезвреживанию угонщиков самолётов: в 1978 году было совершено минимум шесть попыток угона самолётов, в том числе один в Грозном (пассажир Махаев ранил бортмеханика, по приземлению в Махачкале застрелился) и один с посадкой в Пярну (некто Афонин, требовавший вылета в Швецию, был задержан оперативниками группы «А»), в 1979 году имели место попытки угона в Симферополе (учащийся Вяншас угрожал взрывом), Анадыре и Новокузнецке (оба угонщика были убиты).