Приказом № 0089 / ОВ от 29 июля 1974 года по инициативе Председателя КГБ СССР Юрия Андропова в 5-м отделе (охраны дипломатических представительств) 7 управления КГБ СССР при Совете Министров СССР было создано особое структурное подразделение, известное как "Группа "А"" (от слова "антитеррор").
В обязанности группы входило выполнение специальных заданий Председателя КГБ СССР по пресечению террористических, диверсионных и иных особо преступных акций. Первым командиром спецподразделения был назначен генерал-майор пограничных войск Виталий Бубенин, Герой Советского Союза и участник советско-китайских вооруженных столкновений на острове Даманский.
Решение о создании группы "А" было принято после совершённого в ночь с 5 на 6 сентября 1972 года на Олимпиаде в Мюнхене террористического акта, в ходе которого от рук палестинской террористической группировки "Черный сентябрь" погибли 11 членов олимпийской сборной Израиля, а также после попытки угона самолёта Як-40 террористами из аэропорта Внуково, которая состоялась почти за 4 недели до образования "Альфы" - 3 июля 1974 года.
Чтобы встретить во всеоружии предстоящие в 1980 году летние Олимпийские игры в Москве, возникла необходимость формирования специальных секретных сил, способных противостоять возможным террористическим угрозам и обеспечивать безопасность советских граждан (в том числе и высшего руководства) как на территории СССР, так и, в случае необходимости, за рубежом.