1 октября 1988 года Крючков ушел из разведки на повышение, став председателем КГБ. Вопрос о его преемнике решался долго. Несколько месяцев обязанности руководителя Первого Главного управления исполнял Вадим Алексеевичем Кирпиченко. В иной ситуации он бы и возглавил разведку. Но генералу Кирпиченко уже исполнилось шестьдесят шесть лет. Горбачев же требовал выдвигать молодых.
У Крючкова был очевидный фаворит — еще один заместитель начальника разведки Виктор Федорович Грушко. Ему еще не было шестидесяти. Но, видимо, эта кандидатура не прошла. В январе 1989 года Крючков передал Шебаршину свой кабинет в Ясенево и всю советскую разведку. 24 января Леонида Владимировича принял генеральный секретарь Горбачев с кратким напутствием.
В пятьдесят три года Шебаршин оказался во главе огромной разведывательной империи. Численность Первого Главного управления в те годы, по некоторым данным, составляла почти двенадцать тысяч человек. Каждый год на первый курс Краснознаменного института имени Ю.В. Андропова принимали триста будущих разведчиков.
Достаточно молодой для своей высокой должности (на шесть лет моложе Примакова), он мог еще долго оставаться на своем посту. Участия в августовском путче 1991 года Шебаршин не принимал. Председатель КГБ Крючков таланты Шебаршина ценил, но у него были люди и поближе — их он и втянул в путч.
Шебаршин после ареста Крючкова ровно одни сутки — с полудня 22 августа до двух часов дня 23 августа 1991 года — возглавлял КГБ. Произошло это так. 22 августа в девять утра в кабинете начальника Первого Главного управления и заместителя председателя КГБ генерал-лейтенанта Леонида Владимировича Шебаршина зазвонил аппарат спецкоммутатора, связывающего высшее начальство страны.
Начальник разведки уже был на работе. Он предполагал, что участие руководства КГБ в путче не пройдет безнаказанным. Открыв сейф, просматривал документы, решая, что можно сохранить, а что следует уничтожить. Одну бумагу, никому не доверяя, разорвал и спустил в унитаз личного туалета.
— С вами говорят из приемной Горбачева, — сказал женский голос. — Михаил Сергеевич просит вас быть в приемной в двенадцать часов.
— А где это? — поинтересовался Шебаршин.
— Третий этаж здания Совета министров в Кремле. Ореховая комната.
В ореховой комнате, где когда-то заседало политбюро, собралось множество людей. Появился загорелый и энергичный Горбачев. Шебаршин представился президенту. Михаил Сергеевич вывел Шебаршина в соседнюю комнату, чтобы поговорить один на один, и задал несколько вопросов:
— Чего добивался Крючков? Какие указание давались комитету? Знал ли Грушко?
Шебаршин коротко пересказал, что говорил Крючков на совещании 19 августа.
— Вот подлец, — не сдержался Горбачев. — Я больше всех ему верил. Ему и Язову. Вы же это знаете.
Горбачев сказал, что поручает Шебаршину временно исполнять обязанности председателя КГБ. В три часа дня позвонил и сказал, что подписал соответствующий указ. Возможно, генерал Шебаршин и мечтал когда-нибудь занять главный кабинет на Лубянке, но вовсе не при таких обстоятельствах, когда судьба КГБ была под вопросом. Шебаршин внес свой вклад в историю комитета — подписал приказ о департизации КГБ. Парткомы в комитете госбезопасности прекратили свою деятельность.
Из чужого кабинета на пятом этаже старого здания КГБ исполняющий обязанности председателя комитета поздно вечером бессильно наблюдал за тем, как снимают памятник создателю советских органов госбезопасности Феликсу Эдмундовичу Дзержинскому. Никто из чекистов, укрывшихся за железными воротами, не посмел защитить основателя органов государственной безопасности, хранить верность которому клялись до последней капли крови.
В пятницу, 23 августа утром, Шебаршин засел в бывшем кабинете Крючкова. Он приказал вильнюсским чекистам, которых активисты литовского Народного фронта блокировали в райотделах, не применять оружия. Выпустил из Лефортовского следственного изолятора лидера Демократического союза Валерию Ильиничну Новодворскую. Приказал личному составу центрального аппарата покинуть здание, оперативную картотеку вывезти за город. Больше он ничего сделать не успел.
В разгар совещания, которое проводил Шебаршин с руководящим составом комитета, позвонил Горбачев:
— Появитесь у меня через полчаса!
К двум часам Шебаршин приехал в Кремль. Горбачев совещался с руководителями союзных республик. Шло заседание Государственного совета. Вызвали Шебаршина.