Двадцать пятого июня Инспекция при председателе КГБ была упразднена, вместо нее была образована Группа по изучению и обобщению опыта работы органов госбезопасности и данных о противнике. Группу эту, штат которой составлял десять человек, возглавил генерал-майор Т. Н. Бескровный.
В целом данное решение позволило повысить уровень разрабатываемых разведывательных и контрразведывательных операций и оперативных мероприятий.
Было реорганизовано управление, осуществлявшее охрану руководства страны (Десятое управление, или Управление коменданта Московского Кремля, объединили с Девятым управлением КГБ), а также образовано Оперативно-техническое управление (ОТУ) КГБ.
Следующая крупная реорганизация органов госбезопасности была произведена в соответствии с Постановлением Совета министров СССР от 5 февраля 1960 года «О внесении изменений в структуру КГБ при Совете министров СССР и его органов на местах и сокращении их штатной численности». Тогда были ликвидированы Четвертое, Пятое и Шестое управления, а их функции и штаты переданы во Второе Главное управление КГБ.
Второе Главное управление (а фактически — всю контрразведку страны) с момента образования КГБ и до его упразднения в октябре 1991 года последовательно возглавляли: П. В. Федотов (1954–1956), О. М. Грибанов (1956–1964), С. Г. Банников (1964–1966), Г. К. Цинёв (1967–1970), Г. Ф. Григоренко (1970–1983), И. А. Маркелов (1983–1989), В.Ф. Грушко (1989–1991), Г.Ф. Титов (1991).
Соответственно, в 1954–1991 годах военную контрразведку — Третье Главное управление КГБ СССР — возглавляли: Д. С. Леонов (1954–1959), А. М. Гуськов (1959–1963), И. А. Фадейкин (1963–1966), Г. К. Цинёв (1966–1967), В. В. Федорчук (1967–1970), И. Л. Устинов (1970–1973), Н. А. Душин (1974–1987), В. С. Сергеев (1987–1990), А. В. Жардецкий (1990–1991).
На время нахождения Шелепина на посту председателя КГБ СССР приходится побег 12 августа 1961 года, буквально за сутки до возведения знаменитой Берлинской стены, спецагента Богдана Сташинского. Ранее, в 1957 и 1959 годах, Сташинский ликвидировал в ФРГ руководителей Организации украинских националистов (ОУН) Льва Ребета и Степана Бандеру. Ликвидация Бандеры 15 октября 1959 года стала последней подобного рода акцией советских спецслужб. За упомянутые акции Сташинский был награжден орденом Красного Знамени, который ему вручил лично председатель КГБ Шелепин. Однако вскоре Сташинский добровольно сдался полиции ФРГ, был приговорен к восьми годам тюрьмы, но впоследствии, уже в 1966 году, тайно освобожден, ввиду активного сотрудничества с западногерманской контрразведкой.
На открытом суде над Сташинским организатором убийств Ребета и Бандеры был признан А. Н. Шелепин. Это стало причиной массовых антисоветских демонстраций во время его официального визита в Лондон в 1975 году и поводом для последующей отставки с должности председателя ВЦСПС и выведения из состава членов Политбюро ЦК КПСС.
Конечно, каждое разоблачение советских разведчиков на Западе порождало шумные пропагандистские кампании, в том числе связанные с высылкой представителей посольств СССР.
Однако бывали на Западе и шпионские скандалы иного рода. Так, например, сотрудник британской службы безопасности Питер Райт заявил, что «советским шпионом» являлся начальник всемирно известной Сикрет интеллидженс сервис (СИС) Роджер Холлис, возглавлявший МИ-5 с 1956 по 1965 год.
Как отмечал весьма информированный перебежчик, бывший сотрудник КГБ Олег Гордиевский, заместитель директора ЦРУ Джеймс Энглтон подозревал «в работе на Советы» начальника отдела социалистических стран Дэвида Мэрфи.
В конце 1970-х годов в Моссаде обвинили в сотрудничестве с КГБ Нехемию Леванона, более тридцати лет возглавлявшего «Русский отдел» МИД Израиля и курировавшего все операции спецслужб этой страны на территории СССР.
В то же время за рубежом работало немало разведчиков, обеспечивавших СССР секретной информацией о планах, намерениях и действиях США и разведывательных служб других империалистических государств.
Например, тот же Гордиевский свидетельствовал, что уже в 1960 году в созданном за шесть лет до этого Агентстве национальной безопасности (АНБ) США работали четыре агента КГБ.
Шестого сентября 1960 года в Доме журналистов в Москве сотрудники Агентства национальной безопасности Бернон Митчелл и Уильям Мартин провели открытую пресс-конференцию. Именно тогда мир впервые узнал как о существовании, структуре и задачах сверхсекретного АНБ (об этом до сих пор не было известно широкой общественности даже в самих США), так и о том, что оно вело шпионаж, в том числе за странами, считавшимися стратегическими союзниками Америки. Так что, если вспомнить подобные разоблачения Эдварда Сноудена в 2013 году, становится понятным: в спецслужбах США мало что изменилось по сравнению с эпохой холодной войны.