Заверения Хрущева опровергли последующие события. С марта 1954 по февраль 1956 года из органов КГБ было уволено 16 тысяч сотрудников «как не внушающих политического доверия, злостных нарушителей социалистической законности, карьеристов, морально неустойчивых, а также малограмотных и отсталых работников». Так докладывал Серов в ЦК КПСС. Сам Серов не оставлял впечатления солидного руководителя с широким политическим кругозором.
В декабре 1958 года Серов был освобожден от обязанностей председателя КГБ и назначен начальником Главного разведывательного управления Генерального штаба Вооруженных сил СССР (ГРУ). Работая в военной разведке, он в начале 1963 года пережил серьезные неприятности, потерпев фиаско в связи с делом разоблаченного органами безопасности англо-американского шпиона Пеньковского. Серов после увольнения Пеньковского из ГРУ не только вторично взял его на работу, но и приблизил к себе, давая ему отдельные личные поручения, в том числе и за границей. «За потерю политической бдительности и недостойные поступки» Серова сняли с должности руководителя ГРУ, разжаловали в генерал-майора и лишили звания Героя Советского Союза.
После ухода в 1958 году Серова управление Комитетом госбезопасности около десяти лет оставалось в руках бывших лидеров комсомола А.Н. Шелепина и В.Е. Семичастного. Они привели с собой руководящих комсомольских работников, поставив их во главе крупных периферийных органов, в частности Ленинградского, Ростовского и других управлений КГБ.
Следуя путем хрущевских реформ, Шелепин провел крупные мероприятия, направленные на упрощение структуры центрального аппарата, сокращение численности органов и войск КГБ, освобождение органов безопасности от несвойственных им функций. Мероприятия, в частности, включали в себя ликвидацию тюремного отдела и сокращение тюрем КГБ. В 1960 году отдельные подразделения КГБ, в их числе и 3-й главк (военная контрразведка), были понижены в статусе и стали именоваться просто управлениями. Шелепин ввел в практику включение в состав коллегии Комитета руководителей крупных периферийных органов — Украины и Ленинграда.
Как бы подводя итоги проделанного. Шелепин в своем выступлении на XXII съезде КПСС сказал: «…Органы государственной безопасности — это уже не пугало, каким их пытались, сделать в недалеком прошлом враги — Берия и его подручные, а подлинно народные политические органы нашей партии в прямом смысле этого слова… Теперь чекисты могут с чистой совестью смотреть в глаза партии, в глаза советского народа».
После съезда партии в 1961 году Шелепина сменил его друг и соратник по комсомолу Семичастный. В октябре 1964 года он принял участие в отстранении Хрущева от власти, поддержав Брежнева и его сторонников. Верная служба не гарантировала Семичастному спокойную жизнь. В мае 1967 года Политбюро посчитало нужным освободить его от обязанностей председателя КГБ и направить работать на периферию. Если Шелепин категорически отказался от присвоения ему воинского звания, то Семичастный звание генерал-полковника получил в ноябре 1964 года, хотя ни одного дня в армии не служил.
В жизни КГБ важным событием явилось утверждение Президиумом ЦК 9 января 1959 года совершенно секретного документа — «Положения о КГБ при СМ СССР». Комитет более 30 лет строил свою работу, опираясь на принципы и задачи, изложенные в Положениях. В мае 1991 года Положения сменил Закон СССР об органах государственной безопасности.
В Положениях говорилось, что КГБ является политическим органом и работает «под непосредственным руководством и контролем Центрального Комитета КПСС». Он призван «бдительно следить за тайными происками врагов советской страны, разоблачать их замыслы, пресекать преступную деятельность империалистических разведок против Советского государства». О конкретных функциях военной контрразведки в пункте «г» Положений было записано, что «контрразведывательная работа в Советской Армии, Военно-Морском Флоте, ГВФ (гражданской авиации), в пограничных войсках МВД ведется с целью предупреждения проникновения в их ряды агентуры иностранных разведок и иных враждебных элементов».
В последние годы, если рассматривать положение дел в делом, применение органами государственной безопасности мер принуждения постепенно сужалось. С середины 50-х годов в деятельности органов начали утверждаться, а затем получили приоритет предупредительно-профилактические меры. Вопрос стоял так: важно не только уметь разыскать преступника, совершившего свое грязное дело, но главное — предотвратить преступление, выявить и устранить причины, его породившие. Такой подход позволял уберечь советских граждан от ошибочных поступков или действий, могущих привести к совершению государственных преступлений. Став на путь предупредительно-профилактической работы, улучшая формы и методы, чекисты сделали, на мой взгляд, важный шаг на пути либерализации деятельности органов.