На одном из первых мест в повестке кремлевского руководство была реформа органов госбезопасности. Главной целью ее было обезопасить партийных олигархов и исключить возможность возвращения к массовому террору. МГБ был вновь разделен на два ведомства. Все функции охраны внутреннего порядка, милиция и ГУЛАГ отошли в Министерство внутренних дел (МВД). 8 февраля 1954 г. Президиум ЦК принял постановление об образовании Комитета государственной безопасности при Совете Министров СССР (КГБ). В ведении этой организации оказались все функции разведки и контрразведки, включая агентурную работу за границей, охрану партийных и государственных органов и высших советских руководителей. С 1957 г. в ведение КГБ перешли из МВД пограничные войска.
МВД и КГБ уже не были двумя карательными монстрами, конкурирующими между собой, чья грызня и взаимная слежка обеспечивала личную безопасность их хозяину – Сталину. Были упразднены «особые совещания» с их беззаконными приговорами, арестами и пытками. Сокращалась штатная численность оперативных управлений, отделов и отделений госбезопасности. Отделения МГБ (теперь КГБ) были упразднены в большинстве административных районов страны, за исключением Прибалтики, Западной Украины и военно-промышленных объектов. Штатный аппарат КГБ и МВД сократился на 20 %, или на 26 тысяч человек.
Из рядов КГБ было уволено около тысячи ветеранов террора. В 1954 г. были расстреляны Абакумов и Рюмин, а в 1956 г. были расстреляны следователь-садист Б. Родос и бериевский ставленник в Азербайджане М. Багиров, который, кстати, в последнем слове сказал, что он расстрелял действительно много людей в Азербайджане, «но не больше, чем Хрущёв на Украине». Организаторы политических покушений, включая убийство Троцкого (П. Судоплатов и Н. Эйтингон) оказались за решеткой. Была закрыта лаборатория, изготавливавшая специальные яды для террористических акций. Многих чекистов переводили с понижением жалованья в милицию или отправляли на пенсию без льгот. Первоначально кремлевское руководство «укрепляло» КГБ проверенными партийными кадрами, избегая набора туда молодых (свежа была память о том, как с помощью молодых чекистов Сталин уничтожал кадры старой партийной гвардии). Постепенно, однако, в КГБ была призвана по линии комсомола молодежь с высшим юридическим или инженерным образованием. Вместо костоломов и убийц 1930–1940-х гг. на Лубянке появились предупредительные и образованные бюрократы.