К февралю 1951 года, когда милиция, пограничная служба и борьба с бандитизмом были переданы в МГБ, И.А. Серов стал заниматься в основном лагерной и хозяйственной сферами. В его обязанности входит курирование: Главного управления лагерей, Главного управления по делам военнопленных и интернированных, Главного управления военного снабжения, Тюремного управления, Хозяйственного управления, 1-го спецотдела, отдела контрразведки в МВД, отдела перевозок, автотранспортного отдела, юридической части МВД и Главного арбитража. В январе 1953 года ему дополнительно поручается курирование Главспецнефтестроя, особого дорожностроительного корпуса и отдела ведомственной охраны. Помимо постоянных бывали и разовые поручения: так, 10 марта 1952 года И.А. Серов был командирован на Волгодонстрой до ввода в действие канала. Руководя «армией» заключенных, он добился выполнения намеченного графика работ.
В марте 1953 года МВД и МГБ были объединены в одно министерство во главе с Л. Берией. Заместителями он выбрал Б. Кобулова, С. Круглова и И. Серова. Серов отвечал за работу 6-го управления МВД (контрразведка на транспорте, Главного управления милиции, Управления службы местной противовоздушной обороны, Главного управления пожарной охраны, отдела по контролю и инспектированию ВОХР и тюремного управления).
События июня 1953 года круто изменили судьбу И.А. Серова. Задумав отстранить от руководства и арестовать Л. Берию, Е. Маленков и Н. Хрущев заручились поддержкой верных людей в МВД. Маленков прекрасно знал Круглова еще по совместной работе в 1938 году в аппарате ЦК, его выдвинул на ответственную работу в НКВД. Хрущев, в свою очередь, мог положиться на Серова. Серов и Круглов без колебаний стали на сторону участников заговора против Берии. План удался. Ничего не подозревавший первый заместитель председателя Совета министров, член президиума ЦК КПСС и министр внутренних дел был арестован и обезоружен прямо на заседании президиума ЦК КПСС. После ареста Берии заседание президиума ЦК КПСС продолжилось, на нем Круглов был утвержден министром внутренних дел, а Серов — его первым заместителем. Теперь Серов по праву считался вторым человеком в МВД. По новому распределению обязанностей ему поручалось курирование 2-го главного управления (разведка), 3-го Управления (военная контрразведка), 6-го управления (контрразведка на транспорте), 7-го управления (оперативное), тюремного управления, специальных отделов — 1-го (архивно-учетный), 3-го (изготовление документов), 4-го (радиоконтрразведка), 5-го (изготовление средств оперативной техники), отдела «С» (спецсвязь и комендатуры МВД). Круг его обязанностей включал только руководство важнейшими подразделениями госбезопасности — это был серьезный шаг к назначению первым чекистом страны.
Указом Президиума Верховного Совета от 13 марта 1954 года был образован КГБ при СМ СССР, а его председателем назначен И.А. Серов. Согласно решению ЦК. на КГБ возлагалась главная задача: «В кратчайший срок ликвидировать последствия вражеской деятельности Берии в органах Государственной безопасности и добиться их превращения в острое оружие нашей партии, направленное против действительных врагов нашего социалистического государства, а не против честных людей».
В июне 1954 года И.А. Серов провел всесоюзное совещание руководящих работников КГБ, на котором разъяснил новые задачи «органов», их роль и место в обеспечении безопасности страны. На совещании выступил Первый секретарь ЦК КПСС Н. Хрущев. После его речи высказался Серов: «Вы убедились, насколько т. Хрущев глубоко знает нашу работу и насколько четко, предельно ясно дал указание по агентурнооперативной работе. Вот что значит человек громадного ума и большой практики. Ведь многие из вас работают по 10–15 лет, а иной раз скатываются на всякие глупости. Поэтому вы должны четко, ясно помнить все указания, которые были даны т. Хрущевым».
Выполняя решения руководства, И.А. Серов провел чистку аппарата госбезопасности, уволил и лишил званий сторонников Берии. В феврале 1956 года он доложил в ЦК КПСС об увольнении из КГБ за период с марта 1954 года 16 тысяч сотрудников, как не внушающих политического доверия, злостных нарушителей социалистической законности, морально неустойчивых, карьеристов. В справке к июньскому пленуму ЦК КПСС 1957 года Серов писал о том, что уволено 18 тысяч, в том числе более 2300 сотрудников — за нарушение советской законности, злоупотребление служебным положением и аморальные поступки. Кроме того, 40 бывших работников органов госбезопасности были лишены генеральских званий. Заменены почти все руководящие работники главных управлений, управлений и отделов центрального аппарата. На эти должности ЦК КПСС направил более 60 человек с руководящей партийной и советской работы. За проявленное усердие 8 августа 1955 года И.А. Серову было присвоено звание генерала армии.