В то же время Серов явился одним из инициаторов массовых реабилитаций жертв необоснованных репрессий. Едва заступив на свой ответственный пост, он уже 19 марта 1954 года вместе с генеральным прокурором, министрами внутренних дел и юстиции направил в Президиум ЦК КПСС докладную записку о необходимости пересмотра дел осужденных за «контрреволюционные преступления».
Генерал-лейтенант Вадим Алексеевич Кирпиченко, являвшийся 17 лет заместителем, из них 12 лет — первым заместителем начальника внешней разведки, в своей книге «Разведка: лица и личности» писал о Серове:
«Во время многочисленных совещаний, заседаний и собраний актива Серов громил и разоблачал Берию и его окружение, то есть занимался привычным ему делом — все время надо было кого-то разоблачать, клеймить позором “врагов народа” и призывать к повышению классовой, революционной и чекистской бдительности. Одновременно выдвигались требования соблюдать законность и партийные нормы в работе.
Когда кампания по разоблачению Берии и чистке чекистских рядов от его единомышленников несколько утихла, Серов начал заниматься и делами разведки, которые находились в запущенном состоянии вследствие волюнтаристских действий Берии. Руководители отделов разведки стали получать какие-то осмысленные указания по работе, началось заново формирование резидентур, поиски сотрудников на роль резидентов».
Следует отметить, что Серов пользовался полным доверием Хрущева, сопровождал его в зарубежных поездках, принимал непосредственное участие в политической борьбе как на внутригосударственном уровне, так и на международной арене.
Так, Серов участвовал в венгерских событиях 1956 года. В Венгрию он прибыл в составе делегации, в которую входили члены Президиума ЦК: первый заместитель главы правительства Анастас Иванович Микоян и секретарь ЦК Михаил Андреевич Суслов. От внешней разведки в страну был направлен Александр Михайлович Коротков, с которым Серов в дальнейшем подружился.
Серов руководил оперативной работой органов КГБ в Венгрии. Он дал указание особым отделам дивизий, вступивших в Венгрию, арестовывать всех организаторов мятежа, оказывающих сопротивление Советской армии с оружием в руках, а также тех, кто подстрекал и разжигал ненависть народа к коммунистам и сотрудникам органов госбезопасности.
В июне 1957 года в Москве разгорелась борьба за власть между Хрущевым и его сторонниками, с одной стороны, и «старой гвардией» — с другой. 18 июня в ходе продолжавшегося четыре дня заседания Президиума ЦК КПСС по предложению Булганина, Молотова, Кагановича и Маленкова было принято решение об освобождении Хрущева от обязанностей первого секретаря ЦК КПСС. Но Хрущев не собирался подчиняться этому решению. Группе сторонников Хрущева из числа членов ЦК КПСС во главе с маршалом Жуковым удалось вмешаться в работу президиума и добиться перенесения этого вопроса на рассмотрение пленума ЦК КПСС, созываемого для этой цели 22 июня.
С помощью председателя КГБ Серова и министра обороны Жукова в Москву самолетами военно-транспортной авиации со всей страны срочно были доставлены члены ЦК, поддерживавшие Хрущева.
На июньском пленуме ЦК КПСС 1957 года сторонники Хрущева одержали убедительную победу над его противниками из числа членов Президиума ЦК. Последние были заклеймены как «антипартийная группа Молотова, Маленкова, Кагановича и примкнувшего к ним Шепилова» и выведены из состава ЦК (позже, в феврале 1962 года, они были исключены из партии).
Четыре месяца спустя, в октябре 1957 года, по инициативе Хрущева поддержавший его маршал Жуков был выведен из состава Президиума ЦК и освобожден от обязанностей министра обороны СССР.
27 марта 1958 года Никита Сергеевич Хрущев стал председателем Совета министров СССР.
С Серовым Сахаровскому пришлось работать с июня 1955-го по декабрь 1958 года. Будучи человеком резким, грубым и бестактным, а тем более пользовавшимся поддержкой Хрущева, Серов не особенно церемонился в общении даже с членами советского руководства Микояном, Шверником, Кириченко и другими, а тем более с подчиненными, к которым относился и Сахаровский. К этому следует добавить, что Серов поддерживал дружеские отношения с заместителем Сахаровского Коротковым. Безусловно, это накладывало «особое» отношение к его руководителю.