В процессе работы комиссий по пересмотру архивных следственных дел по контрреволюционным преступлениям также вскрывались факты нарушений законности, применения недопустимых методов ведения следствия и необоснованного привлечения обвиняемых к уголовной ответственности. И эти факты не оставались без должной правовой оценки работниками прокуратуры. По обстоятельствам, вскрывавшимся в процессе пересмотра уголовных дел в 1954–1957 годах, а также по результатам следствия в отношении высокопоставленных работников органов госбезопасности, началось выявление и привлечение к ответственности лиц, виновных в нарушениях социалистической законности.
Как позднее подчеркивал, выступая на сессии Верховного Совета СССР в июле 1989 года, последний председатель КГБ СССР В. А. Крючков, только в 1954–1957 годах за грубые нарушения законности, приведшие к необоснованным репрессиям, к уголовной ответственности были привлечены 1342 сотрудника НКВД — МГБ, причем некоторые из них были приговорены к высшей мере наказания (расстрелу), в том числе и ряд бывших руководителей органов НКВД — МГБ, как в Центре, так и на местах. Еще 2370 человек понесли наказания в партийном и административном порядке (были уволены из органов КГБ, исключены из КПСС, лишены пенсий, воинских званий).
В соответствии с Постановлением ЦК КПСС «О мерах по дальнейшему укреплению социалистической законности и усилению прокурорского надзора» от 19 января 1955 года было разработано «Положение о прокурорском надзоре в СССР», утвержденное Указом Президиума Верховного Совета СССР от 24 мая 1955 года. Для осуществления надзора за следствием в органах КГБ при прокуратуре СССР был создан специальный отдел.
В конце 1955 года в ЦК КПСС для оценки деятельности органов НКВД — НКГБ — МГБ — МВД СССР в 1930-1950-е годы, в связи с выявленными в ходе проделанной работы обстоятельствами, включая нарушения законности сотрудниками органов безопасности, была образована специальная комиссия во главе с секретарями ЦК КПСС П. Н. Поспеловым и А. Б. Арестовым.
Результаты работы этой комиссии, ее выводы и оценки легли в основу доклада Президиуму ЦК КПСС, на основе которого и был подготовлен известный доклад Н. С. Хрущёва делегатам XX съезда партии «О культе личности И. В. Сталина и его последствиях». В подготовке данного документа, помимо самого Первого секретаря ЦК КПСС, принимали участие также секретари ЦК А. Б. Арестов и Д. Т. Шепилов.
Однако за этими важными событиями политической жизни СССР нельзя было забывать и о прямом предназначении органов государственной безопасности — борьбе с разведывательно-подрывной деятельностью зарубежных спецслужб и действовавших под их непосредственным руководством многочисленных антисоветских эмигрантских организаций.
С начала 1950-х годов, вследствие официально принятой администрацией Дуайта Эйзенхауэра «Доктриной освобождения», роль и значение разведки в реализации внешней политики США последовательно возрастали, что не могло не сказаться на масштабах и интенсивности ее деятельности в отношении СССР. Разумеется, все это неизбежно влияло на деятельность советских органов безопасности.
Произошедшая в марте 1954 года широкомасштабная реорганизация данной структуры, однако, не повлияла на эффективность повседневной оперативной работы чекистов.
Так, например, уже 11 мая 1954 года на территории Эстонской ССР были задержаны сброшенные на парашютах с целью создания нелегальной резидентуры агенты ЦРУ Тоомма и Кукк, а на территории Латвии был арестован десантировавшийся с того же самолета бывший преподаватель американской разведшколы в городе Кемптен (ФРГ) Бромберге (оперативный псевдоним Энди).
Чуть позже, в ходе завязавшейся после ареста этих агентов оперативной игры, у берегов Литвы был захвачен быстроходный катер, доставивший очередную партию военного груза для «лесных братьев» — так назывались отдельные бандитско-повстанческие группы националистического подполья, которые продолжали действовать на территории Прибалтики до конца 1950-х годов.
А 23 мая 1954 года на Украине был задержан последний «главнокомандующий» Украинской повстанческой армией Василий Кук, что явилось завершением одной из масштабных операций по ликвидации националистического подполья на Украине.
К числу важнейших событий в период пребывания И. А. Серова на посту председателя КГБ относится также гибель, в результате взрыва 29 октября 1955 года в бухте Севастополя, флагмана Черноморского флота линкора «Новороссийск» (полученного по репарации от Италии бывшего итальянского линкора «Джулио Цезаре», что породило версию о возможной диверсионной акции иностранных спецслужб). Тайна гибели «Новороссийска», унесшей жизни более шестисот членов его экипажа, не раскрыта и по сей день.