Через два месяца в Ленинград приехала комиссия из центрального аппарата КГБ инспектировать управление. При подведении итогов прибыл председатель КГБ И. А. Серов. Особое внимание, по мнению комиссии, нужно было уделить агентурной работе, особенно в ленинградском порту и на предприятиях оборонной промышленности. По завершении работы комиссия сделала некоторые выводы, в частности, что процесс восстановления работы органов госбезопасности в Ленинграде шел активно. Конечно, был выявлен и ряд недостатков, которые нужно было исправлять.
Как член бюро Ленинградского обкома партии я был занят и партийной работой. Приходилось ездить в районы. Я старался совмещать свою профессиональную деятельность с партийной.
Продолжительное и сложное время у нас занял период, когда произошла широкая амнистия репрессированных в 1937–1939 годах. В Ленинград стали возвращаться и троцкисты, и зиновьевцы, и правые, и левые, и националисты. Их оказалось очень много. Меня включили в созданную специальную комиссию (сначала я был ее председателем), в которую еще входили прокурор области, начальник особого отдела Ленинградского военного округа, представитель от торговли и т. д. Кстати, торговые работники нужны были для выдачи амнистированным на первом этапе самого необходимого.
Трудности были огромные. Вновь прибывшим бывшим заключенным, помимо восстановления в правах, требовалось в первую очередь предоставить жилье.
В Ленинграде проходил закрытый процесс по делу В. С. Абакумова. Я с ним был знаком с 1941 года. По сути, он был моим начальником. Когда я работал в особом отделе Западного фронта, Абакумов являлся начальником Управления особых отделов НКВД СССР.
Во время суда он держался мужественно, но когда огласили приговор, как-то обмяк. Приговор военного трибунала был более чем строг. Высшая мера наказания без права обжалования. Причем исполнение немедленное, без права пересмотра дела. На совести Абакумова было немало невинных жертв, расстрелянных или посаженных в тюрьмы по его приказу.
В январе 1956 года мне позвонил Серов и сказал, что я назначен заместителем председателя КГБ при Совете Министров СССР. Я спросил, кому сдавать дела. Серов ответил, что мне на замену едет Миронов, бывший заместитель начальника 3-го Главного управления КГБ СССР. Попал он в органы по партийной линии и был в очень хороших отношениях с Л. И. Брежневым, еще в бытность последнего первым секретарем Днепропетровского обкома партии. По сути дела, мы были земляки. Забегая несколько вперед, скажу, что Миронов пытался меня ввести в круг Л. И. Брежнева. Предложил мне пойти на какой-то вечер, по сути дела, пьянку высокопоставленных партийных чиновников. Я отказался, на что он сильно обиделся. Но я имел уже информацию о ближайшем круге Брежнева и посчитал для себя ненужным заводить с ним близкое знакомство.
Узнав о моем новом назначении, Ф. Р. Козлов поздравил меня. Я ему сказал, что уезжаю с большой неохотой, так как мне сильно понравился Ленинград. Козлову тоже не хотелось, чтобы я уезжал. Мы за короткий срок хорошо сработались.
Приехав в столицу, я пришел к И. А. Серову и доложил о своем приезде. Председатель принял меня хорошо. В короткий срок обещал помочь с квартирой, которую вскоре я получил в районе Лубянки, недалеко от места работы.
С И. А. Серовым я встречался еще во время войны. Серов был заместителем Г. К. Жукова по гражданской администрации в Германии. Помимо этого Серову была поручена борьба с аковцами, которые сильно активизировались ближе к окончанию войны в западной части Белоруссии. Серов приезжал в Белоруссию из Берлина для ознакомления с этой проблемой на месте. Я, нарком внутренних дел, соответственно, докладывал ему оперативную обстановку. Помню, Минск в это время подвергнулся сильной бомбежке со стороны гитлеровцев. Дом, где первоначально должен был разместиться Серов, был разрушен, и только стечение обстоятельств (Серов задержался в наркомате) спасло ему жизнь.
Серов был деятельным и довольно смелым человеком. Он мог запросто принять участие в ликвидации националистической банды. О его личной смелости свидетельствует и эпизод во время венгерских событий 1956 года: во время обстрела неизвестными демонстрации в Будапеште он не покинул площадь, а под пулями пытался прекратить начавшуюся панику.
Серов вопросы решал быстро, в том числе и самые сложные. Дела у него не залеживались.
Серов был человеком Хрущева. На Украине в период репрессий 1930-х годов Серов вместе с Хрущевым и прокурором Руденко составляли «тройку», и на их совести немалое количество ни в чем не повинных жертв.