В феврале 1934 года Ежов представил Сталину материалы примерно на тысячу бывших ленинградских оппозиционеров, триста из них были арестованы, а остальные сосланы. Из Ленинграда также выслали несколько тысяч дворян, в том числе личных[71].
В Ленинграде Ежов проверил 2747 сотрудников НКВД и 3050 сотрудников милиции, в результате 298 сотрудников были сняты с работы, из них 21 был заключен в лагерь, а по милиции были сняты с работы 590 человек, из которых 7 осуждено[72]. Фактически после убийства Кирова Ежов стал куратором НКВД от лица Политбюро. 1 февраля 1935 года он был избран секретарем ЦК, 27 февраля сменил во главе КПК Кагановича, назначенного наркомом путей сообщения. 10 марта 1935 года Ежов также возглавил отдел руководящих партийных организаций (ОРПО).
В январе 1935 года по приказу из ЦК региональные партийные организации начали составлять списки членов партии, исключенных за принадлежность к «троцкистскому и троцкистско-зиновьевскому блоку». Это была подготовка к последующим репрессиям.
На заседании Политбюро от 13 мая 1935 года было одобрено подготовленное Ежовым письмо ЦК ко всем партийным организациям «О беспорядках в учете, выдаче и хранении партбилетов и о мероприятиях по упорядочению этого дела». Там утверждалось, что партийные организации виновны «в грубейшем произволе в обращении с партийными билетами» и «совершенно недопустимом хаосе в учете коммунистов», в связи с чем «враги партии и рабочего класса» получали доступ к партийным документам и «прикрывались ими в своей гнусной работе». В письме приводились конкретные примеры «вражеских действий», хищения, утери и подделки партбилетов, что «позволяет проникнуть в наши ряды заклятым врагам партии, шпионам, предателям рабочего класса». Письмо предписывало искоренить в кратчайшие сроки «организационную распущенность», проявления «ротозейства и благодушия» и «навести большевистский порядок в нашем собственном партийном доме». До того времени прием в партию не мог быть возобновлен.
На заседании Оргбюро ЦК 27 марта 1935 года Сталин пояснил, что он против приема новых членов, пока «хороших ребят иногда вычищают из партии, а мерзавцы в партии остаются, потому что они очень ловко изворачиваются». Сталин поручил Ежову направить специальное письмо партийным организациям, пояснив: «Завоевали мы власть, взяли ее в свои руки и не знаем, как с нею быть. Так и сяк переворачиваем, как обезьяна нюхала очки, и лижем, и все… Плохие мы наследники – вместо того, чтобы накапливать новый моральный капитал, мы его проживаем»[73].
Теперь к проверке членов партии привлекли НКВД. В июле 1935 года был издан совместный циркуляр ЦК ВКП(б) и НКВД СССР «Об оказании помощи со стороны органов НКВД партийным организациям в ходе проверки партийных документов» за подписью Ягоды и Ежова. Там предписывалось: «Нач. УНВД необходимо оказывать всемерную помощь секретарям Крайкомов, Обкомов и Ц К нацкомпартий в проведении проверки, путем агентурной и следственной разработки вызывающих сомнения членов ВКП(б) и для ареста и тщательного расследования деятельности и связей выявленных шпионов, белогвардейцев, аферистов и т. п.
Для непосредственной работы по этим делам Нач. УНКВД выделить ответственных оперативных сотрудников, работу которых тесно увязать с парт, работниками, проводящими проверку в областных, городских и районных парторганизациях.
Считать эту работу важнейшей задачей органов ГУГБ и обеспечить быстрое и тщательное исполнение всех заданий, связанных с проверкой»[74].
Таким образом, чекисты получили право работать против членов партии, еще не подвергшихся исключению.
После ареста Зиновьева и Каменева по обвинению в подстрекательстве к убийству Кирова Ежов по поручению Сталина стал писать книгу о зиновьевцах под красноречивым названием «От фракционности к открытой контрреволюции». Однако книга не была ни закончена, ни опубликована[75].
В середине 1935 года Ежов приказал заместителю Ягоды Агранову провести операцию против троцкистов в Москве. Согласно полученным Ежовым сведениям и, по мнению Сталина, существовал «нераскрытый центр троцкистов, который надо разыскать и ликвидировать». Ежов писал в июле 1935 года Сталину: «Лично я думаю, что мы, несомненно, имеем где-то троцкистский центр, который руководит троцкистскими организациями». Агранов дал указания о проведении операции начальнику секретно-политического отдела ГУГБ Г.А. Молчанову, но тот не поверил в существование троцкистского подполья и при поддержке Ягоды операцию остановил[76].