В 1927 году Ежова выдвинули на должность помощника заведующего организационно-распределительного отдела ЦК ВКП(б), это назначение стало поворотным в его судьбе. Оказавшись в Москве, да еще в составе партийного аппарата, он почувствовал себя как рыба в воде. Смехотворный рост — злые языки шутили: «Нашего Колю можно заметить по тени или по шороху», неброская внешность и тихий нрав делали его в глазах ярких и амбициозных коллег не конкурентом в борьбе за близость к НЕМУ — Вождю. Ежов же до поры до времени терпел насмешки коллег-конкурентов, тихим сапом карабкался по аппаратной лестнице и дорос до должности заместителя председателя Комитета партийного контроля при ЦК ВКП(б) — партийной инквизиции. На ней он, возможно бы, и застрял, если бы не случай.
1 декабря 1934 года громом средь ясного неба прозвучало убийство в стенах «партийного храма» — в Смольном первого секретаря Ленинградского обкома и горкома партии, «любимца партии» Сергея Кирова. События, связанные с ним, послужили трамплином для прыжка Ежова на самую вершину властной пирамиды. 2 декабря он в составе партийно-чекистского десанта, возглавляемого Сталиным, высадился в Ленинграде. Ежову поручили по линии Комитета партийного контроля провести проверку состояния дел в ленинградской партийной организации.
В отличие от начальника УНКВД по Ленинградской области заслуженного чекиста Филиппа Медведя, расценившего действия убийцы — Леонида Николаева, приревновавшего Кирова к своей супруге — Мильде Грауде, как уголовное преступление и поплатившегося за это головой, Ежов с полунамека понял Сталина, что в Северной столице засели «враги советской власти». Он, подобно Малюте Скуратову, принялся безжалостно искоренять политическую вольницу и фронду в партийных организациях Ленинграда. Ему удалось разглядеть за спиной убийцы-ревнивца далеко идущий заговор, направленный против «товарища Сталина и проводимой им линии на индустриализацию и коллективизацию страны». И не просто заговор местных партийных оппозиционеров, а заговор, нити которого вели за границу к заклятому врагу Вождя — Троцкому и оппонентам в партии Зиновьеву и Каменеву.
Усердие, проявленное Ежовым при зачистке политического поля от конкурентов, Вождь учел в своем новом кадровом пасьянсе. Ключевое место в нем занимал нарком НКВД, действующий его глава — Генрих Ягода (Гершенович. — Примеч. авт.), руками которого он ранее расправился со сторонниками Троцкого. В последнее время тот стал заигрывать с «новой оппозицией» в лице Зиновьева (Радомысльского. — Примеч. авт.), Рыкова, Каменева (Розенфельда. — Примеч. авт.), Радека (Собельсона. — Примеч. авт.). В руках Ягоды находился не только грозный Наркомат внутренних дел, но и серьезный рычаг воздействия на армию и флот через подчиненную ему военную контрразведку. Чтобы лишить Ягоду этой опоры, Сталин использовал хорошо отработанную схему. 26 сентября 1936 года по «рекомендации» Политбюро ЦК ВКП(б) для укрепления «важной народно-хозяйственной отрасли» Ягоду перевели на должность наркома связи СССР.
В тот день хозяином Лубянки стал Ежов, и те, кто еще вчера барственно похлопывал его по плечу, теперь за версту раскланивались. С момента назначения он, как и Сталин, получил доступ к «особым материалам». Сообщения тайных осведомителей, агентов, записи телефонных переговоров, данные перлюстрации почтовой переписки и не только оппозиционеров, а и на тех, кто находился рядом со Сталиным, были аккуратно пронумерованы и подшиты в «особые папки». Годами в них копилась подноготная на партийных функционеров, героев и народных кумиров, чтобы, когда придет час, по одному движению пальца Вождя, а теперь и его — Ежова — низвергнуть их в земной ад.
Те немногие из чекистов, кто чудом уцелел во время репрессий, ставшие свидетелями воцарения Ежова, вспоминали: первым делом он спустился в расстрельные камеры внутренней тюрьмы и распорядился сменить истрепанные пулями пеньковые канаты на стене, к которой ставили приговоренных к расстрелу. Новый нарком готовился к поголовному укосу противников Вождя, известному в советской истории как «Большой террор».