Идея использования труда осужденных философски разработана Львом Давыдовичем Троцким (1879–1940) и вначале была отвергнута ВКП(б), но затем активно применялась с мизерными выплатами, которые выдавались при освобождении.
В 30-е годы Ягода еще теснее сблизился с вернувшимся в СССР из-за границы Максимом Горьким, став другом его семьи и любовником Надежды Пешковой — «Тимоши», жены сына Горького, Максима. Он участвовал в организации судов по сомнительным делам об убийстве Кирова, «Кремлевском заговоре», в устроении процесса против Зиновьева и Каменева. В сентябре 1936 года Ягода был снят с поста наркома внутренних дел, который занял «герой» Большого террора Николай Ежов.
15 марта 1938 года Ягода, обвиненный в связях с Троцким, Бухариным и Рыковым, был расстрелян.
Новый нарком внутренних дел Н.И. Ежов привел с собой на Лубянку из ЦК партии около 300 партийцев, которые в один день стали сотрудниками чекистских органов. Для борьбы с троцкистами, «окопавшимися за рубежами», он создал из них, подчиняющие лично ему специальные подвижные группы, которые направлялись с фальшивыми иностранными паспортами за границу для ликвидации троцкистов и выполнения других тайных поручений Кремля.
Со временем Евгений Петрович, руководя подразделениями внешней разведки СССР, поймет, что таким образом власть расправлялась со старой гвардией отечественных разведчиков, в том числе и нелегалов, которые боялись возвращаться в атмосферу ежовского беспредела. Многих возвратившихся ждала опала, а нередко и казнь.
С Ежовым Питовранов не работал, хотя при нем был взят на службу в органы госбезопасности и много негативного наслышался в период руководства НКВД Лаврентием Берией. Еще учась в МИИТе, он познакомился со стихотворением народного поэта Казахстана Джамбула Джабаева «Песнь о батыре Ежове», в котором были такие строчки:
Только спустя несколько лет Евгений Петрович понял, сколько этот пахарь партийно-карательной нивы загнал в землю своих соотечественников. Масштабы его репрессий были таковы, что даже напугали самого Сталина. Ежов сыграл большую роль в политическом и физическом уничтожении так называемой «ленинской гвардии», принципиально противостоящей в некоторых экономических и политических вопросах Сталину. В своем рабочем столе «зоркоглазый и умный нарком» Ежов хранил пули, которыми были расстреляны Зиновьев, Каменев, Крыленко и другие.
Однако первый толчок Большому террору дал совсем не Ежов, а секретарь Западно-Сибирского крайкома партии, «ленинский гвардеец» Роберт Эйхе. Выступая на пленуме ЦК ВКП(б) в июне 1937 года, он сообщил о существовании некой «подпольной повстанческой организации кулаков», действия которой направлены на свержение советской власти. Эйхе потребовал немедленного принятия чрезвычайных мер и особых полномочий для так называемых «троек», в состав которых входили первые секретари, прокуроры и начальники НКВД города, области или края. К его требованиям присоединились и другие «партийные боссы», заговорившие на партийном форуме о сотнях тысяч «врагов народа». И уже через месяц, 30 июля 1937 года, нарком внутренних дел СССР Николай Ежов подписал секретный приказ № 00447 «Об операции по репрессированию бывших кулаков, уголовников и других антисоветских элементов». С этого приказа, в котором указывались семь категорий граждан, подлежащих аресту и в большей части расстрелу, начался Большой террор со «скорострельным правосудием».
Дошло до того, что некоторых высоких руководителей в политике, армии и госбезопасности сначала расстреливали, а потом оформляли приговор трибунала.
Кроме того, репрессируемых делили на две категории. К первой относились «наиболее враждебные». Они подлежали немедленному аресту и по рассмотрении их дел на тройках — расстрелу. Ко второй категории относились все остальные, «менее активные, но все же враждебные элементы». Они подлежали аресту и заключению в лагеря на срок от 8 до 10 лет. «Шлюз» для репрессий был открыт. Начались соревнования. Тот же Эйхе заявил о желании только расстрелять 10 800 жителей Западно-Сибирского края.