В этот же день Политбюро и Совет народных комиссаров СССР приняли еще одно постановление: «О работе угольной промышленности Донбасса», направленное на искоренение недостатков, упорядочение зарплаты, улучшение условий труда и экономического состояния отрасли. Один из пунктов опубликованного постановления предписывал: «Осудить применяемую некоторыми партийными и в особенности профсоюзными организациями практику огульного обвинения хозяйственников, инженеров и техников, а также практику огульных взысканий и отдачи под суд, применяемую и извращающую действительную борьбу с недостатками в хозорганах».
Продолжением этой линии стало постановление Политбюро, принятое 5 мая. В нем прокурору Союза ССР Вышинскому предписывалось: «Пересмотреть судебные приговоры и снять судимость с инженеров и техников угольной промышленности Донбасса, осужденных по производственным делам без достаточных оснований или на протяжении последующей работы показавших себя добросовестными и преданными делу работниками».
Существо этой меры было раскрыто в опубликованном 15 мая «Правдой» интервью Вышинского «Что делает прокуратура в связи с решениями СНК и ЦК ВКП(б) о Донбассе». Прокурор говорил: «Некоторые хозяйственники в порядке самостраховки увольняют с работы лиц, виновность которых не доказана, но даже не расследована». Вышинский извещал, что «прокуратура потребовала из Донбасса все дела лиц, осужденных по производственным преступлениям с 1934 по 1937 год для сплошной проверки» и снятия судимости в отношении лиц, показавших «себя честными и добросовестными работниками».
Но именно в эти весенние дни, когда набравшие силу колхозы проводили очередную посевную, репрессии фактически уже начались. Однако они были направлены не на население страны, а на чистку самого Наркомата внутренних дел, аппарат которого сформировался из людей, пришедших в ЧК еще до начала 20-х годов. После февральско-мартовского 1937 года пленума Ежов осуществил более решительные реформы в своем ведомстве. Чистка НКВД началась с ближайшего окружения бывшего наркома. 7 марта арестовали наркома внутренних дел Белоруссии Г. Молчанова; 22 марта — заместителя начальника оперативного отдела Захара Воловича, а 29 марта в Киеве «взяли» начальника УШОСДОР НКВД УССР старшего майора ГБ Иосифа Марковича Островского. Начальника Управления НКВД Восточно-Сибирского края, комиссара ГБ 2 ранга Марка Гая, который до ноября 1936 года был руководителем Особого отдела ГУГБ, арестовали 1 апреля. 17 апреля в тюремной камере оказался и комиссар ГБ 2 ранга Паукер — начальник 1-го отделения ГУГБ, занимавшегося охраной членов Политбюро и правительства. В это же время были арестованы: начальник транспортного отдела (борьба с диверсиями) Шанин, начальник отделения этого управления НКВД Пакли и сотрудник оперативного отдела Винницкий. 29 апреля арестовали ближайшего помощника Ягоды — бывшего секретаря коллегии НКВД, майора ГБ П. Буланова.
И на основании выявившихся в ходе допросов показаний 31 марта Политбюро ЦК ВКП(б) приняло постановление «О Ягода», поставив на голосование членов и кандидатов в члены ЦК предложение: «Ввиду обнаруженных антигосударственных и уголовных преступлений наркома связи Ягода, совершенных в бытность его наркомом внутренних дел… Политбюро ЦК ВКП считает необходимым исключение его из партии и ЦК и немедленный его арест».[6] Бывшего наркома арестовали 4 апреля. В этот же день, узнав по телефону об аресте Ягоды, вышел в туалет и там застрелился начальник управления УНКВД и лагерей в Горьковской области Погребинский, а начальник экономического управления Черток выбросился из окна. Кадровые перестановки начались и в региональных управлениях.
В апреле в кабинетах следователей появились не только бывшие чекисты, но и люди в военных гимнастерках, а с 14 мая начались допросы будущих фигурантов на процессе по делу военного заговора: Фельдмана, Корка, Тухачевского, Уборевича и Якира. Среди допрашиваемых по делу военных проходили и чиновники с троцкистским прошлым. В их числе оказался и бывший председатель Уральского облисполкома Александр Белобородов, который в июле 1918 года подписал приказ о расстреле Николая Романова и членов его семьи. В 1923–1927 годах Белобородов занимал пост наркома внутренних дел ОГПУ РСФСР, а в середине 20-х, когда началась борьба оппозиции против Сталина, примкнул к Троцкому. В ноябре 1927 года Белобородова исключили из партии, но после признания ошибок восстановили. Правда, доверив лишь пост в системе Комитета заготовок, а позже — уполномоченного Наркомата внутренней торговли.