В условиях ухудшения международных и внутренних дел Сталин И.В. надеялся всё-таки продвинуть новую Конституцию в полном объёме. Но для этого надо было окончательно подавить даже скрытое сопротивление ортодоксальных коммунистов, которых в партии и за её пределами имелось ещё предостаточно. В связи с этим стали тихо, без малейшей огласки проводиться аресты ярых троцкистов, выявленных НКВД. Одновременно начались незаметные постороннему взгляду кадровые перестановки, направленные на укрепление позиций группы Сталина. Одним из таких назначений, произошедших 26 сентября 1936 года, явилось выдвижение Ежова Н.И. на должность наркома внутренних дел СССР. Всю свою работу новый нарком должен был координировать с заведующим Политико-административным отделом ЦК партии Пятницким И.А., который подбирал кадры для НКВД, контролировал и согласовывал действия этого ведомства с Наркоматом юстиции, Прокуратурой СССР и различными судебными инстанциями.
25 ноября 1936 года в Москве открылся VIII Чрезвычайный съезд Советов СССР, на котором с докладом о новой Конституции СССР выступил Сталин И.В. Помимо главных положений Основного закона страны, ставшей «государством рабочих и крестьян», докладчик остановился на поправках, которые были внесены трудящимися во время обсуждения проекта. Однако в процессе прений выступавшие больше говорили о необходимости борьбы с различного рода врагами, чем оценивали статьи новой Конституции. Это отражало настроение подавляющего большинства партийного, советского и профсоюзного актива, которым предложенная система выборов рассматривалась с точки зрения права и обязанности «уничтожить всякого врага — троцкиста, зиновьевца, националиста, меньшевика» и напрямую связывалась с необходимостью проведения репрессий. Причём к врагам они относили кого угодно, только не себя. И хотя 5 декабря 1936 года Конституция СССР была единогласно утверждена, главная, задуманная Сталиным цель смены на её базе бюрократического руководства за счёт альтернативных выборов оставалась неопределённой и крайне сложной задачей.
Несмотря на стремление сталинской группы мирными средствами решить кадровый вопрос, репрессии, весьма, правда, ограниченные, выборочные, по ранее раскрученным делам, всё-таки приходилось проводить. В феврале 1937 года был арестован ряд руководящих работников НКВД, включая бывшего наркома Ягоду. При этом по «кремлёвскому заговору» дали показания бывший комендант Московского Кремля Петерсон, назвавший в качестве соучастников Енукидзе, Корка, Медведева и Фельдмана, и Ягода, сообщивший о своих преступных связях с Рыковым, Бухариным, Томским, Углановым. Цель несостоявшихся путчистов заключалась в аресте Сталина и его сторонников и в создании нового правительства из состава заговорщиков.
Если силы троцкистов в партийных и советских органах были в определённой степени ликвидированы, то в высшем руководстве армии находилось значительное количество военачальников, которые действовали в Гражданскую войну под командованием председателя Реввоенсовета республики и наркома по военным и морским делам Троцкого Л.Д. и являлись его ставленниками и сторонниками. В мае 1937 года прошли аресты 82 военачальников, в числе которых были Тухачевский, Якир, Уборевич, Корк, Эдеман и другие. По приговору Верховного суда СССР «за нарушение воинского долга (присяги), измену Родине», выразившуюся в передаче немецкому Генеральному штабу важных сведений, восемь человек были расстреляны.
В это же время в административном порядке были сняты со своих постов многие партийные и советские руководители, которым было выражено «политическое недоверие». Внимательный анализ показывает, что всех этих деятелей объединяли такие общие «качества», как явная некомпетентность в руководстве, отсутствие высшего, а часто и среднего образования, слабость практического опыта работы по профессии. В революционную пору все они крайне быстро и слишком надолго заняли весьма высокие посты, но из-за недостатка знаний (которые не стремились пополнять) превратились в неумелых «начальников», слишком много мнивших о себе, но не приносивших реальной пользы порученному им делу.
23 июня 1937 года открылся очередной пленум ЦК ВКП(б), с началом которого собравшиеся единогласно поддержали ещё два решения Политбюро о «выражении политического недоверия» и снятии со своих постов ряда ответственных руководителей, а также об исключении из состава членов и кандидатов в члены ЦК с лишением их партийных билетов 19 человек «за измену партии и родине, активную контрреволюционную деятельность».