10 мая 1934 года от паралича сердца скончался В.Р. Менжинский. Его должность официально перешла к Ягоде. Спустя два месяца ЦИК СССР принял постановление об образовании Народного комиссариата внутренних дел СССР. Этому предшествовала борьба между ОГПУ и НКВД, НКВД и НКЮ за право распоряжаться судьбами осуждённых. Все эти ведомства почувствовали ощутимую прибыль от эксплуатации труда лишённых свободы, и каждое стремилось только себе подчинить тюремную систему. В результате острого противоборства в конце 20-х годов ОГПУ расследовало преступные проявления, судило, исполняло установленный срок наказания и оно же решало дальнейшую судьбу освобождённых. При таком положении Народный комиссариат юстиции, игравший немаловажную роль в 20-х годах, низводился до положения третьеразрядного наркомата. Но его руководитель Н.В. Крыленко не собирался с этим мириться. В результате острейшей борьбы Народному комиссариату юстиции удалось сформировать свою собственную исправительно-трудовую систему, рассчитанную на содержание уголовных преступников со сроками наказания до трёх лет. Карательный механизм системы НКЮ в точности копировал изобретение ОГПУ СССР.
В результате восстановления НКВД под эгидой этого наркомата оказались Главное управление государственной безопасности, Главное управление лагерей и колоний. Главное управление рабоче-крестьянской милиции. Среди наркоматов того времени это было самое могущественное ведомство во главе с Ягодой. 26 ноября 1935 года в соответствии с постановлением ЦИК и СНК СССР ему было присвоено звание Генерального комиссара государственной безопасности.
В первой половине 30-х годов под руководством Ягоды в лагерях велась «перековка» противников социалистических преобразований. Однако теоретическая установка ОГПУ-НКВД по «перековке» одних категорий заключённых при помощи других не выдержала практической проверки.
Следует указать, что на гулаговском материке только тюрьмы были своего рода оазисом, и заключённые не испытывали таких тягот, как в лагерях. В тюрьмах в основном содержались троцкисты, меньшевики, эсеры, на которых обрушился второй вал репрессий. Не сделавших для себя должных выводов в ссылке теперь изолировали в тюрьмах. Правда, с утра до вечера камеры не закрывались. Заключённые свободно общались между собой. Во дворе росли деревья, в том числе фруктовые, были разбиты клумбы. В их распоряжении находилась библиотека. Они могли в неограниченном количестве получать книги и от родственников. Заключённым разрешалось во дворе тюрьмы играть в волейбол, крокет и другие игры. Они вели частную переписку с товарищами, отбывавшими наказание в других тюрьмах. Однако тюрьмы с их щадящим режимом содержания предназначались только для наиболее видных оппозиционеров. Рангом пониже отправляли в исправительно-трудовые лагеря.
Кому-кому, а осуждённым во времена Ягоды оппозиционерам жилось достаточно вольготно. Администрация на местах предоставляла им разнообразные незаконные льготы: допускала передвижение без охраны, разрешала жить на частных квартирах, оставляла отбывать меру наказания в колониях вместо направления в лагеря, освобождала от работы по болезни тех, кто не являлся больными, выдавала питание по усиленной категории и т. д. Этот вольготный режим был затем вменён в вину Ягоде, который создал для троцкистов благоприятные условия отбывания наказания. Можно предположить, что Ягода, прекрасно владея информацией, опасался возможности прихода к власти оппозиции и тем самым готовил для себя запасной вариант. По крайней мере, его не могли упрекнуть в проявлении жестокости к политическим противникам существовавшего режима.
Накануне убийства Кирова в декабре 1934 года в Ленинграде работала комиссия Фриновского, которая занималась подготовительной работой и составляла списки неблагонадёжных из числа представителей бывших господствовавших классов. Делалось это по указанию Г.Г. Ягоды, который наметил операцию по очищению крупных городов от неблагонадёжных граждан. Гибель Кирова только ускорила проведение этой акции.
Смерть Кирова могла остаться практически рядовым событием. Это впоследствии был создан миф о том, что якобы он пользовался в Ленинграде популярностью у трудящихся. Иногда он любил заходить в магазины города, но его не всегда узнавали. Его широкой известности способствовали торжественные похороны в Москве, что в то время явилось как бы главным событием дня для средств массовой информации и документальной хроники.