Чуть позднее, в 1929 году, в ГПУ прошла небольшая реорганизация, когда Ягода в роли первого заместителя председателя ГПУ окончательно укрепился в ранге неформального главы этой спецслужбы при уже больном Менжинском, а вторым заместителем назначен переведенный из руководителей Ленинградского ГПУ Станислав Мессинг. Другой заместитель Менжинского и одновременно начальник разведки ИНО ГПУ Трилиссер в это время из-за конфликта с Ягодой и вообще из-за своих непримиримых троцкистских высказываний покинул все чекистские посты и ушел на другую работу, именно вместо него переведен из Ленинграда Мессинг. Тогда же в ГПУ впервые создано отдельное управление исправительно-трудовых лагерей во главе с Эйхмансом, из которого позднее разрастется по стране страшными метастазами ГУЛАГ.
А в 1931 году после большого скандала в верхушке ГПУ вокруг дела царских офицеров в РККА (дело «Весна») и изгнания из рядов ГПУ ряда руководителей из видных дзержинцев эту спецслужбу вновь тряхнули перемены. Мессинг в числе главных бунтарей был убран из заместителей председателя, а в компании с Ягодой замами на Лубянке оказались Акулов и Балицкий. Но окончательно утвердившийся в качестве негласного шефа Лубянки Генрих Ягода вскоре «подвинул» обоих назначенцев власти, вытеснив Акулова из ГПУ вообще в прокуратуру, а Балицкого – на его прежнее место главы Украинского ГПУ. Взамен в заместителях оказались близкие к Ягоде чекисты Прокофьев и Агранов. После 1933 года «команда Ягоды» занимала в ГПУ все ключевые посты: Буланов – секретариат коллегии ГПУ, Гай – Особый отдел, Артузов – ИНО ГПУ, Молчанов – Секретно-политический отдел, Миронов – Экономический отдел, Бокий – Спецотдел, Кишкин – Транспортный отдел, Благонравов – Отдел шоссейных дорог, Берман – управление лагерей, Фриновский – войска ГПУ и пограничные войска, Паукер – Оперативный отдел и правительственную охрану. В таком составе ГПУ встретило переломный для него 1934 год, когда сначала умер Менжинский, а летом того же года ГПУ слито с ведомством внутренних дел в одну большую спецслужбу – Наркомат внутренних дел (НКВД) СССР.
Внутри единого НКВД в 1934–1940 годах непосредственно госбезопасностью и разведкой занималось его Главное управление госбезопасности (ГУГБ НКВД), куда в большей степени уместили за некоторыми исключениями бывшее ГПУ и чей начальник с 1934 года был первым заместителем наркома НКВД. Другие управления НКВД (Рабоче-крестьянской милиции, Пожарное, командования войсками НКВД, ГУЛАГ – управление лагерей и т. д.) занимались в этой спецслужбе своими прежними обязанностями, их сотрудников часто даже не именовали «чекистами», хотя формально все они теперь тоже работали в одной большой спецслужбе с чистыми чекистами из ГУГБ. Из прежнего ГПУ в новом едином НКВД в отдельное управление кроме ГУЛАГа выделили еще и Управление погранвойск и внутренней охраны (ГУПВО). Вся разведка, контрразведка, госбезопасность, Оперативный отдел и охрана первых лиц государства оставались отделами в ГУГБ НКВД. Важность этой части в НКВД была таковой, что нарком Ягода поначалу проигнорировал даже указание ЦК поставить во главе ГУГБ своего заместителя Агранова, сохраняя руководство ГУГБ за собой, пока его не одернули с верхов власти. Сам Ягода всего два года просидел на вожделенном посту наркома этого большого НКВД и походил в пошитом лично для него маршальском мундире генерального комиссара госбезопасности, в 1936 году он убран из НКВД, а в следующем году арестован и вместе со многими людьми из своей команды расстрелян. На его место наркома НКВД на Лубянку пришел Николай Ежов, а во главе ГУГБ оказался Фриновский, после короткого и страшного периода ежовщины отстреляли и их команду.