Оперативно-чекистские подразделения, отделы Особый (ОО), Секретно-политический (СПО), Иностранный (ИНО), Оперативный, Специальный, Учетно-статистический, Транспортный (ТО), а также Экономическое управление (ЭКУ) были объединены в Главное управление государственной безопасности — ГУГБ НКВД СССР. Формально работой ГУГБ руководил сам нарком, а фактически — первый замнаркома Яков Агранов.
Произошли изменения и в Иностранном отделе. В мае 1935 года его руководитель Артур Артузов окончательно перешел на должность заместителя начальника Разведывательного управления Красной Армии. Новым начальником ИНО стал Абрам Слуцкий, его первым заместителем — Борис Берман, вторым — переведенный с Украины Валерий Горожанин.
В том же 1934 году с большой помпой прошел XVII съезд ВКП(б), официально названный красиво и гордо — «Съезд победителей». В историю, однако, он вошел как «Съезд расстрелянных». И в самом деле, спустя некоторое время из 1966 делегатов съезда репрессиям подверглись 1108, причем подавляющее большинство арестованных — казнены. В частности, все до единого расстреляны делегаты, избранные на съезд от партийных организаций органов НКВД.
Закончился год страшно: 1 декабря в коридоре Смольного в Ленинграде был убит Сергей Киров, возглавлявший ленинградскую партийную организацию, человек, которого прочили по меньшей мере на вторую роль в иерархии ВКП(б), а многие коммунисты и на первую. Полная ясность в обстоятельства его гибели не внесена и по сей день. Большинство исследователей убеждены, что злодейский выстрел организовали тамошние чекисты по прямому или намеком данному приказу Сталина. Меньшая часть историков (а также и автор) полагают, что теракт совершил одиночка — озлобленный, с неуравновешенной психикой неудачник Леонид Николаев. Но Сталин с изощренным искусством использовал эту трагедию в своих целях — для развязывания Большого террора. Убивать Кирова из опасений перед возможным конкурентом на пост генсека Сталину было просто ни к чему. На самом деле Киров об этом кресле и не помышлял. Более того, он был одним из самых преданных Сталину лично членов ЦК и вообще всего тогдашнего высшего руководства.
Но Киров был невероятно, как никто другой из того же высшего эшелона, популярен и в партии, и в народе. Будучи, разумеется, твердокаменным большевиком, Киров отличался подлинным демократизмом, простотой, доступностью, человеческим обаянием, всем тем, что ныне называется харизмой. Его не только уважали в массах, но и по-настоящему любили. Характерно, что после Ленина его единственного в народе по-народному же называли лишь по отчеству: «Мироныч». Убийство никакого другого члена Политбюро или секретаря ЦК не вызвало бы в народе столь искреннего взрыва горя и негодования. Это и позволило Сталину немедленно ввести в действие беспрецедентный по своей жестокости и беззаконию «закон» о терроре: рассмотрение дела в десятидневный срок, слушанье в отсутствие прокурора и защиты, запрещение обжалования. Наконец — приведение приговора в исполнение немедленно по вынесении.
Позднее это постановление ЦИК СССР (которое в спешке даже не успел подписать номинальный его председатель Михаил Калинин, но лишь секретарь — Авель Енукидзе) было распространено и на некоторые другие «преступления контрреволюционного характера».
Уже в первые несколько недель действия этого драконовского документа были репрессированы несколько сот человек, никакого отношения к убийству Кирова не имеющих. Поначалу террор чекистов не коснулся. Начальник Ленинградского управления Филипп Медведь, его первый заместитель, в прошлом сотрудник ИНО Иван Запорожец, еще несколько руководящих работников управления «за халатность» были приговорены к двум-трем годам заключения, но и те не отбыли, а были посланы на чекистские должности в дальние лагеря. Однако через несколько лет всех их расстреляли.
В сентябре 1935 года в Красной Армии и Военно-Морском Флоте, а затем во внутренних и пограничных войсках были введены персональные воинские звания вместо существовавших дотоле должностных (вроде комвзвода, комполка и тому подобных, меняющихся при каждом перемещении командира по службе). Месяцем позже персональные специальные звания были установлены также и для кадровых сотрудников органов госбезопасности, а также милиции.
Установлены были и новые знаки различия: довольно запутанные комбинации треугольничков и звездочек на обоих рукавах — серебристых и золотистых. Это приводило ко множеству недоразумений. Чтобы избежать их, в конце концов для сотрудников госбезопасности ввели те же знаки различия в петлицах — эмалевые треугольники, квадраты («кубари»), шпалы и ромбы, что и в РККА. Чтобы отличать все-таки их от армейцев, установили дополнительные эмблемы на обоих рукавах выше локтя: овальные нашивки с изображением меча клинком вниз и скрещенных серпа и молота. Тогда же сотрудники госбезопасности получили свои печально знаменитые фуражки со светло-синим верхом и краповым околышем.