Задачи, поставленные перед ГУГБ НКВД, объединившим все основные оперативно-чекистские подразделения бывшего ОГПУ, были многогранными: охрана партийно-государственного руководства; заграничная разведка; борьба с диверсиями, шпионажем; борьба с изменой Родине, контрреволюцией, террором, другими государственными преступлениями; охрана государственной тайны; выполнение специальных заданий правительства СССР по обеспечению революционного порядка и государственной безопасности.
На Оперативный отдел (Оперод, начальник – К. В. Паукер) возлагались охрана высших должностных лиц партии и правительства, проведение обысков, арестов, осуществление наружного наблюдения, использование оперативной техники, обеспечение контроля за работой правительственной связи и пр.
Борьбу с иностранным шпионажем, диверсиями, оперативно-чекистское обслуживание РККА и РКВМФ осуществлял Особый отдел (ОО – М. И. Гай). Экономическому отделу (ЭКО – Л. Г. Миронов) вменялось оперативно-чекистское обслуживание отраслей народного хозяйства, борьба с вредительством. Такие же задачи, только на транспорте, возлагались на Транспортный отдел (ТО – В. А. Кишкин, с марта 1935 г. – А. М. Шанин).
Секретно-политический отдел (СПО – Г. А. Молчанов) вел борьбу с «бывшими» политическими партиями, партийной оппозицией, «контрреволюционным» духовенством, националистическими движениями. Проводил он и оперативно-чекистское «обслуживание» интеллигенции, учебных заведений, государственных управленческих аппаратов и др.
Учетно-статистический отдел (УСО, с мая 1936 г. – Учетно-архивный, с ноября 1936 г. – Учетно-регистрационный отдел (УРО) – Я. М. Генкин) осуществлял хранение оперативных материалов, регистрацию и учет дел арестованных, вел справочную и статистическую работу, а также главную оперативную картотеку. Специфической деятельностью занимался Специальный отдел – шифрование и дешифрование, охрана государственной тайны, осуществление контроля за сохранением секретности переписки в НКВД, партийных и государственных органах и т. д.
Отдел был создан в 1921 г., когда по решению Малого Совнаркома при ВЧК заработала криптографическая служба, получившая со временем название «специальной». По инициативе Ф. Э. Дзержинского ее руководителем стал Глеб Иванович Бокий. Тогда же появился и приказ, предписывающий центральным и периферийным органам «чрезвычайки» направлять в Спецотдел обнаруженные при обысках и арестах, а также полученные агентурным путем и даже случайно шифры, ключи к ним, шифрованные материалы и т. д. Вскоре в комплексе связи Советского Союза была введена и более надежная (криптостойкая) шифрсистема.
За короткое время с участием Г. Бокого удалось организовать почти образцовую работу по криптографии и радиоразведке. В частности, начала функционировать радиопеленгаторная станция № 3, положившая начало советской военно-морской радиоразведке. С учетом особой значимости Спецотдела, будучи формально в структуре ОДПУ – НКВД, реально он находился в ведении ЦК ВКП(б). Ситуация кардинально изменилась с приходом в НКВД Н. И. Ежова. Реорганизация ведомства, а также изгнание «птенцов» Генриха Ягоды кардинально отразились не только на отделе, но и на судьбе его руководителя. Глебу Бокому была оказана «особая» честь: 16 мая 1937 г. его арестовали в кабинете наркома. В ноябре вынесли смертный приговор, вскоре расстреляли. Реабилитирован в 1956 г.
На Иностранный отдел (ИНО – А. Х. Артузов, с мая 1935 г. – А. А. Слуцкий) возлагались внешнеполитическая, экономическая, научно-техническая разведка и внешняя контрразведка. Отдел кадров возглавлял Я. М. Вейншток. Задача отдела заключалась в подборе и обучении кадров для ГУГБ.
Аналогичные функции и задачи возлагались на аппараты территориальных органов государственной безопасности. Общим в деятельности структурных подразделений ГУГБ было одно: агентурно-оперативная работа.
7 октября 1935 г. ЦИК и Совнарком СССР приняли постановление о введении для личного состава органов и войск НКВД специальных персональных званий. Для высшего начальствующего состава ГУГБ ими стали звания комиссаров и майоров государственной безопасности, средний и старший состав ограничился званиями наподобие армейских. Наркому внутренних дел СССР предусмотрели звание генерального комиссара госбезопасности. Для военнослужащих войск НКВД вводились такие же воинские звания, как в РККА.