В ноябре, в зависимости от занимаемой должности, начальствующий состав ГУГБ одел новые, определенного размера, количества и цвета звезды и звездочки, а также специальный нарукавный знак принадлежности к ГУГБ.
Знаки различия на петлицах (ромбы, квадраты и треугольники) в Красной Армии были установлены в июне 1924 г. В сентябре они были приняты в органах и войсках ОГПУ. В марте 1925 г. для старшего начальствующего состава были введены прямоугольники («шпалы»). Все знаки различия штамповались из красной листовой меди или томпака. Их наружная сторона серебрилась и покрывалась сквозной или глухой эмалью красного цвета. Петличные знаки различия образца 1924 г. в неизменном виде просуществовали до декабря 1935 г.
В зависимости от занимаемой должности цвет петлиц (краповый или зеленый) и соответствующее количество ромбов, прямоугольников, квадратов и треугольников устанавливались по 13 категориям – от первой (два треугольника) до тринадцатой – четыре ромба. Генриху Ягоде, возглавлявшему НКВД, полагались «чистые» петлицы, что его очень огорчало.
В октябре 1935 г. в войсках НКВД были введены воинские звания для командного состава и специальные для политического, военно-технического, военно-медицинского и других административно-тыловых служб.
Начальствующему составу органов государственной безопасности предусматривалась отдельная система специальных званий, состоявшая из трех категорий: средний начсостав – младший лейтенант, сержант; старший – капитан, старший лейтенант, лейтенант; высший – комиссар 1, 2 и 3-го рангов, старший майор, майор. Ко всем званиям добавлялись слова: «государственной безопасности». Наркому внутренних дел СССР полагалось специальное звание – генеральный комиссар государственной безопасности, которое приравнивалось к маршалу Советского Союза. В истории НКВД его получили трое – Генрих Ягода, Николай Ежов и Лаврентий Берия.
В иерархии воинских и специальных званий звания госбезопасности стояли на два порядка выше. Так, сержант ГБ (сержантских званий в РККА еще не существовало) соответствовал званию армейского лейтенанта (младшего политрука); младший лейтенант ГБ – старшему лейтенанту (старшему политруку); лейтенант ГБ – капитану (старшему политруку); старший лейтенант ГБ – майору (батальонному комиссару); капитан ГБ – полковнику (полковому комиссару); майор ГБ – комбригу (бригадному комиссару); старший майор ГБ – комдиву (дивизионному комиссару); комиссары ГБ 3, 2 и 1-го рангов – соответственно комкору, командиру 2-го и командиру 1-го рангов (корпусному комиссару, армейскому комиссару 2-го ранга, армейскому комиссару 1-го ранга).
Для сотрудников ГУГБ была также установлена специальная форма одежды и знаки различия. Цвет петлиц остался прежним – краповый для сотрудников госбезопасности и внутренней охраны, светло-зеленый – для военнослужащих пограничной охраны.
Знаки различия на рукавах (1935 г. – июль 1937 г.): генеральный комиссар ГБ – одна большая нарукавная шитая золотом звезда, окаймленная красным, синим, зеленым и краповым шитьем, в центре звезды – серп и молот красного цвета, под звездой – золотой жгут; комиссар 1-го ранга – четыре шитые золотом звезды: три в ряд, одна сверху; комиссар ГБ 2-го ранга – четыре шитые золотом звезды: три в ряд, одна снизу; комиссар ГБ 3-го ранга – три нарукавные шитые золотом звезды: две в ряд, одна сверху; старший майор ГБ – две нарукавные шитые золотом звезды в ряд; майор ГБ – одна нарукавная шитая золотом звезда; капитан ГБ – три нарукавные шитые серебром звезды: две в ряд, одна сверху; старший лейтенант ГБ – две нарукавные шитые серебром звезды; лейтенант ГБ – одна нарукавная шитая серебром звезда; младший лейтенант и сержант ГБ – соответственно три (один сверху и два в ряд) и два в ряд нарукавных красного цвета усеченных треугольника.
Петлицы в новой форме одежды были крапового цвета с малиновым кантом и одной продольной полосой посередине – цвета серебра от сержанта до капитана ГБ включительно и цвета золота от майора ГБ и выше. Имелся и специальный нарукавный знак: в первом случае – овал (щит) и клинок меча цвета серебра с эфесом меча, серпом и молотом цвета золота; во втором – овал цвета золота, с мечом, серпом и молом цвета серебра.
Из «низов» послышались нарекания, что размещенные на рукавах знаки различия не видны в строю. Начиная с апреля 1936 г. чины госбезопасности «персональные» звезды в предыдущем количестве стали носить на петлицах. Размещались они на продольной золотой (серебряной) полосе. Младшие лейтенанты и сержанты ГБ имели на петлицах соответственно по три и два усеченных треугольника на серебряных продольных полосах.