Параллельно с решением организационно-правовых вопросов по укреплению СД для работы в ней Гейдрих привлек интеллектуалов из числа «золотой молодежи» столицы и других городов Германии – юристов, журналистов, литераторов, психологов и т. д. Был среди них и будущий шеф ее внешней разведки Вальтер Шелленберг. Тогда же Гейдрих разделил СД на две части, придав ей «партийную» и «разведывательную» функции, положив тем самым начало ее неограниченных возможностей в разведывательной сфере. По его словам, СД должна была стать своеобразным «Интеллидженс Сервис» великогерманской империи. Наличие разветвленной агентурно-осведомительной сети стало основным побудительным фактором возложения в скором будущем на партийную службу безопасности выполнения разведывательных и контрразведывательных задач за пределами рейха.
Центральные управления СД стали обозначаться римскими цифрами: I – организационные вопросы, II – контрразведка, III – зарубежная разведка. В каждом из них появились по несколько отделов с четко определенными направлениями работы. В рейхе по территориальному принципу развернули деятельность семь командно-территориальных управлений СД, которым подчинялись по два-три окружных органа полиции безопасности. Параллельно шла активная работа по формированию агентурной сети, которую стали насаждать даже в армии. К 1937 г. численность аппарата СД равнялась 3 тыс. штатных сотрудников, а количество «доверенных лиц» достигло 50 тыс. человек. К 1943 г. число первых и вторых выросло в несколько раз.
Личный состав СД делился на три категории: штатные работники – кадровые разведчики из эсесовцев и наиболее проверенных членов партии; «почетные сотрудники» – представители органов СД в государственных и общественных учреждениях, на промышленных предприятиях, в частных фирмах, учебных заведениях и т. д., осуществлявшие контрразведывательную работу наряду с выполнением своих непосредственных обязанностей. Ими, как правило, были члены НСДАП; негласный состав – агенты, работавшие в органах СД нелегально. Официальный состав носил черную (повседневную), серую (парадную) форму охранных отрядов, имел соответствующие занимаемой должности эсесовские звания. Единственным отличием от других служб и подразделений СС был серебряный знак – специальная нашивка над обшлагом левого рукава в виде ромба с буквами «СД».
Высшим руководящим органом службы безопасности с 1939 г. стало Главное управление имперской безопасности (РСХА).
С приходом нацистов к власти административное устройство Германии внешне сохранило черты федерации. Как и при Веймарской республике, ее территориальное деление состояло из земель и провинций. Затем следовали состоящие из сельских округов правительственные округа, охватывавшие мелкие города и сельские окраины. Однако вскоре земли потеряли самостоятельность и стали управляться наместниками имперского правительства. Территория страны была разделена на 42 гау (области), делившиеся на районы, последние – на мелкие группы, которые, в свою очередь, делились на ячейки, а ячейки – на блоки. Во главе каждой территориальной единицы стояли соответственно гауляйтер, крайсляйтер, ортсгруппенляйтер, целленляйтер и блокляйтер. В январе 1933 г. Германия получила и официальное нацистское название режима государственного правления – Третий рейх (Das Drittes Reich – «Третья империя»).
В отличие от родившейся в недрах НСДАП службы безопасности, колыбелью тайной государственной полиции («гехаймштатсполицай», сокращенно – гестапо) была Пруссия. Ее особенностью здесь было то, что, оставаясь председателем рейхстага и имперским министром без портфеля, будучи шефом люфтваффе, Герман Геринг одновременно осуществлял и контроль за МВД прусской земли. В марте 1933 г. он стал и премьер-министром Пруссии. Уволив из 71 тыс. человек личного состава прусской полиции почти 1,5 тыс. высших и старших чиновников, подчинив себе охранно-карательный орган, на все его руководящие посты он назначил исключительно приверженцев нацистской партии. Гестапо стало самостоятельной и независимой организацией, подотчетной лишь одному человеку – Герингу.
10 февраля 1936 г. Геринг подписал указ, впоследствии названный основным законом тайной государственной полиции. В нем подчеркивалось, что гестапо поручается расследование деятельности враждебных государству сил на всей территории, а его приказы и дела не могут подвергаться рассмотрению административными судами. В частности, ст. 1 гласила: «На гестапо возлагается задача разоблачать все опасные для государства тенденции и бороться против них, собирать и использовать результаты расследований, информировать о них правительство, держать власти в курсе наиболее важных для них дел и давать им рекомендации к действию».