В соответствии с утвержденным 6 февраля 1922 года ВЦИК РСФСР Положением о Государственном Политическом Управлении, председателем ГПУ являлся народный комиссар внутренних дел или назначаемый Совнаркомом его заместитель. Коллегия ГПУ образовывалась при Председателе, с утверждением правительством ее членов.
Для объединения руководства и координации работы органов государственной безопасности на местах, в автономных республиках создавались полномочные представительства.
В соответствии с телеграфным указанием ВЧК от 9 февраля 1922 г. Полномочное Представительство ВЧК на территории Туркестана было реорганизовано в Полномочное Представительство Государственного Политического Управления, а Туркестанская Чрезвычайная Комиссия преобразовывалась в государственное Политическое Управление Туркестанской республики.
28 марта 1922 года в соответствии с приказом Полномочного Представителя ГПУ на территории Туркреспублики был создан Туркестанский отдел ГПУ, а в областях учреждались областные отделы ГПУ. Вместо политбюро был создан институт уездных уполномоченных областных отделов ГПУ.
3 августа 1922 года на основании приказа ПП ГПУ на территории Туркестана отдел госполитуправления Туркестана был переименован в Государственное Политическое Управление при Туркестанском ЦИК.
Партия и правительство возложили на ГПУ и его органы на местах важные и ответственные задачи: подавление открытых контрреволюционных выступлений, борьбу с бандитизмом, шпионажем, охрану водных и железнодорожных путей сообщения, охрану границ, борьбу с контрабандой и незаконным переходом границ. Все дела, раскрытые и расследовавшиеся органами ГПУ как о преступлениях, направленных против существующего строя, так и иных преступлениях, подлежали разрешению исключительно в судебном порядке.
Только в отдельных случаях, предусмотренных специальными актами, органам ГПУ предоставлялись особые полномочия. Так, например, в целях ликвидации всевозможных бандитских нападений и вооруженных ограблений органам ГПУ предоставлялось право применения карательных мер вплоть до расстрела. Меры эти, однако, могли применяться лишь в тех случаях, когда преступники были задержаны на месте преступления указанных преступлений с поличным. Из соображений охраны государственной безопасности органам ГПУ предоставлялось также право применения высылки в административном порядке сроком до трех лет, но только в отношении тех лиц, которые были причастны к совершению контрреволюционных преступлений.
Деятельность ГПУ в системе НКВД РСФСР продолжалась сравнительно недолго. При создании в конце 1922 года Союзного государства, договором об образовании Союза Советских Социалистических Республик, в целях объединения усилий Союзных республик по борьбе с контрреволюцией и наилучшего обеспечения охраны государственной безопасности, руководство этой отраслью государственной работы согласно постановлению Президиума ЦИК СССР от 2 ноября 1923 года было отнесено к ведению Союза ССР, и был создан единый для всей страны орган охраны государственной безопасности — Объединенное Государственное Политическое Управление (ОГПУ) при Совете Народных Комиссаров СССР.
В принятом 15 ноября 1923 года положении на ОГПУ возлагалось: руководство работой Государственных Политических Управлений союзных республик и им подведомственных Особых Отделов военных округов, а также транспортных органов Государственных Политических Управлений на железных дорогах и водных путях сообщения на территории соответствующих союзных республик; непосредственное руководство и управление Особыми Отделами фронтов и армий, организация охраны границ Союза ССР, непосредственная оперативная работа в общесоюзном масштабе.
Система органов ОГПУ состояла из Государственных Политических Управлений союзных и автономных республик, политических отделов при Исполкомах местных Советов. В Красной Армии органами ОГПУ являлись Особые Отделы.
Новое положение ясно и четко регламентировало те средства и способы, с помощью которых органы государственной безопасности должны были выполнять возложенные на них задачи.
Таким образом, к концу 1923 года завершилась принципиальная перестройка органов государственной безопасности. Аппарат ОГПУ был сокращен, но вместе с тем укреплен качественно.
Реорганизуя органы государственной безопасности, партия и правительство продолжали уделять самое пристальное внимание укреплению их проверенными и честными работниками.
В мае 1922 года ЦК партии по ходатайству Коллегии ГПУ, в целях сохранения в рядах органов государственной безопасности старых, опытных работников, дал указание местным партийным организациям о том, что коммунисты, работающие в органах ГПУ на местах, могут перемещаться на другую работу только по согласованию этого вопроса с соответствующими органами государственной безопасности. Одновременно всем партийным организациям было предложено всемерно укреплять органы ГПУ стойкими и верными сотрудниками.