Общий штат органов ОГПУ в 1922–1923 гг., включая сотрудников центрального и местных аппаратов, составлял около 120 тыс. человек. 36 тыс. из них были сексотами (секретными сотрудниками), численность которых в четыре-пять раз превышала число сексотов в России в 1914 г. В структуру ОГПУ входили Коллегия, Спецотдел, несколько центральных управлений (Секретно-оперативное, погранохраны и др.), ОСО, территориальные отделы – губернские, областные, Особые (в армии и на флоте), транспортные, полномочные представительства и другие подразделения. Задачи ОГПУ остались прежними: борьба с антибольшевицким сопротивлением и защита власти партийной номенклатуры, цензура, контрразведывательная деятельность, охрана транспорта, коммуникаций и госграницы, выполнение спецзаданий высших советских и партийных органов. К 1929 г. 66 % сотрудников центрального аппарата ОГПУ состояли в ВКП(б), среднее и высшее образование имели лишь 20 %. По национальному составу по-прежнему преобладали русские (64,8 %) и украинцы (8,2 %).
Смысл существования органов госбезопасности в советском государстве лаконично выразил М.Я. Лацис: «Нет такой области жизни, на которую бы не распространялась деятельность ВЧК». Расширявшаяся сеть сексотов, подавление любой оппозиции, превентивные аресты и постоянное «изъятие антисоветского элемента» даже в «либеральные» годы НЭПа позволяли ОГПУ сохранять и укреплять «политконтроль». В 1924–1925 гг. начальник Секретного отдела Т.Д. Дерибас считал необходимым держать под постоянным наблюдением более 2 млн (!) человек. Аппарат ОГПУ отрицательно относился к НЭПу, добиваясь ужесточения репрессий, в первую очередь против интеллигенции, духовенства и зажиточных крестьян. В ходе оперативно-следственных мероприятий чекисты обычно практиковали шантаж, запугивание и другие формы давления. В 1924 г. органы ОГПУ репрессировали по политическим мотивам 12 425 человек, в 1926 – 17 804, в 1927 – 26 036, в 1929 – 33 757. Всего в 1921–1929 гг. в СССР за «контрреволюционные преступления» были осуждены около 600 тыс. человек.
К 1923 г. почти все места заключения находились в ведении НКВД РСФСР, органы ГПУ имели лишь несколько политизоляторов и лагерное управление (северных лагерей). На его базе 13 октября 1923 г. решением Совнаркома было создано Управление Соловецкого лагеря принудительных работ особого назначения (УСЛОН) ОГПУ. География УСЛОН охватывала Соловецкие острова и Кемь (ближайший к Соловецкому архипелагу город на материке), затем она распространилась на Северное Приуралье и Кольский полуостров. Всего в 1923 г. в системе ОГПУ находились около 7 тысяч заключенных, в т. ч. в УСЛОНе – 2557 человек. В места заключения в системе ОГПУ направлялись «политические преступники» и опасные рецидивисты. В обыкновенных тюрьмах к этому времени содержалось около 80 тыс. человек.