21 сентября 1920 года под руководством Л. М. Брагинского стал действовать Административный отдел, преобразованный позднее в Управление, начальником которого стал бывший начальник особого отдела Западного фронта И. А. Апетер. Управление занималось разработкой структуры органов ЧК, подбором и расстановкой кадров, учетом личного состава, проверкой работы местных ЧК. 29 июля 1920 года Совнарком ввел в состав Коллегии ВЧК новых членов: В. Н. Манцева — Начальника Центрального управления ЧК Украины, В. Р. Менжинского — нового начальника Особого отдела ВЧК, управделами ВЧК Г. Г. Ягоду, начальника Транспортного отдела ВЧК Н. Н. Зимина, заместителя председателя МЧК С. А. Мессенга и заместителя наркома внутренних дел, начальника войск внутренней охраны В. С. Корнева.
26 ноября 1920 года при Президиуме ВЧК создается Специальное отделение по охране партийных и государственных деятелей и правительственных объектов, которое возглавил сотрудник ВЧК, начальник охраны Ленина А. Я. Беленький. Весной 1921 года, одновременно с проведением в России экономической реформы, началась перестройка работы советского государственного аппарата, которая привела к очередным изменениям в системе органов государственной безопасности. Приказом ВЧК от 14 января 1921 года было образовано Секретно- оперативное управление, которое возглавил В. Р. Менжинский. Его заместителем стал Г. Г. Ягода, помощником начальника был назначен А. Х. Артузов.
В Особых отделах ВЧК находилась служба военной цензуры. Инструкция содержала подробное изложение методов перлюстрации и требовала соблюдения строжайшей конспирации. 13 августа 1921 года военная цензура была возложена на Информационный отдел. На Секретный отдел Управления возлагались выявление и борьба с антисоветской деятельностью монархистов, кадетов, меньшевиков, эсеров, оппозиционно настроенного духовенства. Отдел включал работу 9 отделений по различным направлениям. С конца 1920 года, согласно приказу ВЧК, в Секретном отделе постановке на постоянный учет подлежали все выявленные члены небольшевистских партий и других организаций.
Оперативный отдел управления осуществлял ведение наружной разведки и установки. В отдел входили секретариат, оперативное отделение, техническое отделение, активная часть Оперода, отделение обработки материалов, бюро обработки, бюро печати, регистрационно-статистическое отделение, справочное бюро, бюро розыска, бюро статистики, архив. В управление был включен и Иностранный отдел. В течение 1921 года легальные резидентуры были созданы в Англии, Франции и Германии, одновременно осуществлялось развертывание нелегальной разведки. Во внешнюю разведку направлялись опытные члены партии, а основные линии разведывательной работы определялись ЦК РКП(б). Параллельно внешнюю разведку осуществляло Разведывательное управление Штаба Красной Армии. Для координации деятельности двух независимых разведок предусматривался ввод в состав Коллегии ВЧК начальника Разведуправления.
28 марта 1921 года в Секретно-оперативное управление вошел Информационный отдел. На него возлагались задачи организации и обеспечения партийного и советского руководства информацией о политическом и экономическом положении страны и отдельных регионов. Позднее в инструкции для местных органов ВЧК стали указываться источники информации: доклады осведомителей в учреждениях и на предприятиях, уполномоченных ВЧК на местах, сведения о различных происшествиях, следственный и агентурный материал, периодическая печать, народная молва (слухи).
25 января 1921 года было создано Экономическое управление, а на местах — отделы по борьбе с саботажем, спекуляцией и преступлениями по должности. Экономическое управление насчитывало по штату около 400 человек и состояло из Отдела надзора и публичного обвинения, статистико-экономического отдела, 15 следователей, которые курировали деятельность наркоматов и другие центральные учреждения. 28 марта 1921 года при ВЧК был создан Специальный отдел, на который были возложены функции координации и контроля ведомственных шифровальных служб и централизованной организации в государственных учреждениях секретного делопроизводства. 5 мая 1921 года правительство приняло постановление об обязательном исполнении государственными учреждениями распоряжений и циркуляров Спецотдела по вопросам шифровального дела. В 1920 году в отделе были сформированы отделения радиоперехвата, изготовления документов, химическая лаборатория. В августе 1921 года была создана и начала работать Следственная часть Президиума ВЧК. Ей предоставлялось право возбуждения и проведения следствия по преступлениям, совершенными сотрудниками ВЧК, выдачи санкции на высшую меру наказания и конфискацию имущества, надзора за ведением следствия в органах ЧК и содержанием заключенных.