Но особого впечатления на Ленина он не произвел и высокой должности не сохранил. В апреле 1918 года, после заключения Брестского мира с немцами, его, как знающего иностранные языки и жившего за границей, отправили генеральным консулом в Берлин. Потом перевели на Украину, где он несколько месяцев служил заместителем наркома советской социалистической инспекции. Осенью 1919 года Вячеслав Рудольфович вернулся в Москву. Дзержинский нашел ему работу в ВЧК.
Менжинский до работы в госбезопасности и во время этой работы — два разных человека. Не очень понятно: служба так меняет человека? Или же в нем проявились доселе скрытые черты характера?
Менжинский докладывал о работе особых отделов, о ситуации в армии и не только в армии двум начальникам — Дзержинскому и Троцкому. Причем Лев Давидович как член политбюро и глава вооруженных сил был куда более важной фигурой, чем председатель ВЧК. Поэтому военные чувствовали себя уверенно и не боялись чекистов. В Гражданскую войну разгневанный командарм запросто мог арестовать начальника особого отдела, если у них не складывались отношения. После ухода Троцкого из армии ситуация радикально изменится.
В 1922 году в ГПУ образовали самостоятельный контрразведывательный отдел, который взял на себя борьбу со шпионажем, антисоветскими заговорами и подрывной работой эмиграции. Особистам остался только контроль над вооруженными силами. Зато особые отделы изначально получили больше самостоятельности, чем другие подразделения госбезопасности.
Девятого марта 1922 года политбюро утвердило положение об особых отделах, перечислив их задачи:
«а) Борьба с контрреволюцией и разложением в Красной армии и во флоте.
б) Борьба со шпионажем во всех его видах (разведывательным и вредительским), направленным против интересов РСФСР как со стороны окружающих республику государств и их отдельных партий, так и со стороны русских контрреволюционных партий и групп.
в) Борьба с открытыми контрреволюционными выступлениями и вспышками (бандитизмом) путем разведки сил противника и разложения его рядов.
г) Охрана границ РСФСР и борьба с политической и экономической контрабандой и незаконным переходом границ.
д) Выполнение специальных заданий Реввоенсовета Республики и Реввоенсоветов фронтов, армий и военных округов…»
Особые отделы создавали «агентурно-осведомительный аппарат в армии, на флоте и среди гражданского населения, имеющего непосредственное соприкосновение с войсковыми частями». Сами особисты вели следствие «по делам о контрреволюции, шпионаже, диверсии, измене Родине, вредительстве в РККА и Военно-Морском флоте, войсках НКВД и среди указанного выше гражданского населения». Сами проводили обыски и аресты.
В конце января 1925 года в Москве прошел II съезд особых отделов. Выступали Дзержинский, его заместитель Генрих Григорьевич Ягода, начальник контрразведывательного отдела Артур Христианович Артузов, заместитель начальника особого отдела ВЧК Роман Александрович Пилляр (дальний родственник Дзержинского; его настоящее имя — Ромуальд фон Пильхау, но в юности он порвал с отцом-бароном).
На съезде, в частности, обсуждался вопрос о разграничении функций с контрразведывательным отделом. Роман Пилляр объяснил коллегам: особисты должны сосредоточиться на изучении армейской среды и борьбе с контрреволюцией в армии. Поэтому за особистами и утвердилась репутация надсмотрщиков, и армейские офицеры их не любили.
Под руководством Менжинского особые отделы опутали соединения, части и подразделения вооруженных сил, все красноармейские коллективы сетью негласных осведомителей. Особисты информировали начальство не только о ходе боевой подготовки и учебы, но и о настроениях бойцов и командиров; в первую очередь их интересовали политические взгляды и жизненные устремления командного состава.
Уловив специфический интерес особистов, осведомители запоминали каждое сомнительное словечко своего командира. В результате накапливался компрометирующий материал, который в любой момент можно было пустить в ход.
При Троцком вооруженные силы могли постоять за себя. 15 октября 1922 года комиссар Морских сил Республики Вячеслав Иванович Зоф пожаловался Троцкому, что ГПУ ведет расследование по поводу контрреволюционных настроений на Балтийском флоте: «Самый вопрос был внесен ГПУ в Политбюро во время Вашего отсутствия из Москвы и без всякого предварительного ознакомления Морского ведомства… Вновь подтверждаю, что, несмотря на все попытки с моей стороны в Москве и со стороны руководящих опытных работников Балтфлота в Петрограде установить постоянные нормальные отношения в работе Морведа с органами ГПУ, со стороны последних до сего времени наблюдается явно предвзятое отношение к флоту».