Учтя уроки процесса правых эсеров, ГПУ усилило борьбу с антисоветской деятельностью членов других буржуазных и мелкобуржуазных политических партий. Особое внимание при этом Дзержинский уделил партии меньшевиков, которая в то время активизировала антисоветскую агитацию среди рабочих. Дзержинский определил и тактику борьбы ГПУ с меньшевиками: сокрушительный удар по меньшевиствующей интеллигенции и метод убеждения по отношению к рабочим; уничтожение связей меньшевиков с заграницей и их печатной техники; чистка от меньшевиков государственного аппарата и высылка активных меньшевиков из пролетарских центров.
Эта борьба очень скоро принесла свои плоды. На протяжении последующих лет во многих республиках, областях и крупных городах прошли конференции бывших рядовых меньшевиков, которые заявили о полном разрыве с меньшевизмом и о ликвидации подпольных меньшевистских организаций. В 1923 году самоликвидировались все меньшевистские организации.
Состоявшаяся в августе 1922 года XII партийная конференция обратила внимание всей партии на то, «какие новые группировки и перегруппировки образуются в антисоветском лагере, как… изменяется в связи с новой полосой революции тактика антисоветских партий, течений…» Конференция указала, что эти партии и течения взяли курс на «врастание» в советский режим, который они надеялись «постепенно изменить в духе буржуазной демократии», в своих контрреволюционных целях они пытаются использовать советскую легальность: съезды врачей и агрономов и в особенности кооперацию.
В решении конференции подчеркивалось, что революция все еще находится в опасности; остается тесная связь международной империалистической реакции с русскими антисоветскими партиями и течениями; эти партии и течения еще не раздавлены. «Они меняют тактику и, приспособляясь к новым условиям, стремятся, опираясь на европейскую капиталистическую реакцию, обойти Советскую власть с тыла».
Коммунистическая партия своевременно вскрыла изменения в тактике классового врага, призвала всех членов партии, рабочий класс и крестьянство к повышению бдительности. Партия разоблачила измышления буржуазии и ее агентуры о перерождении советского строя, противопоставила буржуазному влиянию целый ряд мер идеологического порядка. Вместе с тем она указала, что «нельзя отказаться и от применения репрессий» по отношению к тем элементам, которые сотрудничество с Советской властью использовали в качестве политического прикрытия контрреволюционных деяний.
Решения XII партийной конференции дали политическую ориентировку партии, органам государственной безопасности. Они имели огромное значение для всей последующей деятельности ГПУ.
Выполняя решения XII партконференции, коллегия ГПУ наметила и осуществила ряд мероприятий по усилению борьбы с антисоветской деятельностью членов буржуазных и мелкобуржуазных политических партий. Подчеркивая важность этой работы, Ф. Э. Дзержинский говорил: «Теперь нам нужно особенно зорко присматриваться к антисоветским течениям и группировкам». Вся эта работа должна проводиться под руководством большевистских партийных комитетов.
Разгром мелкобуржуазных партий имел неоценимое значение для достижения успехов в социалистическом строительстве всех советских народов, объединившихся в декабре 1922 года в единый Союз Советских Социалистических Республик.
Для обеспечения государственной безопасности в пределах всего Советского государства было образовано Объединенное государственное политическое управление (ОГПУ) при Совете Народных Комиссаров. Председателем ОГПУ постановлением Совнаркома от 18 сентября 1923 года был назначен Дзержинский, а его первым заместителем Менжинский.
На плечи Менжинского легла большая ответственность за обеспечение государственной безопасности страны в весьма сложной международной обстановке. Эта ответственность усугублялась еще и тем, что 2 февраля 1924 года на сессии ЦИК СССР Дзержинский был назначен председателем Высшего Совета Народного Хозяйства (ВСНХ). Руководство восстановлением промышленности, и прежде всего тяжелой, требовало напряжения всех физических и моральных сил. Будучи председателем ВСНХ, Дзержинский, как отмечал позднее Менжинский, «оперативной работе все меньше и меньше мог отдавать времени».
Враги партии назначение Менжинского на пост первого заместителя председателя ОГПУ пытались изобразить как случайность. Но Дзержинский не случайно предложил назначить своим первым заместителем Менжинского, и Центральный Комитет партии поддержал это предложение.