Однако основным центром зарубежной разведывательной работы продолжал оставаться ОМС. В 1921—1922 годах им были созданы новые или реорганизованы существующие конспиративные пункты связи в Австрии (Вена), Швеции (Стокгольм), Норвегии (Варде), Китае (Шанхай).
ОМС и его пункты связи нелегально переправляли в Москву и обратно людей и грузы, издавали и распространяли агитационную литературу, занимались изготовлением поддельных паспортов, организацией явочных квартир.
Из-за того, что у абсолютного большинства компартий не было опыта ведения строго законспирированной работы в области связи, пришлось вести эту работу «сверху вниз» и замкнуть руководство ею на ОМС. Пункты связи в странах подчинялись непосредственно только ОМС, они были ограждены от какого-либо контроля со стороны руководства компартий соответствующих стран. Не вмешиваясь и не влияя на работу пунктов связи, руководители компартий выполняли в то же время отдельные просьбы заведующих этими пунктами. Такое положение сохранялось до тридцатых годов, когда руководители компартий стали не только активно привлекаться центром к работе пунктов связи, но и нередко сами выполняли эту работу.
Основных работников пунктов связи ОМС назначал, главным образом, из числа функционеров не стран местонахождения пункта, а других партий, часто из числа эмигрантов. Это обостряло психологическую напряженность и резко повышало степень риска и возможность провалов из-за усиливавшихся полицейских репрессий. Частые челночные рейсы курьеров также могли вызвать подозрения у полиции. Зачастую курьеры были не простыми «почтальонами», а имели для передачи серьезные устные поручения руководства, порой выполняли даже контрольные функции. Поэтому они подбирались из числа умных, толковых коммунистов, хороших конспираторов. С «должности» курьера начинал свой боевой путь замечательный советский разведчик А. Дейч, будущий вербовщик Кембриджской и Оксфордской агентуры.
Но какими бы толковыми и изворотливыми ни были курьеры, провалы все же были. Это привело в 1923 году к необходимости использования ОМСом фельдъегерской службы Государственного политического управления (ГПУ), преемника ВЧК. В апреле 1923 года новый заведующий ОМС П. Вомпе и начальник фельдъегерского корпуса П. Митрофанов подписали соглашение «на предмет использования фельдъегерской связи ГПУ для нужд отдела международной связи». В соглашении указывалось, что ОМС должен давать своим органам «распоряжения о выдаче местным отделам ГПУ соответствующих полномочий на право получения корреспонденции ОМСа». ОМС должен также «сообщать в фельдкорпус ГПУ дислосведения о расположении своих местных органов и всякие последующие изменения расположения таковых для включения в расписание маршрутов». Таким образом, ГПУ располагало полной картиной дислокации всех пунктов ОМС на территории СССР и других стран.
В порядке взаимодействия ГПУ через ОМС предупреждал гостей Коминтерна об опасностях, ожидающих их при возвращении на родину (обыски или аресты на границе, готовящиеся преследования полиции). ИНО ГПУ, руководимый Трилиссером, запрашивал у ОМС сведения о деятелях зарубежных партий, прибывающих в СССР, а также обеспечивал ОМС интересующими его разведку данными.
13 мая 1922 года Трилиссер писал О. Пятницкому: «Некоторые из материалов, получаемые от наших резидентов из-за границы, могущие заинтересовать Коминтерн, мы направляем Вам. Я бы просил каждый раз по получении от нас таких материалов давать заключения по ним и сообщать имеющиеся у вас сведения по вопросам, затронутым в этих материалах».
Конспиративный характер деятельности ОМС, проводимые им нелегальные заграничные операции побуждали использовать разные «крыши». Значительная часть печатной продукции, различных грузов и товаров, предназначенных для Коминтерна, шла в Москву в адрес Наркомата внешней торговли. Коминтерновские телеграммы и радиограммы за границу передавались компартиями только через НКИД (была даже учреждена должность «представителя ИККИ при НКИД по отправке радиотелеграмм»). Для перевозки людей и грузов ОМСу выделялись, по распоряжению Политбюро и Совнаркома, специальные железнодорожные вагоны и торговые суда.
Помимо прочего, ОМС руководил своими пунктами, созданными в основном в портовых городах СССР и зарубежных стран, которые занимались переправой людей и грузов нелегальным путем в СССР и обратно, а также внедрением нелегалов в другие страны.
Например, для организации связи с иранской компартией в 1924 году существовал Бакинский пункт ОМС, который, как сказано в одном из документов ИККИ, «выделил нужное количество состоявших в Азербайджанской компартии товарищей, знавших условия нелегальной работы в Персии и проверенных на советско-партийной работе в Советском Азербайджане через соответствующие органы ОГПУи АКП(б), избегая, без крайней необходимости, товарищей, находившихся или известных в Баку. Поручал отобранным товарищам легализоваться и обосноваться в Персидском Азербайджане (в частности, путем содержания хозрасчетных чайхан, лавочек и т.п. заведений) для организации и содержания с помощью Восточного секретариата ИККИ явочных пунктов на персидской территории. Конкретно местонахождение пунктов определялось по выяснении местных условий. Уделял особое внимание использованию автомобильного сообщения путем установления связей с шоферами и организации хозрасчетного пассажирского грузового автомобильного сообщения (Джульфа, Алаблар, Решт)».
IV Конгресс, исходя из того, что ряд секций Коминтерна находится на нелегальном положении, а также считаясь с вероятностью периода нелегальной работы для некоторых других партий, поручил Президиуму ИККИ «заняться подготовкой соответствующих партий к этой нелегальной работе». С этой целью Оргбюро ИККИ 19 декабря 1922 года создало нелегальную комиссию в составе: М. Трилиссер (начальник ИНО), О. Пятницкий, Г. Эберлейн, Э. Прухняк (впоследствии вместо двух последних — Е. Ярославский и В. Мицкевич-Капсукас). С 4 января 1923 года комиссия стала именоваться Постоянная нелегальная комиссия (ПНК).
На первых же заседаниях ПНК рассмотрела вопросы о конспиративной работе компартий Италии, Австрии, Югославии, Чехословакии, Литвы. Согласилась с тем, что Политбюро компартии Литвы не может находиться в данный момент «в пределах Литвы», но отвергла предложение А. Грамши о создании руководящего органа компартии Италии за пределами страны. ПНК осудила путчистскую тактику нелегальной организации в Австрии.
Как и комиссия по работе в армии (имеются в виду зарубежные армии), ПНК действовала при участии ответственных деятелей ВЧК (затем ГПУ) и Реввоенсовета СССР. С этой целью в ее состав в августе 1923 года были введены заместитель Председателя ВЧК И. Уншлихт, К. Радек и начальник Политуправления РВС В. Антонов-Овсеенко.
ПНК проводила специфическую работу: выясняла, существуют ли в тех или иных странах нелегальные партийные организации, каковы их формы и размеры, как поставлена связь внутри нелегальной организации, какими методами осуществляется работа в армии, существуют ли боевые отряды, какова связь с комсомолом. Комиссия занималась также подготовкой нелегальных явок и типографий, вела наблюдение за фашистскими и белогвардейскими организациями. Особое внимание она уделяла Италии, Германии, Болгарии и Чехословакии. Давала рекомендации по вопросам пользования шифром, хранения списков членов парии и т.д. В сентябре 1923 года, в преддверии возможной революции в Германии, ПНК подчеркнула на своем заседании, что «в связи с назревающими событиями необходимо особое внимание обратить на меры предосторожности и конспирации как в ИККИ, так и в компартиях различных стран». В сентябре 1923 года ПНК рекомендовала ряду партий, ввиду прихода к власти фашистов (Италия, Болгария и др.), передать свои архивы временно в Москву.
Борьба, которую вел Сталин со своими противниками, отразилась и на положении в Коминтерне. На V конгрессе Коминтерна (17 июня — 8 июля 1924 года) в состав ИККИ вошли: Г. Зиновьев (председатель ИККИ), Н. Бухарин, И. Сталин, Л Каменев и А. Рыков, а Л. Троцкий был избран кандидатом. Но уже в июне 1926 года Сталин, утверждая, что «группа Зиновьева», имеющая сильные позиции в ИККИ, «является сейчас наиболее вредной», предложил нанести по ней удар на пленуме ЦК ВКП(б) и вывести Зиновьева из Политбюро. «Возможно, — писал Сталин, — что после этого Зиновьев подаст в отставку по ИККИ. Мы должны ее принять… Это будет разоружение группы Зиновьева».