Во время японской интервенции на Дальнем Востоке он вел подпольную работу в Благовещенске. Два года работал председателем Амурского областного ревкома и членом Дальневосточного бюро ЦК. После X съезда партии в марте 1921 года Трилиссера хотели оставить в аппарате ЦК или Коминтерна, но Дзержинский переманил умелого подпольщика к себе.
В августе 1921 года Трилиссер стал помощником начальника иностранного отдела и руководителем закордонной части, то есть отвечал за работу всех резидентур, легальных и нелегальных. Первоначально нелегальные резидентуры создавались на случай войны. Считалось, что всех разведчиков, работающих под дипломатической крышей, вышлют, а разведчики, находящиеся на нелегальном положении, смогут остаться и продолжат работу. Потом пришли к сочетанию легальных и нелегальных резидентур, вторые брали на себя работу, опасную для официального советского представителя.
Закордонная часть иностранного отдела по положению была «организационным центром, сосредотачивающим все руководство и управление зарубежной работой разведывательного и контрразведывательного характера».
«За границей, — говорилось в положении об иностранном отделе, — в определенных пунктах по схеме, вырабатываемой Закордонной Частью ИНО ГПУ, имеют местопребывание уполномоченные, именующиеся резидентами».
В 1921 году появились легальные резидентуры в Афганистане и Турции, потом в Иране. В 1922-м — легальная резидентура в составе представительства РСФСР в Берлине.
В декабре 1921 года Трилиссера утвердили заместителем начальника иностранного отдела, а 13 марта следующего года он возглавил разведку. При нем начался расцвет советской разведки, впоследствии сведенный на нет сталинскими репрессиями. Меир Абрамович был спокойным и осторожным человеком, избегавшим поспешных шагов. В иностранном отделе его за глаза называли Стариком и Батькой.
При Трилиссере первое поколение советских разведчиков вполне профессионально освоило это ремесло; были выработаны принципы работы заграничных резидентур, приемы переброски за границу нелегалов, методы вербовки агентуры и способы поддержания связи со своими агентами. Переписку с нелегалами вели, используя симпатические чернила — фотографический гипосульфат, который легко приготовить. Разумеется, успехи советской разведки были в значительной степени обусловлены значительной помощью, которую оказывали ей Коминтерн, легальные и нелегальные структуры различных компартий и отдельные коммунисты, считавшие своим долгом помогать Москве.
Трилиссера ценил Вячеслав Рудольфович Менжинский, который в роли заместителя председателя ГПУ — ОГПУ курировал внешнюю разведку. 30 июля 1926 года, через десять дней после смерти Дзержинского, Менжинский занял его место. Трилиссер, в свою очередь, получил должность заместителя председателя ОГПУ. Помимо иностранного отдела он курировал и пограничную охрану, занимался внутренним политическим сыском. Его позиции подкрепило избрание членом Центральной контрольной комиссии ВКП(б).
Трилиссер в июле 1927 года вывел иностранный отдел из состава секретно-оперативного управления ОГПУ (им руководил восходящая звезда советской госбезопасности Генрих Григорьевич Ягода), и теперь разведка фактически подчинялась ему одному.
Менжинский и Трилиссер сделали советскую разведку, возможно, самой сильной в мире. Во-первых, в разведку пришли работать опытные люди, большевики, прошедшие школу подполья, конспирации, борьбы с царской полицией и тюрем. Во-вторых, первое поколение советских разведчиков состояло из людей, родившихся за границей или вынужденно проживших там много лет: они чувствовали себя за рубежом как дома или в прямом смысле дома.
И наконец, самое главное. До появления Советской России считалось, что разведка и контрразведка нужны только во время войны, а в мирное время их распускали, довольствуясь обычной полицией.
Немецкие спецслужбы фактически вообще перестали существовать после поражения в Первой мировой. Соединенные Штаты Америки до Второй мировой войны не имели разведывательной службы и стали создавать ее с помощью англичан лишь после вступления в войну. Англичане сократили штаты спецслужб донельзя, то же сделали и французы. И только аппараты советской политической и военной разведки росли как на дрожжах. Советская Россия считала себя в состоянии войны чуть ли не со всем миром, поэтому вполне естественно для нее было и вести подпольную войну по всему земному шару.