Наиболее важной частью ИНО было закордонное отделение, ведавшее разведкой за рубежом с легальных и нелегальных позиций. Первоначально было шесть географических секторов, которые должны были заниматься агентурной работой за рубежом. Позднее сектора стали называться отделениями, а их число увеличивалось по мере появления новых зарубежных резидентур.
В конце 1925 года Эйтингон выехал в свою первую заграничную (и долгосрочную) командировку — в Китай. Перед отъездом состоялась встреча, о которой он сам рассказал через полвека, в середине 70-х годов, в письме члену Политбюро ЦК КПСС, председателю КГБ СССР Юрию Владимировичу Андропову:
«В 1925 году, перед отъездом в Китай (это был мой первый выезд за кордон), я вместе с бывшим в то время начальником иностранного отдела ГПУ тов. Трилиссером был на приеме у товарища Дзержинского. Он, после того как коротко объяснил обстановку в Китае и указал, на что следует обратить особое внимание, сказал: „Делайте все, что полезно революции“. И я следовал всю жизнь этому напутствию и делал всегда то, что считал полезным и нужным Советской власти и партии …». Это была последняя встреча Наума Эйтингона с Феликсом Эдмундовичем, скончавшимся 20 июля 1926 года.
Китай начала 20-х годов был сплошным узлом противоречий. Центральное правительство во главе с лидером партии Гоминдан Сун Ятсеном, пришедшее к власти после революции 1911 года, контролировало только несколько провинций на юге страны. Фактически же Китай был раздроблен на многочисленные полунезависимые территории, где власть принадлежала китайским генералам, которых еще называли «военными лордами» или «провинциальными милитаристами».
Советское правительство стремилось наладить хорошие отношения с демократическими, антиколониальными силами в Китае. В 1923 году Сун Ятсен и советский дипломат Адольф Иоффе подписали первое советско-китайское соглашение. В помощь гоминдановскому правительству в Гуанчжоу (Кантон) была направлена группа советских политических советников под руководством старого большевика Михаила Бородина (Грузенберга). Тогда же Москву посетила делегация Гоминдана, которую возглавлял Чан Кайши. 31 мая 1924 года в Пекине было подписано соглашение «Об общих принципах урегулирования вопросов между СССР и Китайской республикой». 20 сентября 1924 года, в Мукдене был заключен договор с властями, осуществляющими фактический контроль в Северо-Восточном Китае, ставший частью пекинского соглашения. А уже в конце сентября согласно достигнутым договоренностям Советский Союз предоставил Китаю заем в 10 млн. юаней и начал поставлять оружие для формирующейся Народно-революционной армии Китая. С октября 1924 года в Китае работали советские военные советники. Всего же в период с 1924 по 1927 год в Китае работало до 135 советских военных советников, которыми руководили такие известные военачальники как Павел Павлов (утонул в реке в 1924 году), Василий Блюхер, Николай Куйбышев и другие.
Сотрудничеству мешало нахождение на территории Китая большого числа белогвардейцев, ранее воевавших против Красной Армии. Особенно много их было в Маньчжурии, находившейся под контролем китайского генерала Чжан Цзолиня. Действовало множество белогвардейских организаций — монархическое «Богоявленское братство», «Комитет защиты прав и интересов эмигрантов», «Мушкетеры», «Черное кольцо», «Голубое кольцо», вооруженные отряды Анненкова, Глебова, Нечаева, Семенова и других, ставившие своей целью вооруженную борьбу с советским государством. Главными целями советской разведки в Китае были белоэмигранты и японские спецслужбы.
Первая легальная резидентура ИНО ВЧК в Китае была создана в Пекине под прикрытием советской дипломатической миссии в начале 1921 года во главе с Аристархом Ригиным, работавшим под псевдонимом Рыльский. Под его руководством начала создаваться агентурная сеть и региональные резидентуры в других городах, которых вскоре насчитывалось около десяти. В 1922 году Ригина в Пекине сменил Яков Христофорович Давтян, первый начальник ИНО ВЧК, который стал главным резидентом в Китае (до конца 1924 года). В 1925 году новым главным резидентом ИНО ОГПУ в Китае был назначен помощник начальника ИНО Сергей Вележев, работавший в Пекине под псевдонимом Ведерников.
Эйтингон в конце 1925 года прибыл в Шанхай. Шанхайскую резидентуру ИНО возглавлял под прикрытием должности вице-консула с декабря 1925 года Яков Минский. Его заместителем и стал Наум Эйтингон (с этого времени до начала 1940-х годов Эйтингон работал за границей и в центральном аппарате ИНО под именем Леонида Александровича Наумова, многие знали его как Леонида, в то время как в различных официальных документах он выступал под своей фамилией). В шанхайской резидентуре в 1926–1927 годах под прикрытием должности коменданта консульства работал Рудольф Иоганнович Абель, впоследствии полковник разведки, скончавшийся в 1946 году (его именем в 1957 году воспользовался арестованный в США разведчик-нелегал Вильям Фишер, ставший знаменитым как «полковник Абель»).