Для выработки мер по реорганизации разведки Политбюро создало специальную комиссию в составе Ф.Э. Дзержинского (председатель комиссии), И.В. Сталина, Д.И. Курского и др. На основе предложений этой комиссии в ВЧК был подготовлен приказ № 169 о создании Иностранного отдела ВЧК, подписанный Дзержинским 20 декабря 1920 года. В нем говорилось:
«1. Иностранный отдел Особого отдела ВЧК расформировать и организовать Иностранный отдел ВЧК.
2. Всех сотрудников, инвентарь и дела Иностранного отдела Особого отдела ВЧК передать в распоряжение вновь организуемого Иностранного отдела ВЧК.
3. Иностранный отдел ВЧК подчинить начальнику Особого отдела тов. Менжинскому.
4. Врид.[1] начальника Иностранного отдела ВЧК назначается тов. Давыдов, которому в недельный срок представить на утверждение Президиума штаты Иностранного отдела.
5. С опубликованием настоящего приказа все сношения с заграницей, Наркоминделом, Наркомвнешторгом, Центроэваком и Бюро Коминтерна всем отделам ВЧК производить только через Иностранный отдел.
Председатель ВЧК Дзержинский»С момента подписания этого приказа — 20 декабря 1920 года — разведка органов государственной безопасности СССР, а ныне Служба внешней разведки России, и ведет свою историю.
В первозданном виде Иностранный отдел был малочислен и прост в организационном отношении. Он состоял из начальника и двух помощников, канцелярии, бюро виз (на ИНО в то время была возложена задача обеспечения паспортно-визового режима), агентурного и иностранных отделений.
Первым начальником разведки был назначен, как это следует из пункта 4 приказа № 169, Давыдов. Его настоящее имя было Давтян Яков Христофорович. Он был профессиональным революционером. В 1908 году в Петербурге его арестовала полиция, но выпустила под залог, и он выехал в Бельгию, где учился в Брюссельском политехническом институте. В тоды Первой мировой войны Давтян был помещен немцами в лагерь для интернированных и вернулся в Россию только после революции. Участвовал в Гражданской войне. Затем выполнял ряд ответственных поручений по линии Народного комиссариата иностранных дел, в частности выезжал во францию с миссией Красного Креста для возвращения русских воинов на родину. Давтяна лично знали Ленин и Дзержинский. В 1920 году он занимал пост заведующего отделом Прибалтийских стран и Польши в НКИД. Дзержинский считал его наиболее подходящим человеком на должность руководителя разведки. Став им под фамилией Давыдов (в целях конспирации, так как фамилия Давтян была известна иностранцам), он продолжал одновременно работать в НКИД. В 1922 году Давтян оставил разведку в связи с назначением полпредом в Литву и с тех пор работал только по дипломатической линии.
На посту начальника ИНО Давтяна — Давыдова на короткое время сменил Могилевский, а затем Михаил Абрамович Трилиссер (1922–1930). Он также был старым партийным подпольщиком. Провел 8 лет на каторге и в ссылке. В годы Гражданской войны был военным комиссаром и руководителем ЧК в Сибири и на Дальнем Востоке. В 1918 году с ним произошел уникальный случай, когда он попал в плен к бандитам и был ими повешен. Но напавшие в момент казни партизаны отбили Трилиссера и сняли его с дерева, на суку которого он уже висел. К удивлению партизан, а потом и врачей, Трилиссер оказался еще живым. В годы, когда Иностранным отделом руководил Трилиссер, происходило становление советской разведки. Отличительной чертой этого периода было осуществление вербовок «под чужим флагом», широкое привлечение к работе в разведке эмигрантов и, в силу малочисленности кадровых сотрудников, организация самостоятельных агентурных групп и использование агентов-вербовщиков.
Трилиссер разработал «Положение о Закордонном отделении (резидентуре) Иностранного отдела ВЧК», в котором были сформулированы основные задачи, естественным образом вытекавшие из создавшейся ситуации:
«Вся разведывательная работа в иностранных государствах проводится с целью:
— выявления на территории каждого государства контрреволюционных групп, ведущих деятельность против РСФСР;
— тщательного разведывания всех организаций, занимающихся шпионажем против нашей страны;
— освещения политической линии каждого государства и его экономического положения;
— добывания документальных материалов по всем указанным направлениям работы».
Борьба с контрреволюцией за рубежом, так называемая «белая линия», рассматривалась-руководством советской разведки в качестве главной задачи вплоть до конца 30-х годов, пока не была окончательно подорвана деятельность РОВСа (Российский общевоинский союз).