Внутри Особого отдела ВЧК в апреле 1920 года создается специальное подразделение — иностранное отделение. В связи с серьезными неудачами советской разведки во время войны с Польшей в сентябре 1920 года Политбюро ЦК РКП(б) приняло решение о ее кардинальной реорганизации. Была создана специальная комиссия, в которую вошли И. В. Сталин, Ф. Э. Дзержинский и другие видные деятели партии. На основании разработанных комиссией предложений 20 декабря 1920 года Дзержинский подписал приказ № 169 о создании уже самостоятельного Иностранного отдела Всероссийской чрезвычайной комиссии (ИНО ВЧК). Этот день и принято считать днем рождения разведки ВЧК — КГБ— СВР.
С этого момента дело внешней разведки было сконцентрировано в одних руках. Для работы стали подбираться специальные кадры. Первым руководителем ИНО (до этого он возглавлял иностранное отделение Особого отдела) был назначен большевик с подпольным стажем Давтян (Давыдов) Яков Христофорович. С 1921 по 1922 год разведку возглавлял С. Г. Могилевский. От эпизодических посылок агентов перешли к организации зарубежных резидентур. Разведкой стали заниматься профессионально.
В январе 1922 года ВЧК была распущена и вместо нее создано ГПУ при НКВД. После создания СССР ГПУ было преобразовано в ОГПУ при СНК СССР. ИНО вошел в состав созданного в ОГПУ Секретно-оперативного управления. С 1922 года ИНО возглавил Меер Абрамович Трилиссер. Вместе с собой он привел в разведку большую группу своих соратников по подпольной борьбе в царское время и в период Гражданской войны и интервенции на Дальнем Востоке. Двое из них — С. Г. Вележев и А. В. Логинов (Бустрем) — стали его заместителями. Остальные: Я. Минскер, А. Нейман, М. Бо-деско, А. Мюллер и другие — стали ответственными работниками отдела. Отдел был значительно расширен и укреплен кадрами. Центральный аппарат в этот период достигал 70 человек. К 1930 году общий штат ИНО достиг 122 человек, из них 62 — сотрудники резидентур за рубежом.
С января 1923 года по предложению заместителя председателя ОГПУ И. С. Уншлихта для ведения активной разведки было создано специальное Бюро по дезинформации. В Дезинфбюро вошли представители от ЦК ВКП(б), НКИД, а также РВСР и Разведупра Штаба РККА. Позднее этот межведомственный орган сыграл важную роль в знаменитых операциях «Трест» и «Синдикат», а также в ряде других аналогичных операциях: «Д-7» (1924–1929) с участием легендированной «Военной организации» бывших офицеров-монархистов в Ленинграде; «С-4» (1924–1932) с участием легендированной «Внутренней русской национальной организации» (ВРИО); операции «Заморское» (1929–1932) с участием легендированной антисоветской организации «Северо-Кавказская военная организация» (СКВО); операции «Академия» (1929–1934). Во всех перечисленных операциях активно действовала агентура ИНО.
В октябре 1925 года Ф. Э. Дзержинский поставил вопрос об организации при ИНО ОГПУ научно-технической разведки как особого органа по добыванию информации о технических достижениях за границей. Вскоре такое подразделение было создано, и с 1930 года этой работой в Центре стало заниматься 8-е отделение ИНО, которым руководил печально прославившийся впоследствии под именем Александра Орлова Л. Л. Никольский (Фельбин).
В 20—30-е годы разведка добывала информацию о планах и намерениях противников СССР, способствовала прорыву политической изоляции и экономической блокады, предпринимавшейся западными странами (США признали СССР только в 1933 году), добывала научно-техническую и экономическую информацию, нейтрализовала подрывную деятельность белоэмигрантских организаций и иностранных спецслужб.
Например, в 1922 году во время работы экономической конференции в Генуе страны Антанты пытались поставить Советскую Россию в условия международной изоляции и диктовать ей свою волю. Разведка во многом способствовала тому, чтобы советская делегация успешно вышла из сложного положения, заключив в Рапалло (пригород Генуи) договор с Германией об установлении дипломатических и экономических отношений. Разведка же предупредила готовившийся террористический акт над главой делегации наркомом Г. В. Чичериным, накануне и в ходе конференции снабжала делегацию информацией о планах и намерениях западных стран.
В 1927 году резидентурами в Харбине, Токио и Сеуле был добыт секретный план захвата Японией районов советского Дальнего Востока, Китая, Монголии и стран Юго-Восточной Азии, известный в дипломатической литературе как «Меморандум Танаки» (по имени его автора __ тогдашнего премьер-министра Японии). Публикация этого документа через возможности разведки в иностранной печати вызвала в мире резкие антияпонские настроения, разоблачила агрессивные замыслы японских милитаристов в отношении СССР.