Ни о какой разведывательной работе за кордоном при этом положении не могло быть и речи. Задача состояла в том, чтобы, наряду с созданием аппарата самого отдела, создать и аппарат резидентур за кордоном».
Потери состава были столь велики, что в 1938 году в течение 127 дней подряд из внешней разведки руководству страны вообще не поступало никакой информации. Бывало, что даже сообщения на имя Сталина некому было подписать, и они отправлялись за подписью рядовых сотрудников аппарата разведки. Было арестовано 92 человека и уволено 87 сотрудников. Из резидентур было отозвано 67 человек. В результате репрессий комиссия ЦК в январе 1939 года констатировала, что НКВД не имеет за рубежом практически ни одного резидента и ни одного проверенного агента. Работа И НО практически провалена и, по существу, ее надо организовывать заново.
В результате предпринятых мер к началу 1941 года внешняя разведка имела за рубежом 40 резидентур, в которых действовало 250 оперативников, всего же агентурная сеть внешней разведки насчитывала более трех тысяч человек. Подавляющее большинство из них (70 процентов) были вновь привлеченными сотрудниками.
Чтобы восстановить кадровый состав разведки, в нее по-прежнему направлялись люди с опытом партийной и организационной работы, хорошо зарекомендовавшие себя в армии командиры, окончившие вузы студенты. Однако без организации их специальной подготовки это не решало проблемы. В резидентуры нередко посылались лица, которые не знали иностранных языков, слабо разбирались в вопросах внешней политики, не имели навыков оперативной работы. В токийской резидентуре накануне войны был момент, когда ни один из сотрудников «легальной» резидентуры не знал ни японского, ни какого-либо другого иностранного языка. Аналогичное положение возникло и в ряде других резидентур.
Репрессии не обошли стороной и центральный аппарат внешней разведки. В конце 30-х годов всего несколько месяцев 5-м отделом ГУГБ руководил В. Г. Деканозов. Разведки он не знал. Это скоро стало ясно всем, в том числе и руководству страны. Деканозова срочно направили полпредом в Берлин. В конце 1939 года отдел возглавил Π. М. Фитин, ему был тогда только 31 год. Способный, энергичный, горячо преданный делу человек, он быстро освоил азы разведывательного мастерства, показал себя талантливым организатором. На посту начальника разведки он проработал до 1946 года. На плечи Павла Михайловича легло бремя залечивания нанесенных репрессиями ран, восстановления боеспособности разведки накануне войны.
В том же самом отчете Π. М. Фитина указывалось, что в середине 1940 года в ее центральном аппарате работало 695 человек. К 1941 году благодаря самоотверженной работе сотрудников она сумела восстановить работоспособный агентурный аппарат в Германии, Италии, Англии, Франции, США, Китае. Наиболее крупные резидентуры были в США — 18 человек, Финляндии — 17 человек, Германии — 13 человек. Всего к этому времени внешняя разведка имела 40 резидентур. В них работало 242 разведчика, у которых на связи находилось в общей сложности около 600 различных источников информации. Активно используя их, разведка регулярно получала накануне войны важную информацию о внешней и внутренней политике блока фашистских государств и ведущих западных держав.
После образования 10 июля 1934 года Народного комиссариата внутренних дел СССР Иностранный отдел (ИНО) перешел из упраздненного ОГПУ в состав Главного управления государственной безопасности НКВД. Основными задачами ИНО, как и прежде, оставались:
легальная и нелегальная закордонная разведка; борьба с антисоветскими эмигрантскими террористическими организациями в стране и за рубежом;
выявление интервенционистских планов буржуазных государств;
вскрытие шпионской деятельности иностранных спецслужб и эмигрантских центров и других антисоветских организаций на территории СССР (совместно с другими отделами ГУГБ НКВД);
получение агентурным путем новых технологий для советской промышленности (научно-техническая разведка);
контрразведывательное обеспечение советских колоний и загранучреждений.
Еще с 1930 года был определен общий штат центрального аппарата ИНО в 121 человек. Согласно основным направлениям разведдеятельности в отдел входило восемь отделений:
1- е — нелегальная разведка;
2- е — вопросы выезда и въезда в СССР;
3- є — разведка в США и основных странах Европы;