В связи с острой нехваткой кадров разведчиков в 1936 году был создан специальный учебный центр для их ускоренной подготовки — Школа особого назначения (ШОН) ГУГБ НКВД СССР. Начальником школы и его заместителем первоначально являлись Горский и Μ. М. Аксельрод, арестованные в октябре 1938 года, после чего школу возглавили В. X. Шармазанашвили и Η. Ф. Крупенников. В ней преподавали опытные мастера разведки С. М. Шпигельглас, Μ. М. Аксельрод, В. С. Гражуль, Π. М. Журавлев, Е. П. Мицкевич, В. И. Пудин, В. М. Зарубин. Преподавал в этой школе и мой отец. К 1941 году школа подготовила несколько десятков разведчиков. Среди первых ее выпускников был будущий начальник советской внешней разведки Π. М. Фитин, будущие резиденты и разведчики В. Г. Павлов, Е. Т. Синицин, А. С. Феклисов, А. А. Яцков, Η. М. Горшков, В. М. Иванов и другие.
Много раз менялось название этого уникального учебного заведения. Вначале это была Школа особого назначения (ШОН), затем — Разведывательная школа (РШ), потом Высшая разведывательная школа (ВРШ, она имела и зашифрованное название — школа № 101), с ноября 1968 года — Краснознаменный институт (КИ), в дальнейшем имени Ю. В. Андропова, с октября 1994 года — Академия внешней разведки Российской Федерации. В первые два года набор в ШОН составлял 30 человек. Практически весь первый набор был репрессирован в ходе большой «чистки». С 1939 года ШОН выпускала уже более 70 человек. Ее бюджет составлял 1,5 миллиона рублей.
13 сентября 1938 года 5-й отдел вошел в состав воссозданного ГУГБ НКВД СССР.
В 1938 году было принято решение об укреплении разведки. Структура 5-го отдела была перестроена, в него вошли следующие подразделения:
а) Руководство (начальник и два заместителя).
б) Секретариат, ведавший вопросами секретного делопроизводства (30 человек).
в) Функциональные подразделения (хозяйственное, кадровое, финансовое).
г) Оперативные отделения:
1- е — Германия, Италия, ЧСР, Венгрия;
2- е — Япония, Китай;
3- є — Польша, Румыния, Югославия, Болгария;
4- е — Великобритания, Швейцария, Франция, Испания, страны Бенилюкса;
5- е — Греция, Турция, Иран, Афганистан;
6- е — Финляндия, страны Скандинавии и Прибалтики;
7- е — США, Канада;
8- е — оппозиция: троцкисты, «правые» и пр.;
9- е — эмиграция;
10- е — НТР;
11- е — оперативно-техническое обеспечение;
12- е — визы и учет иностранцев.
Всего в центральном аппарате 5-го отдела на тот период работало 210 человек. 5 октября 1938 года в 5-й отдел ГУГБ были переданы функции и штаты упраздненного Особого бюро при наркоме НКВД СССР, бывшего на тот период первым информационно-аналитическим подразделением в системе НКВД. Среди прочего в функции Особого бюро входила подготовка справочных материалов по формам и методам работы иностранных разведок, составление характеристик на руководителей, государственных и общественных деятелей зарубежных стран. После назначения Л. П. Берия народным комиссаром внутренних дел СССР в ноябре-декабре 1938 года обязанности начальника 5-го отдела исполнял мой отец — старший майор ГБ Павел Анатольевич Судоплатов. Потом внешнюю разведку возглавил, как выше уже говорилось, ближайший сподвижник Л. П. Берия по работе в Грузии и его заместитель по НКВД СССР Владимир Григорьевич Деканозов, совмещавший эту должность с постом начальника 3-го отдела ГУГБ (контрразведка). Его сменил пришедший· в органы НКВД по партнабору молодой журналист Π. М. Фитин, выпускник ШОН, плодотворно руководивший внешней разведкой в последующие семь лет до 1946 года.
В 1939–1940 годах в структуру 5-го отдела ГУГБ входило семнадцать оперативных и функциональных отделений: три европейских, американское, дальневосточное, ближневосточное, информационно-аналитическое, оперативно-техническое, кадровое, финансовое, хозяйственное, связи и другие.
В предвоенный период, благодаря притоку и тщательному подбору молодых кадров, другим экстренным мерам по укреплению разведки, руководству НКВД удалось воссоздать действенный и надежный разведаппарат.
В составе созданного 3 февраля 1941 года Наркомата государственной безопасности задачи по руководству внешней разведкой были возложены на Разведывательное, а с марта 1943 года — Первое управление. В центральном аппарате управления работало около 120 человек, включая технический персонал. За рубежом действовало 45 легальных и 14 нелегальных разведалпаратов. В таких странах, как Германия, Великобритания, Франция, помимо легальной, работало от двух до четырех нелегальных резидентур.