Когда я начну войну… я сделаю так, что мои войска однажды появятся средь бела дня прямо на улицах Праги или Варшавы, Парижа или Лондона. На них будет чешская, польская, французская или английская форма. Они войдут в здания Генштаба, министерства, парламента. В течение немногих минут Франция ли, Польша ли, Австрия или Чехословакия окажутся лишенными своих руководителей. Все политические лидеры будут обезврежены». События Второй мировой войны полностью подтвердили все вышесказанное.
В 1934 году при РОВС была создана военизированная молодежная организация «Белая идея» (ОБИ) под руководством капитана В.А. Ларионова. Программа подготовки боевиков включала в себя стрельбу, бокс и военную подготовку.
Тем временем в органах госбезопасности СССР произошла очередная глобальная перестройка. 10 мая 1934 года скончался В.Р. Менжинский, а ровно через два месяца, 10 июля, постановлением ЦИК СССР был образован Народный комиссариат внутренних дел СССР (НКВД) СССР, включивший аппараты ОГПУ и НКВД РСФСР. Наркомом был назначен Г.Г. Ягода. На базе ОГПУ было создано Главное управление государственной безопасности (ГУГБ) НКВД СССР. Его куратором стал Я.С. Агранов.
Внешнюю разведку в ГУГБ, как и ранее, осуществлял Иностранный отдел под руководством А.Х. Артузова. С мая 1934 года Артузов по совместительству был назначен на должность заместителя начальника IV (разведывательного) Управления штаба РККА, до мая 1935 года он фактически сидел на двух стульях. Основную часть работы в ИНО вел заместитель начальника отдела А.А. Слуцкий.
После образования НКВД СССР, 13 июня 1934 года, «Группа Яши» была подчинена наркому внутренних дел и получила официальное название: Специальная группа особого назначения — СГОН. Группа была наглухо засекречена и опиралась исключительно на собственную агентуру.
1 января 1935 года руководителем абвера был назначен кадровый разведчик, капитан первого ранга Фридрих Вильгельм Канарис. Одним из первых его шагов было назначение на пост советника по партизанским операциям капитана Теодора фон Хиппеля, ветерана специальных подразделений, воевавших в Африке под руководством Пауля Леттов-Форбека. По линии СС в феврале 1937 года в Германии было создано Главное управление по работе с этническими немцами в соседних с Германией странах. В задачу управления входило создание в сопредельных странах агентурных сетей, проведение активной подрывной деятельности против правительств тех стран, территории которых подлежали включению в состав Третьего рейха.
Летом 1934 года руководство ИНО ГУГБ приняло решение о внедрении в среду украинских националистов П.А. Судоплатова.
«Слуцкий, начальник ИНО, — вспоминал Судоплатов, — предложил мне стать разведчиком-нелегалом для работы за кордоном. Сначала мне показалось это нереальным. Опыта работы за границей у меня не было, ничего я не знал об условиях жизни на Западе да и знания немецкого языка у меня равнялись нулю. После некоторых раздумий я дал согласие. Сразу приступил к изучению немецкого языка. Опытные инструкторы обучали меня также приемам рукопашного боя и владению оружием. Исключительно полезными для меня были встречи с заместителем начальника ИНО С.М. Шпигельгласом. У него был большой опыт работы за границей в качестве нелегала — в Китае и Западной Европе».
Куратором и наставником Судоплатова стал опытный разведчик Петр Яковлевич Зубов. В 1931–1933 годах — оперативник легальной резидентуры ИНО ОГПУ в Париже.
«В 1933–1934 годах я работал в спецотделе РУ РKKA под руководством М.Ф. Сахновской (1897–1937), — вспоминал И.Г. Старинов. Она член РКП(б). Окончила Военную академию РKKA. Репрессирована. Расстреляна. Это была опытная, энергичная, мужественная женщина, награжденная в числе первых орденом Красного Знамени. За сравнительно небольшой промежуток времени мне удалось подготовить две группы китайцев и ознакомить партийное руководство некоторых зарубежных стран — Пальмиро Тольятти, Вильгельма Пика, Александра Завадского и других — о применении минной техники».
В январе 1934 года начальник Штаба РККА А.И. Егоров издал директиву о создании штатных диверсионных подразделений в Красной армии. Существование спецназа было строго засекречено. Об этом формировании ничего не знали в четвертом Управлении РККА. Личный состав в спецназ отбирался из бойцов, прослуживших не менее двух лет и после тщательной спецпроверки. Обучение велось по самым высоким стандартам. К 1935 году такие подразделения были практически во всех дивизиях на границе с Прибалтикой, Польшей, Румынией и на Дальнем Востоке. На территории сопредельных государств сотрудники нелегальных резидентур создавали опорные базы для диверсантов. В создании таких баз в Европе участвовали и оперативники «Группы Яши».