Летом 1929 года было принято решение о похищении и вывозе в Москву председателя РОВС генерала А. П. Кутепова, активизировавшего диверсионно-террористическую деятельность на территории СССР.
1 января 1930 года Серебрянский был переведен в резерв ОГПУ и вскоре вместе с заместителем начальника КРО ОГПУ С. В. Пузицкимвыехал в Париж для руководства этой операцией.
В воскресенье 26 января 1930 года сотрудники опергруппы Серебрянского втолкнули Кутепова в стоявший рядом автомобиль, сделали инъекцию морфия и доставили на борт советского парохода, стоявшего в порту Марселя.
30 марта 1930 года за удачно проведенную операцию Серебрянский был награжден орденом Красного Знамени.
По завершении этой операции Серебрянский приступил к созданию автономной агентурной сети в различных странах для организации диверсий на случай войны.
20 июля 1930 года он был зачислен на особый учет ОГПУ. Работая за границей, лично завербовал 200 человек.
В 1931 году был арестован в Румынии, но вскоре освобожден и продолжил свою деятельность.
В 1932 году выезжал в США, а в 1934 году – в Париж.
В 1935 году по поручению Генриха Ягоды содействовал организации токсикологической лаборатории НКВД.
13 июля 1934 года утвержден руководителем Спецгруппы особого назначения (СГОН) при НКВД СССР.
В 1935–1936 годах находился в спецкомандировке в Китае и Японии.
После начала Гражданской войны в Испании советское правительство приняло решение о поставках в Мадрид оружия. Причем часть его нелегально закупалась в Европе. Занимались этим практически все резидентуры ИНО НКВД и ГРУ, в том числе и «группа Яши». Так, в сентябре 1936 года сотрудники Спецгруппы закупили у французской фирмы «Девуатин» 12 новых военных самолетов, которые доставили на приграничный с Испанией аэродром. Откуда их под предлогом летных испытаний благополучно перегнали в Барселону. За эту операцию в декабре 1936 года Серебрянский был награжден орденом Ленина.
В ноябре 1936 года нелегалам СГОН, которыми непосредственно руководил Б. М. Афанасьев, с помощью агента М. Зборовского(«Тюльпан»), внедренного в окружение сына Троцкого Льва Седова, удалось похитить часть архива Международного секретариата троцкистов. Несколько ящиков с бумагами было передано легальному резиденту ИНО в Париже Г. Н. Косенко (Кислову), а затем отправлено в Москву.
С декабря 1936 года – начальник Спецгруппы Секретариата НКВД СССР.
Одним из объектов разработки советской разведки в этот период был Лев Седов («Сынок»). В 1937 году по указанию отца он приступил к работе по организации 1-го съезда IV Интернационала, который должен был открыться летом 1938 года в Париже. В связи с этим Центр принял решение о похищении Седова. Проведение операции было поручено Серебрянскому.
План похищения «Сынка» был детально проработан. В подготовке операции участвовало 7 сотрудников Спецгруппы, в том числе и жена Серебрянского. Однако похищение Седова так и не состоялось – в феврале 1938 года он умер после операции по удалению аппендикса.
Летом 1938 года Серебрянский был отозван из Франции и 10 ноября 1938 года вместе с женой арестован в Москве прямо у трапа самолета. До 13 февраля 1939 года содержался под стражей без санкции прокурора. 21 февраля 1939 года был уволен из НКВД в связи с арестом.
В ходе следствияСеребрянского подвергали так называемым интенсивным методам допроса – избиениям. Он был принужден дать подложные показания. 25 января 1939 года был переведен в Лефортовскую тюрьму.
На допросе в 1954 году Серебрянский показал, что еще до суда, т. е. на предварительном следствии, он отказывался от показаний, в которых признавал себя виновным и оговаривал других.
В результате 4 октября 1940 года следователем СЧ (Следственная часть) ГУГБ НКВД лейтенантом ГБ Перепелицей было составлено следующее обвинительное заключение:
«ОБВИНИТЕЛЬНОЕ ЗАКЛЮЧЕНИЕ
10 ноября 1938 г. органами НКВД СССР был арестован подозреваемый в шпионской деятельности СЕРЕБРЯНСКИЙ Яков Исаакович.
Проведенным по делу следствием установлено, что СЕРЕБРЯНСКИЙ, в прошлом активный эсер, дважды арестовывался органами ОГПУ и при содействии разоблаченных врагов народа проник в органы советской разведки.
В 1924 г., будучи в Палестине, был завербован эмигрантом ПОКРОВСКИМ для шпионской деятельности в пользу Англии.