Еще есть данные, что в 1935 году ему было поручено организовать токсикологическую лабораторию в НКВД для производства и испытания ядов.
По-видимому, многое ему приписывалось, поскольку точные сведения о сотрудниках НКВД с такой сложной биографией получить практически невозможно. Во всяком случае, по мнению хорошо знавших Серебрянского бывших сотрудников НКВД, внешность щуплого сутулого человека, напоминавшего кустаря или портного из дореволюционного еврейского местечка, никак не сочеталась с его необычной и опасной работой. По мнению тех же сотрудников, Яша был чрезвычайно везучим человеком, и не только при осуществлении спецопераций. Он, в отличие от куда более «безобидных» людей, все же избежал смертной казни, хотя сажали его не раз и надолго. Во второй раз, после 1921 года, его арестовали в ноябре 1938 года, когда начали чистить людей Ежова, в июле 1941-го судили и по обвинению в шпионаже в пользу Англии и заговору внутри НКВД приговорили к расстрелу. Но приговор отменили по ходатайству его бывшего шефа Павла Судоплатова, который в начале войны возглавил 2-й отдел НКВД, занимавшийся разведкой, террором и диверсиями в тылу противника. Там он прослужил до конца войны и ушел в отставку в звании полковника.
Но Серебрянскому еще предстояло возвращение на Лубянку. В 1953 году Берия, став министром НКВД, создаст без ведома ЦК КПСС и правительства сверхсекретный 9-й отдел министерства для организации террора и диверсий за границей, куда и пригласит хорошо известного ему престарелого специалиста. Серебрянского арестуют вскоре после падения Берия, в октябре 1953 года. Он умрет в ходе затянувшегося следствия в 1956 году в кабинете следователя во время одного из допросов. В 1971 году будет посмертно реабилитирован.
В «летучий отряд» Шпигельгласа войдут еще два руководящих сотрудника НКВД капитаны госбезопасности Георгий Косенко (Фин) и Михаил Григорьев (Александров), а также молодой сотрудник Вениамин Гражуль. Косенко сменит Орлова на посту резидента НКВД в Париже, под фамилией Кислов проработает там до ноября 1938 года. Будет отозван и расстрелян в 1939 году по делу Ежова. Такая же судьба постигнет в 1940 году и Михаила Григорьева. Вениамин Гражуль избежит репрессий. После войны он будет по болезни уволен из органов госбезопасности, станет литератором и напишет книгу об истории разведки в России восемнадцатого века «Тайны галантного века».
Миллер в последнее время склонялся к тому, чтобы установить контакты с представителями Германии для совместной борьбы с большевиками. Это использовали для его приманки. Фермер был готов к проведению операции. По заданию НКВД он уже некоторое время имитировал перед шефом свои контакты с немецкой разведкой в Париже и, наконец, сказал Миллеру, что 22 сентября 1937 года в полдень назначена их встреча с немцами, военным атташе Германии и еще одним сотрудником посольства.
Миллер был схвачен участниками «мобильной группы» прямо на улице, его запихнули в машину, усыпили хлороформом и связали. Потом его отвезли в портовый город Гавр, где посадили на грузовое судно «Мария Ульянова». Тридцатого сентября Миллер был уже во внутренней тюрьме на Лубянке как секретный узник под № 110. Там он находился год и восемь месяцев. Его не раз допрашивал и сам Ежов. После следствия по приговору (заочному) Военной коллегии Верховного суда СССР он был расстрелян в 1939 году.
Но операция прошла не так гладко, как казалось. Скоблин не знал, что Миллер не совсем доверял ему и поэтому, уходя на встречу, оставил на имя генерального секретаря своей организации генерала Кусонского конверт с запиской, который следовало вскрыть в случае его невозвращения. Таким образом в РОВСе узнали, что перед своим исчезновением Миллер предполагал встретиться со Скоблиным. В этот вечер Кусонский вместе с вицепредседателем РОВСа генералом Кедровым вызвали ничего не подозревающего Фермера в штаб-квартиру организации. Сначала агент сказал, что ему ничего не известно о судьбе Миллера, а когда ему предъявили записку и хотели вызвать полицию, он бежал и с помощью сотрудников НКВД некоторое время скрывался в Париже.
Рассматривался вариант использования Скоблина в пропагандистских целях: вывезти в СССР и представить как разочаровавшегося в белоэмигрантском движении человека, поэтому и порвавшего с ним. Но в этом случае было бы совершенно очевидно, что Миллера похитил НКВД при помощи Скоблина. Это уже не пропагандистский эффект, а хорошая возможность для международных троцкистов и прочей нечисти вылить ушат грязи на СССР. Сталин не поддерживал этот вариант.