Дьяконов принимал участие в операции по захвату руководителя РОВС генерала Кутепова. Располагая обширными связями в высших военных кругах Франции, Дьяконов по заданию «Вардо» (новый оперативный псевдоним Елизаветы Зарубиной) довел до руководства французской военной разведки подготовленные Центром достоверные сведения о «пятой колонне» профашистски настроенных французских генералов и офицеров. Эта операция прошла успешно и сыграла свою роль в охлаждении отношений между Францией и Германией.
Во Франции Зарубины находились до 1933 года. По приезде в Москву после четырехлетнего пребывания на нелегальной работе, не получив даже кратковременного отпуска, они сразу же были вновь направлены за рубеж, на этот раз — в Германию.
В 1933 году в связи с приходом Гитлера к власти обстановка в Германии осложнилась. По существу, прекратилась деятельность нелегальной резидентуры в этой стране в связи с отъездом на родину большинства оперативных работников. Зарубин получил задание в кратчайший срок восстановить деятельность резидентуры. Он был назначен руководителем нелегальной резидентуры, а его супруга — оперативным работником. Разведчикам предстояло обосноваться в нацистской Германии, принять на связь агентуру и приступить к добыванию интересующей Москву информации о внутренней и внешней политике Гитлера, особенно информации, касающейся его планов в отношении СССР.
До Берлина Зарубин и его жена добирались по разным маршрутам. О получении вида на жительство на длительный срок не могло быть и речи. Поэтому сначала Зарубины находились в нацистском рейхе в качестве туристов. Тем не менее они сразу же приступили к приему на связь агентуры. Центр был вынужден пойти на этот риск, учитывая имеющийся у разведчиков богатый опыт нелегальной работы во Франции. Москва принимала во внимание и ряд благоприятных обстоятельств. В частности, немаловажную роль имело «прикрытие» нелегалов Зарубиных, которые должны были представлять американскую фирму. А накануне новой мировой войны немцы нуждались в хороших отношениях с США и внешне хорошо относились к американским гражданам.
Руководимая Зарубиным нелегальная резидентура была сформирована в кратчайшие сроки. В нее вошли оперработники, приехавшие в Берлин вслед за резидентом, а также шесть источников информации из числа местных граждан и иностранцев. Через некоторое время из Берлина в Центр пошла важная секретная информация.
С декабря 1933 года нелегалы Зарубины более трех лет действовали в гитлеровском рейхе. Работа в нацистской Германии требовала небывалого мужества в первую очередь от «Вардо», исходя из се национальности, которая хорошо понимала, что малейшая неосторожность в работе или в быту приведет ее в гестапо. И она, постоянно рискуя жизнью, успешно справлялась с заданиями.
Зарубин лично поддерживал конспиративную связь с наиболее ценными источниками информации, среди которых был, в частности, сотрудник гестапо Вилли Леман («Брайтенбах»). Он возглавлял отдел гестапо но борьбе с «коммунистическим шпионажем» и, пользуясь своим служебным положением, неоднократно спасал резидентуру НКВД от провалов и предупреждал о провокациях, которые готовились против советского дипломатического представительства и его сотрудников в Берлине. От «Брайтенбаха» регулярно поступала информация о внутриполитическом положении в Германии, ее военных приготовлениях против соседних стран. В 1935 году он сообщил сведения о создании Вернером фон Брауном принципиально нового вида оружия — знаменитых ракет «Фау». Успешная работа с немцем продолжалась до отъезда Зарубиных из Берлина в 1937 году. «Брайтенбах» был передан на связь сотруднику «легальной» резидентуры и стал одним из самых результативных ее источников.
Другим ценным помощником нелегальной резидентуры Зарубина был сотрудник германского МИД «Вальтер». Являясь членом СС, он тем не менее критически относился к нацизму, не одобрял политику Гитлера и симпатизировал нашей стране. От источника регулярно поступала документальная информация, включая телеграммы и письма германских послов в других странах, копии записок по различным политическим вопросам, которые готовились для руководящих деятелей Третьего рейха. В дальнейшем он наряду с «Брайтенбахом» стал одним из тех источников, кто проинформировал берлинскую резидентуру о готовящемся нападении Германии на СССР.
В Берлине «Вардо» восстановила связь с «Ханум», бывшей стенографисткой германского посольства в Париже, которую она завербовала, работая во Франции. Теперь «Ханум» работала в центральном аппарате гитлеровского МИДа и передавала советской разведке очень важные документы. Из них следовало, что Гитлер готовит большую европейскую войну.