Помимо работы по добыче подлинных американских документов для советской нелегальной работы, «Звук» создал обширную агентурную сеть, включавшую двадцать агентов в различных правительственных ведомствах США, военных учреждениях, крупных промышленных компаниях. Получаемая от них информация, особенно с началом Великой Отечественной войны, имела большое значение для советской разведки и высоко оценивалась в Центре. Организуя работу со «Звуком», Центр не исключал возможности того, что он может находиться в поле зрения спецслужб США. Тем более что встречи с ним проводились почти ежедневно, а то и несколько раз в день.
С 1939 года работу со «Звуком» вел резидент внешней разведки в Нью-Йорке Гайк Овакимян, находившийся в США по линии научно-технической разведки. Действовал под прикрытием должности инженера «Амторга», а в 1940 году стал аспирантом Нью-йоркского химического института, в котором защитил диссертацию. В 1940 году им от Голоса была получена информация о проекте первого стратосферного самолета, о кислородных масках для высотных полетов, использовании глицерина в военной области и др. На основании разрозненных сведений, полученных от агентурной сети Я. Голоса, Г. Овакимян сообщил в Москву о начавшихся в США сверхсекретных исследовательских работах по расщеплению ядра урана. Всего на связи у Г. Овакимяна в тот период находилось четырнадцать ценных агентов, не считая агентов-групповодов.
Поскольку сам Г. Овакимян был весьма загружен по линии научно-технической разведки, он передал «Звука» на связь своему заместителю Павлу Пастельняку, находившемуся в Нью-Йорке под прикрытием должности вице-консула. В апреле 1940 года П. Па-стельняк доложил в Центр, что «Звук», как бывший секретарь ЦК Компартии США и агент внешней разведки, является ее ахиллесовой пятой. Согласно данным, имеющимся в резидентуре, он состоит на учете в ФБР как «агент НКВД». «Лука» предложил законсервировать «Звука» и готовить ему замену. Однако работа с агентом все равно продолжалась, пока в связи с арестом Г. Овакимяна весной 1941 года не прервался контакт разведки с ним.
Прибывший в начале 1942 года в резидентуру в Нью-Йорке Василий Михайлович Зарубин принял решение о реорганизации всей разведывательной работы в США. Он восстановил связь с Я. Голосом и передал имеющихся у него агентов на связь агентам-групповодам и кадровым разведчикам. Резидент выяснил, что «Звук» руководил агентурной группой, насчитывавшей свыше двадцати человек. Имел агентуру в германской колонии в США, в Госдепартаменте (агент «Брайен»), в военном министерстве (агент «Олфсен»), в Управлении стратегических служб, ряде крупных фирм и т. п. В 1940 году привлек к сотрудничеству с советской разведкой агента «Ронда», работавшего в важном правительственном учреждении. «Ронд» сформировал самостоятельную агентурную группу из числа американцев, работавших в серьезных военных и экономических правительственных учреждениях. В 1943 году он был награжден орденом Красной Звезды.
Положение было явно не нормальным. Нужно было разделить группу на «пятерки», усилить меры конспирации и безопасности в работе, чтобы избежать провалов. Это было тем более необходимо потому, что руководимая Я. Голосом агентурная группа состояла из наиболее ценных сотрудников, которые рассматривали мощь СССР как свой личный вклад в борьбу против нацизма. От приобретенных ценных источников Я. Голос получал важные сведения по экономическим, политическим и научно-техническим вопросам. Передаваемая им информация учитывалась при развитии отношений СССР с США, проведении советским правительством внешнеполитического курса, укреплении оборонного потенциала нашей страны.
Василий Зарубин прежде всего обратил внимание «Голоса» на необходимость укрепления дисциплины и конспирации, поскольку члены его группы лично знали друг друга. Он добился, чтобы завербованные «Голосом» агенты получали под расписку вознаграждение за передаваемую информацию. Это сразу увеличило отдачу от агентурного аппарата. Из США в Москву стала поступать важная секретная информация, позволявшая Кремлю быть в курсе внешней и внутренней политики США. Резидентура вела также работу и в Латинской Америке, где у нее были источники разведывательной информации.
Кроме того, В. Зарубин поставил задачу по подбору и направлению агентуры в Европу, в том числе в Испанию, Югославию, Англию и Францию. Хуже обстояло дело с вербовкой агентуры для ее вывода в нацистскую Германию, несмотря на то что немецкая колония в США насчитывала свыше 200 тысяч человек. В. М. Зарубин объяснял это тем, что агентурный аппарат резидентуры в США в основном состоял из лиц еврейской национальности, добровольно оказывавших помощь СССР в борьбе против нацизма, ибо они понимали, что только Советский Союз может спасти евреев от тотального уничтожения в случае победы Германии. Разумеется, этих лиц, работавших на советскую разведку из патриотических побуждений, нельзя было использовать для разработки германской колонии в США, а тем более направлять в гитлеровскую Германию.