Для четкого и бесперебойного функционирования разведывательной машины нужны были кадры, способные успешно работать за кордоном. Свои, проведшие годы мировой и Гражданской в окопах или кавалерийском седле, для этого не годились. Для успешной работы в разведке преданности партии и идеям мировой революции было недостаточно. И руководство военной разведки сделало ставку на иностранных коммунистов. Причем не только тех, кто был в рядах РККА, но и тех, кого можно было привлечь для этой деликатной работы за рубежом среди немногочисленных членов иностранных компартий. Возможно, впервые эту идею высказал начальник Региструпра Ян Ленцман в своих соображениях о принципах постановки агентурной разведки за границей. Этот документ был написан в сентябре 20-го и адресован секретарю ЦК РКП Крестинскому. Ленцман отмечал, что «компартии являются не только нашими друзьями, но и активными борцами в нашем лагере. Поэтому они принимают и должны принимать активное участие во всех видах борьбы и разной работы, которая ведется непосредственно для этой борьбы и является ее составной частью». Под разной работой он и подразумевал агентурную разведку, для которой иностранные компартии должны были выделить свои кадры. Он считал, что «…сеть агентов Региструпра во всех странах должна состоять из людей, выделенных коммунистическими организациями этих стран. Единственно при такой постановке вопроса ведение агентурной работы может быть поставлено на широкую ногу и дать результаты, которые удовлетворили бы наши органы как в политическом, так и в военном отношении».
Очевидно, идея Ленцмана о привлечении иностранных коммунистов для агентурной работы нашла поддержку в партийных верхах. Берзин, как начальник основного отдела в Управлении, был хорошо знаком с идеями своего руководителя. Но он также хорошо понимал и весь риск, связанный с привлечением иностранных коммунистов к агентурной работе. Для них строжайшая дисциплина, четкое и обязательное выполнение приказов из Центра и глубокая конспирация, без чего не может быть успешной разведывательной работы, являлись не всегда обязательными. Имело значение и то, что конспиративных навыков, которые были у большевиков, годами находившихся в глубоком подполье, у них не было. Как следствие, они часто проигрывали полиции и контрразведке своих стран. В случае их провала неизбежны были громкие судебные процессы с обвинениями местных коммунистов в шпионаже в пользу Советской России. Берзин уже тогда представлял все международные осложнения, связанные с такими возможными процессами. Однако другого выхода в те годы не было, положение было критическим, и приходилось рисковать.
Но людей для агентурной работы решили отбирать не только из числа членов иностранных компартий. В составе РККА было много бывших военнопленных: немцев, австрийцев, чехов, венгров. Все они имели боевой опыт и Первой мировой, и Гражданской, участвуя в боях в составе многочисленных интернациональных частей. Все отлично владели языками, знали условия жизни в Европе, и образование у них было значительно выше, чем у русских солдат и младших офицеров. К ним добавили многочисленную группу коммунистов, эмигрировавших в Советскую Россию из Болгарии, Финляндии и прибалтийских стран. У руководства военной разведки в 1921 году был выбор. Надежных, преданных коммунистическим идеям, а тогда это было главным при отборе кандидатов, можно было найти. И начальник оперативного отдела искал: знакомился, присматривался, беседовал и, конечно, проверял.
Берзин обладал своеобразным умением находить и отбирать нужных людей, разговаривать с ними, убеждать, привлекать на свою сторону. Очевидно, сказался огромный по тем временам опыт партийной и подпольной работы, когда от подобного умения часто зависела свобода на многие годы. А может быть, у него было чутье, своеобразный «нюх» на нужных людей. Он долго присматривался к человеку, тщательно изучал его характер, взгляды, вкусы, привычки. Но если доверял своему нелегалу, то доверял до конца, не сомневаясь в нем и поддерживая его в любых обстоятельствах. Это умение находить и подбирать кадры сразу было отмечено и высоко ценилось и в Реввоенсовете Республики, и в Штабе РККА.
В 21-м он занялся созданием нелегальной сети, которая постепенно начала покрывать Европу, и в первую очередь Польшу, Францию, Германию, прибалтийские страны, Финляндию. Конечно, не все сразу получалось. У некоторых кандидатов на нелегальную работу не было опыта подпольной борьбы. Кто-то был излишне самоуверен, считая, что с помощью местных коммунистов можно преодолеть любые преграды и горы свернуть. Были у этих людей просчеты, ошибки и провалы. Это было естественно — ни одна разведка, особенно на стадии становления, не может похвастаться только победами. Но Берзин умел не только находить и привлекать людей, но и тщательно анализировать их ошибки, учитывать все недостатки в агентурной работе. И постепенно у него накапливались знания и опыт руководства военной разведкой. Молодой по стажу начальник агентурного отдела превращался в Мастера. Этот процесс был длительным и растянулся на годы. И в это же время в его работе в полной мере проявилась та черта характера, которая была у него еще со времен дореволюционного подполья. Он не перекладывал вину за просчеты, ошибки и провалы на своих подчиненных. За все, что случилось, он брал вину на себя, прикрывая своих людей и стараясь отвести от них гнев военного и партийного начальства.