Возглавил секретный аппарат КПА Иосиф Петерс. Еврей по национальности, он родился в Австро-Венгрии в семье рабочего. Во время Первой мировой войны Петерс проходил службу в австро-венгерской армии, в которой дослужился до офицера. В 1924 году он эмигрировал в США. Там Петерс вступил в КПА и в 1931 году был отправлен на стажировку в Москву. Оттуда он два года спустя вернулся обратно в США, где, согласно документам, сохранившимся в архиве Коминтерна, Центральный комитет КПА «поручил ему работу в секретном аппарате. Он проработал там до июня 1938 года».
Под руководством Петерса секретный аппарат занимался вопросами обеспечения партийной безопасности – своевременным обнаружением слежки со стороны полиции, разоблачением вражеских лазутчиков в партии и защитой партийного имущества, включая протоколы собраний и регистрационные документы членов партии, от конфискации. При Петерсе секретный аппарат также отвечал за подготовку к переходу компартии на нелегальное положение. Например, Петерс закупал и прятал в тайники типографское оборудование, предназначенное для печати воззваний и прокламаций в случае введения в США чрезвычайного положения. Еще одной задачей секретного аппарата было ведение наблюдения за партиями, являвшимися политическими конкурентами КПА, проникновение в их ряды и внесение раскола в их деятельность.
Помимо перечисленного, Петерс должен был поддерживать связь с тайными членами КПА в правительственных кругах в Вашингтоне. В 1930-е годы членами компартии стали несколько сотен человек из числа чиновников, нанятых федеральным правительством для реализации многочисленных правительственных программ в ходе экономических реформ, проводимых американским президентом Ф. Рузвельтом. И хотя в эти годы КПА действовала на вполне легальных основаниях, законодательство США запрещало правительственным служащим заниматься политической деятельностью: открытое членство в какой-либо партии влекло за собой незамедлительное увольнение с государственной службы. Поэтому КПА организовала тайные ячейки из своих приверженцев из числа вашингтонских чиновников. На секретных заседаниях они изучали партийную литературу, платили членские взносы и выслушивали доклады партийных функционеров, которые разъясняли им политику партии.
Одной из самых крупных операций, которые секретный аппарат КПА провел под руководством Петерса в 1930-е годы, стала масштабная охота за американскими паспортами, которые предназначались для членов КПА, нелегально отправлявшихся за границу, и для нужд советской разведки. Дело в том, что американские паспорта весьма высоко ценились среди шпионов всех мастей, поскольку повсеместно признавались в качестве документов, удостоверяющих личность, на пограничных контрольных пунктах. Кроме того, поскольку население США в своей массе было многонациональным, ни у кого не возникало подозрений, когда человек неопределенной национальности, говоривший по-английски с заметным акцентом, предъявлял американский паспорт.
Отсутствие в США строгой системы контроля за выдачей паспортов делало их незаконное получение относительно простым делом. Еще в 1932 году в Нью-Йорк из России прибыл агент КГБ латвийского происхождения Арнольд Икал. Там у него состоялась встреча с Петерсом, на которой они заключили взаимовыгодную сделку: секретный аппарат КПА снабжал Икала американскими паспортами, а также документами, необходимыми для получения американского гражданства, а Икал, в свою очередь, обязывался наладить финансирование деятельности секретного аппарата КПА.