Учитывая прошлое Фельфе, Сумин рекомендовал ему поступить на службу в «Организацию Гелена». Однако первые две попытки попасть на работу в ОГ не увенчались успехом. И только осенью 1951 года с помощью Клеменса и своего знакомого Вилли Кирхбаума, служившего в годы войны в тайной полевой полиции (ГФП), он получил предложение перейти на службу в Пуллах.
Его зачислили в генеральное представительство «L» «Организации Гелена» в Карлсруэ. Оно действовало под вывеской торговой фирмы, шефом которой был бывший сотрудник абвера Бенцингер. Работа началась с изучения архивных дел и поиска кандидатур для вербовки. Здесь Фельфе столкнулся с тем, что геленовская разведка работала не только против Востока. Как он сообщал в Центр, в 1951-м и 1952 годах генеральное представительство интенсивно работало над приобретением агентуры в ключевых экономических и политических сферах ФРГ и Западного Берлина. Заводились досье на ведущих политиков не только правящих партий, но и оппозиционных.
Работа Фельфе в «Организации Гелена» и одновременное сотрудничество с советской разведкой требовали предельной осторожности и безоговорочного выполнения всех требований конспирации. На каждую встречу с советским разведчиком Фельфе или Клеменс, который тоже стал работать в организации Гелена, привозили по 10–12 отснятых фотопленок и пару магнитофонных катушек. Спустя год с разрешения Москвы Фельфе начал использовать в качестве связника еще одного своего коллегу, Эрвина Тибеля. Таким образом, постепенно сложилась агентурная группа, где лидером являлся Хайнц Фельфе — интеллектуал и отличный организатор.
Вскоре Москва поставила перед Фельфе очередную задачу — перевестись в центральный аппарат «Организации Гелена», расположенный в небольшом городке Пуллах, под Мюнхеном. В июле 1955 года канцлер Аденауэр принял решение о реорганизации разведывательной службы государства. Он хотел создать самостоятельную разведывательную службу, вне контроля ЦРУ.
В 1958 году, два года спустя после переименования «Организации Гелена» в Федеральную разведывательную службу (БНД), Фельфе возглавил реферат «Советский Союз» в отделе 111-Ф (контршпионаж) и одновременно стал правительственным советником. Коллеги из реферата «ГДР» завидовали Фельфе, так как его дела шли лучше, чем у них. Вскоре он купил дом в Баварии, и многие сослуживцы стали задаваться вопросом, откуда такие средства. За Фельфе уже было установлено наблюдение.
С 1956 года с ним регулярно встречался сотрудник советской резидентуры в Германии Виталий Коротков. Много лет спустя он рассказал:
«Тогда я работал в берлинском представительстве КГБ. Мне поручили принять на связь ценного источника „Курта“. Первая встреча с Фельфе состоялась на конспиративной квартире. В комнату вошел высокий худощавый человек. Держался он скромно, но с достоинством. Не тратя времени на пустые разговоры, перешел к делу. Хайнц говорил, взвешивая каждое слово, стараясь довести до собеседника самое важное.
Мне приходилось тщательно готовиться к каждой встрече, подыскивать подходящие места. По роду своей службы он приезжал в Западный Берлин для консультаций с американцами, а после бесед с ними тайно виделся со мной. Случались и казусы. Так, однажды наша встреча была замаскирована под безобидный пикник на природе. Хайнц, как обычно, передал мне ценные сведения. Вдруг мы заметили, что к нам приближается человек в форме. Обоих обожгла мысль: „Неужели это провал? Что делать?“. Пришлось напрячь всю волю, чтобы подавить волнение и не выдать себя. А человек в форме оказался обычным лесником».
Благодаря Хайнцу Фельфе советская разведка не имела ни единого провала в ФРГ. Рейнхарда Гелена эти провалы контрразведки навели на мысль, что утечка исходит из его службы. Позже в своей книге он напишет:
«Под моим личным руководством небольшая группа надежных и избранных сотрудников продолжила перепроверку, пока через несколько месяцев кропотливой работы, похожей на складывание мозаики, подозрительные моменты не превратились в общую картину».
В октябре 1961 года Фельфе попросил у руководства БНД отпуск. Он надеялся, что, отдохнув от двойных нагрузок, поработав в саду своего загородного домика, он сможет обрести душевный покой и бодрость духа. Но уже через несколько дней после отъезда в свой дом, находившийся на границе с Тиролем, Хайнц Фельфе получил приказ срочно выехать в Пуллах. Ему надо было явиться к уполномоченному Гелена генералу Лангкау для доклада по одной операции.
6 ноября 1961 года Фельфе прибыл для доклада. После окончания беседы с Лангкау в кабинет вошли чиновники криминальной полиции, которые объявили Фельфе, что он арестован. Одновременно были взяты под стражу и другие члены его разведывательной группы.