В организационном плане Гелен создал сложную систему филиалов, разместив представительства БНД по всей Германии. Центр в Пуллахе (Генеральная дирекция) управляла так называемыми Генеральными представительствами, ответственными за внешнюю разведку и контршпионаж: в Штокинге под Мюнхеном (GV–C, сфера ответственности: ГДР, Австрия, Чехословакия), в Гамбурге и Бремене (GV-B, сфера ответственности — ГДР, военно-морской флот), в Дармштадте (GV-H, сфера ответственности: ГДР, Польша, СССР), в Мюнхене (GV-G, сфера ответственности: ГДР, балканские государства) и в Карлсруэ (GV–L, сфера ответственности: ГДР, активный контршпионаж в Восточном блоке). Этим Генеральным представительствам подчинялись Окружные представительства, которые были во всех крупных городах Западной Германии (например, в Западном Берлине — BV-E). Подпредставительства, иначе называемые «точками проверки», наконец, представляли собой «фронтовые штабы» для активного шпионажа, вербовки обучения и управления агентами. Кроме того, вдоль всей внутригерманской границы и в Западном Берлине были так называемые отделения — филиалы на жаргоне БНД — места, куда легко могли добраться информаторы. Эти отделения действовали под прикрытием коммерческих предприятий, страховых обществ, налоговых консультаций, бюро переводов или бюро трудоустройства, а также как филиалы каких-либо государственных учреждений. Все вместе это представляло собой весьма разветвленный каркас, который официально должен был служить целям «герметизации» и поддержания принципа „need to know“(«знать только то, что требуется знать») и защите источников. Эта непроницаемая система раз за разом подвергалась критике со стороны самих сотрудников. Она усложняла четкое управление и была мало понятна самим служащим БНД. Она была дорогой из-за большого числа необходимых офисных помещений, из которых после «расшифровки» раз за разом приходилось съезжать. Очень сложной была почтовая связь, так как курьеры не могли знать эти бюро, а желаемую конспирацию все равно не удавалось поддерживать на нужном уровне достаточно долгое время. «Крот» КГБ в БНД Хайнц Фельфе предполагал, что сложность структуры служила не столько безопасности Службы, сколько скрывала отсутствие ясного разделения, четкой структуры и разграничения полномочий, поскольку Райнхард Гелен опасался из-за точного распределения задач утратить часть своего влияния, знаний и полномочий. Именно поэтому система филиалов, просуществовавшая до ухода генерала Гелена в отставку с поста президента БНД в 1968 году, на практике служила в большей степени единоличному правлению шефа разведки.
Как и ее противник в Восточной Германии, «Штази», Федеральная разведывательная служба неоднократно меняла свою структуру в зависимости от ситуации. Несмотря на многие детали, известные в подробностях, очень сложно четко реконструировать изменения организационной структуры БНД с ранних времен Организации Гелена до конца Холодной войны. За агентурный шпионаж отвечали два отдела — Первый отдел, собственно занимавшийся агентурной разведкой, и Третий отдел, отвечавший за анализ и оценку полученной информации. Отношения между ними порой были довольно напряженными. В 50-е годы, в разгар Холодной войны, оба отдела занимались в первую очередь военным шпионажем и анализом добытых результатов. Юлиус Мадер в книге «Серая рука» еще в 1960 году опубликовал своего рода план основных задач генерала Гелена, обязательный для выполнения всеми шпионами Службы в Восточном блоке. Из 15 разведывательных целей, названных в документе, только две задачи совсем не касались военных или военно-экономических вопросов. Все остальные требования включали: наблюдение за маршами войск и передвижениями военных грузов, за складами горючего, за ремонтными мастерскими железной дороги, железнодорожными путями, шоссейными дорогами, мостами, аэродромами, телеграфными стациями, электростанциями, гидрогенизационными заводами, предприятиями химической промышленности, военными заводами, полигонами, командными пунктами, казармами, за собственно воинскими частями противника и за настроениями в войсках. В общем, «производящий сильное впечатление документ ранней стадии Холодной войны, в котором содержится все, что определяло задачи западного шпионажа все следующее десятилетие».
В ранние годы своего существования западногерманская служба внешней разведки заработала себе хорошую славу. Самой сильной стороной деятельности «Орг» был военный шпионаж. До возведения Берлинской стены ни одна западная разведка не обладала лучшими предпосылками для шпионажа в ГДР, нежели БНД. И в эту задачу входило также наблюдение за дислоцированными там советскими войсками.
б) Контрразведка Министерства государственной безопасности ГДР
С момента основания Министерства государственной безопасности ГДР его центральной задачей была контрразведка. Помимо служб США, Великобритании и Франции, а также Организации Гелена, оно боролось и с другими западногерманскими учреждениями и структурами, например с деятельностью Федерального министерства по общегерманским вопросам, восточными бюро западногерманских политических партий и с группировками вроде Боевой группы против бесчеловечности или Следственного комитета свободных юристов. Уже в 1953 году после слияния отвечавших за контрразведку в МГБ и в окружных управлениях Четвертых отделов и занимавшихся шпионскими действиями в Федеративной Республике Вторых отделов возник Второй главный отдел, взявший на себя борьбу с иностранными секретными службами. До 1960 года им руководил Йозеф Кифель, старый коммунист, эмигрировавший в СССР в 1931году и с 1939 по 1945 годы служивший в Красной Армии. Во времена Кифеля на счету контрразведки МГБ только между 1953 и 1956 годами было несколько крупных успехов в противостоянии Организации Гелена и американским разведслужбам.
Четыре первоначальных отдела Второго главного отдела занимались разведками трех западных союзных держав и разведкой ФРГ. В 1955 году был создан еще один отдел, боровшийся со шпионажем спецслужб других несоциалистических стран. Два отдела отвечали за связь с социалистическими странами, один из них следил за студентами из ГДР, обучавшимися в Советском Союзе. С 1955 года к задачам Второго главного отдела относилось и наблюдение за западными военными миссиями связи, а с 1956 года — радиоперехват и наблюдение за эмигрантскими организациями. Важное изменение структуры Второго главного отдела МГБ произошло в 1958 году. Четвертый отдел, обрабатывавший доселе как «немецкая линия» западногерманские спецслужбы, был разделен на два отдела. Один из них занимался только БНД, другой — только ведомствами по охране конституции. Так появился четвертый отдел Второго главного отдела, HA II/4, специализировавшийся на борьбе с БНД.
Но не только Второй главный отдел боролся с западным шпионажем. В своих сферах ответственности — к примеру, в контрразведывательном обеспечении государственного аппарата. Народного хозяйства, транспорта, в полиции и в армии — это было задачей всех служебных подразделений «Штази». И как раз в пятидесятые годы Девятый главный отдел и соответствующие линии в окружных управлениях, так называемые следственные органы, получили важную задачу. «Девятая линия» стала заниматься в это время (конспиративными) расследованиями в целях уголовного преследования, причем ее сфера ответственности не была точно определена ни внутри самого МГБ, ни в отношении ответственной за расследование уголовных преступлений Немецкой народной полиции. В своей расследовательной деятельности она должна была как можно быстрее предоставлять доказательства во время обысков, арестов и допросов, которые можно было бы использовать в оперативных целях. Из-за большой пропагандистской ценности особенное значение приобретали дела, связанные со шпионажем. Девятый главный отдел в МГБ в 1954 году состоял из трех отделов и до 1989 года расширился до 12 отделов и нескольких отдельных рабочих групп. За все время своего существования первый отдел Девятого главного отдела — HA IX/1 — неизменно отвечал за расследования дел, связанных с шпионажем, среди которых в семидесятых и восьмидесятых годах преобладали случаи подозрения в военном шпионаже. Кроме того, первый отдел вел и следствия по делам западногерманских нарушителей границы, а также так называемых «возвращенцев», то есть сбежавших на Запад восточных немцев, решивших снова вернуться в ГДР.