После сооружения стены в Берлине произошло немало человеческих трагедий, особенно в первые месяцы. Рискуя своими жизнями, люди делали подкопы, прыгали со стены или пытались прорваться через немногочисленные пограничные контрольно-пропускные пункты, где пограничники открывали по ним огонь. Снова бешеную деятельность в Западном Берлине развили организации, которые еще раньше вели свою собственную войну с восточногерманскими властями. Там существовало несколько таких террористических групп, которым Гелен оказывал поддержку до 1960 года, когда правительство ФРГ приказало распустить их после того, как несколько их членов было схвачено в ГДР и над ними состоялся ряд показательных процессов, поставивших власти ФРГ в неудобное положение.
Одной из старейших была организация, называвшаяся KgU — Kampf gegen Unmenschlichkeit — борьба против бесчеловечности. Ее основателем был молодой берлинский адвокат Райнер Гильдебрандт. Члены этой организации проникали в ГДР, чтобы помочь гражданам этой страны бежать на Запад или чтобы разыскать жертв похищений. Многие члены KgU, по их собственному признанию, занимались саботажем или выполняли задания БНД. В течение многих лет восточногерманское Министерство государственной безопасности было почти бессильно помешать этим акциям, ответственность за которые руководство KgU с гордостью брало на себя. Коммунистические власти ГДР обвиняли членов KgU в том, что они «отравляли колодцы, добавляли мыло и мел в сухое молоко, хранившееся в школах и больницах». Они также якобы травили скот на полях, распространяли бактерии свиной чумы на фермах, устраивали крушения поездов, совершали бесчисленные поджоги и закладывали взрывные устройства. Некоторые из этих обвинений были чистой пропагандой, но кое-что соответствовало истине и подтверждалось KgU и другими организациями.
Их члены взорвали железнодорожный мост в Эркнере, близ Берлина, как раз перед тем, как по нему должен был промчаться «Голубой экспресс» Берлин — Варшава — Москва. Сотни советских чиновников и военнослужащих-отпускников чудом избежали гибели. Были также взорваны туннель около Дюрренбаха и железнодорожный мост близ Веймара, электростанция в Эбервальде, пущены под откос несколько товарных составов. Сильно пострадала от поджога радиостанция в Вустерхаузене. KgU и другие группы, которые возглавляли Детлеф Гир-ман и Фриц Вагнер, в основном состояли из студентов западноберлинского Свободного университета. Они также вели очень мощную пропагандистскую кампанию, переправляя в Восточную Германию миллионы листовок антикоммунистического содержания. Один из способов распространения этих листовок вызывал особое раздражение у правителей Восточной Германии. Весной и летом, каждый погожий денек запускались десятки тысяч воздушных шаров, несших в города и села ГДР антикоммунистическую литературу.
В течение нескольких лет через границу перелетели миллионы этих воздушных шаров, что вызвало неоднократные резкие протесты советского военного коменданта в Западном Берлине и посла СССР в Бонне. Не составляло секрета, что эти группы щедро финансировались ЦРУ, БНД и различными антикоммунистическими и патриотическими организациями ФРГ.
Гелен поддерживал контакт с «террористами» в течение многих лет. Из их рядов вышли многие талантливые и отважные разведчики, но более всего на Гелена произвел впечатление великолепный пропагандистский материал, производимый KgU. В огромных количествах они печатали газеты «Тарантель» и «Кляйнер телеграф», которые переправлялись в Восточный Берлин и остальные города ГДР, несмотря на все попытки помешать этому со стороны полиции ГДР. В начале шестидесятых Гелен все же прервал регулярные контакты с этими группами из-за признаний нескольких их членов, представших перед судом в Восточной Германии. Их обвинили в убийствах, поджогах и устройстве взрывов, от чего пострадали простые невинные люди, включая женщин и детей. Некоторые террористы, например Иоганн Буриа-нек, Ганс Мюллер, Герхард Бенковиц и Ганс Дитрих Когель, были приговорены к смерти и повешены, многие другие получили сроки от пожизненного до пятнадцати лет каторги. Несколько обвиняемых признались, что работали на БНД.