Возведение Берлинской стены укрепило изменение стратегии в центральных служебных подразделениях МГБ, занимавшихся контрразведкой. Арест шпионов и особенно рассчитанные на пропагандистский эффект их суровые наказания, вплоть до смертной казни, столь распространенные десятилетием раньше, уже перестали быть основной целью их деятельности. Все важнее становилось скрытное наблюдение за разоблаченными, но не арестованными западными агентами с целью выявления их связей. Таким путем МГБ могло выяснить разведывательные намерения БНД и, по меньшей мере, не напрямую контролировать действия офицеров-агентуристов БНД. Сначала Берлинская стена нанесла ущерб оперативной работе МГБ на Западе, в том числе контршпионажу против филиалов Службы в Западном Берлине. Переход границы в теперь действительно разделенном городе внезапно оказался организационной проблемой не только для обычных немцев, но и для сотрудников МГБ.
Девятая линия по-прежнему отвечала за завершающую стадию расследования, но оперативная контрразведывательная деятельность Второй линии приобретала все больший самостоятельный вес. Изменения собственной структуры, которые тут не будут рассматриваться в подробностях, после 1961 года определили дальнейшее развитие Второго главного отдела. После небольших реорганизаций в 1962 году он состоял из шести отделов, трех самостоятельных рефератов и нескольких небольших рабочих групп. Борьба с БНД вследствие улучшившихся условий после строительства Стены была еще больше усилена после временного создания особой оперативной группы. Важным обстоятельством для будущей работы оказалось также разделение «внутренней» и «внешней» контрразведки, более четко проведенное в ходе реструктуризации 1964 года. С другой стороны осуществленное за три года до возведения Стены разделение отдела на сектор, борющийся с БНД и сектор, борющийся с ведомствами по охране конституции, было признано неэффективным и отменено. Теперь HA II/4 отвечал за «внутреннюю контрразведку» против обеих западногерманских служб в ГДР, тогда как «активная контрразведка» отдела HA II/2 использовала для контрразведывательной деятельности собственных «кротов» в Федеративной Республике. В конце шестидесятых годов борьба с военным шпионажем стала особо важным моментом в работе Главного отдела. В отличие от часто изменявшейся структуры, руководство контрразведки менялось редко, с тех пор как был образован Второй главный отдел. Йозефа Кифеля сменил бывший солдат Вермахта Вернер Грюнерт, которого в свою очередь в 1976 году сменил Гюнтер Кратч. Кратч возглавлял контрразведку вплоть до 1989 года и дослужился до генерал-лейтенанта.
Вначале Пуллах по праву больше опасался советской контрразведки, нежели МГБ. Контрразведка «Смерш» и советского МГБ была в ранней фазе Холодной войны очень эффективна в борьбе с военным и прочим шпионажем Организации Гелена. При всех успехах в защите источников это приводило к большим потерям среди агентов, карьера которых заканчивалась перед советскими военными трибуналами. Если немец арестовывался по подозрению в «военном шпионаже» или в «антисоветской деятельности», то службы МГБ ГДР и прокуратуры СОЗ/ГДР должны были передавать дело советскому МГБ. Судебные процессы и приговоры выносились по привычному для Советского Союза тех лет сценарию. Апогея советские контрразведывательные операции достигли в начале 50-х годов. С 1950 по 1953 годы (только по известным данным) в Советском Союзе были казнены 927 немцев, похороненных затем на Донском кладбище в Москве. В 1950–1955 годах было вынесено всего 1112 смертных приговоров, причем подавляющее большинство было осуждено именно за шпионаж (1061 приговор). Но максимальное количество советских смертных приговоров немцам было вынесено в 1951 и 1952 годах. Немало из этих обвинений были необоснованны, но значительное количество имело под собой реальную основу. Сталинское правосудие было в этих случаях жестоким и беспощадным. Западные спецслужбы, вербовавшие агентов для сбора сведений о боевом порядке и боевом расписании советских войск, в те годы слишком мало уделяли внимания защите своих агентов. Мотивы, по которым восточные немцы соглашались шпионить в пользу Организации Гелена и западных разведок, были весьма разнообразны и часто диаметрально противоположны. На шпионаж против Москвы толкали с одинаковой силой и пережитки национал-социалистического сознания с его антибольшевистской направленностью, и демократические убеждения с презрением к жестокой сталинской системе. Но жадность и желание подзаработать, поиск родственников или желание переселиться на Запад тоже были распространенными мотивами людей, взявшихся за шпионаж против ГСОВГ.
Силу МГБ аппарат Гелена ощутил впервые на собственной шкуре в конце осени 1953 года, когда в ходе операции «Фейерверк» были арестованы многочисленные его агенты. С того времени, по словам Майера, «стало явным фронтовое противостояние между ГДР и ФРГ. И не окутанный мистической тайной советский КГБ, но Министерство госбезопасности в Восточном Берлине стало главным противником нашей разведки. Но в головы руководящих немецких политиков того времени просто не укладывалось, что за шепелявым Ульбрихтом стоит государство с чувством собственного достоинства».
Следует упомянуть, что в своих мемуарах Райнхард Гелен практически проигнорировал первого министра госбезопасности ГДР Вильгельма Цайссера, но много места посвятил его преемнику Эрнсту Вольвеберу, под управлением которого МГБ достигло своих первых значительных успехов, ставших известных широкой публике. Но среди этих удач были не только яркие и разрекламированные приключения, вроде побега сотрудников БНД Вольфганга Хёэра и Ганса-Йоахима Гайера из Западного в Восточный Берлин, которые затем выдали МГБ множество своих агентов. Внешне незаметные и мелкие на первый взгляд операции против обычных шпионов, занимавшихся сбором сведений о войсках, давали восточногерманской разведке немалые преимущества.
Восточногерманский контрразведчик Вагнер подчеркивал, что «самым слабым звеном в цепи между агентами в ГДР и разведцентром в Пуллахе была связь. БНД постоянно старалась улучшить систему связи, сделать ее более скрытной, но Второму главному отделу все равно быстро удавалось распознать все изменения и варианты, чтобы принять соответствующие контрмеры».
Контрразведка МГБ исходила из того, что шпионы в пятидесятых годах в основном лично многократно встречались со своими «кураторами» в Западном Берлине, чтобы избегать почтовой или радиосвязи.
«Военные шпионы из отдаленных округов (Росток, Эрфурт, Дрезден), как правило, пользовались «ранними поездами», чтобы отправиться на встречу в Западный Берлин. В этих же поездах ездили и сотрудники наружного наблюдения МГБ, которые вели слежку за опознанными по ряду критериев лицами или за теми, на кого им указывали работники транспортной полиции, от их станции отправления до Западного Берлина».
Возросшие успехи контрразведки МГБ и тем не менее все не уменьшавшаяся активность западных шпионских операций против ГСОВГ заставили и советскую военную контрразведку укреплять сотрудничество с восточногерманской секретной службой. Ведь «военные чекисты» Москвы были слишком перегружены контрразведывательным обеспечением своих столь многочисленных гарнизонов и военных баз на территории ГДР.
в) Сотрудничество МГБ ГДР и советской военной контрразведки
С созданием в феврале 1954 Комитета государственной безопасности при Совете министров СССР, Третье управление «по контрразведывательной работе в Советской армии и Военно-морском флоте», побыв короткое время в Министерстве внутренних дел, окончательно вошло в состав КГБ. Теперь оно называлось Третьим главным управлением и ему подчинялись управления военной контрразведки в военных округах, флотах и группах войск, в армиях и флотилиях, а также особые отделы КГБ в дивизиях и бригадах. В полках и вплоть до рот за контрразведку отвечали особые оперуполномоченные. Для слежки за военнослужащими военная контрразведка создала в вооруженных силах густую сеть информаторов, которые помимо возможных шпионских связей, обязаны были сообщать и о политической благонадежности и нарушениях «социалистической морали» солдат и офицеров. Так как руководство советской секретной службы было явно недовольно предыдущими достижениями военной контрразведки, а виновные в сталинских репрессиях и массовых чистках кадры хотя бы частично требовалось заменить, то из Главного политического управления (ГПУ) вооруженных сил в военную контрразведку КГБ было направлено более полутора тысяч офицеров. Одновременно руководство КГБ уволило тех офицеров, которые были слишком «замазаны» в проведении репрессий.