Возведение Берлинской стены укрепило изменение стратегии в центральных служебных подразделениях МГБ, занимавшихся контрразведкой. Арест шпионов и особенно рассчитанные на пропагандистский эффект их суровые наказания, вплоть до смертной казни, столь распространенные десятилетием раньше, уже перестали быть основной целью их деятельности. Все важнее становилось скрытное наблюдение за разоблаченными, но не арестованными западными агентами с целью выявления их связей. Таким путем МГБ могло выяснить разведывательные намерения БНД и, по меньшей мере, не напрямую контролировать действия офицеров-агентуристов БНД. Сначала Берлинская стена нанесла ущерб оперативной работе МГБ на Западе, в том числе контршпионажу против филиалов Службы в Западном Берлине. Переход границы в теперь действительно разделенном городе внезапно оказался организационной проблемой не только для обычных немцев, но и для сотрудников МГБ.
Девятая линия по-прежнему отвечала за завершающую стадию расследования, но оперативная контрразведывательная деятельность Второй линии приобретала все больший самостоятельный вес. Изменения собственной структуры, которые тут не будут рассматриваться в подробностях, после 1961 года определили дальнейшее развитие Второго главного отдела. После небольших реорганизаций в 1962 году он состоял из шести отделов, трех самостоятельных рефератов и нескольких небольших рабочих групп. Борьба с БНД вследствие улучшившихся условий после строительства Стены была еще больше усилена после временного создания особой оперативной группы. Важным обстоятельством для будущей работы оказалось также разделение «внутренней» и «внешней» контрразведки, более четко проведенное в ходе реструктуризации 1964 года. С другой стороны осуществленное за три года до возведения Стены разделение отдела на сектор, борющийся с БНД и сектор, борющийся с ведомствами по охране конституции, было признано неэффективным и отменено. Теперь HA II/4 отвечал за «внутреннюю контрразведку» против обеих западногерманских служб в ГДР, тогда как «активная контрразведка» отдела HA II/2 использовала для контрразведывательной деятельности собственных «кротов» в Федеративной Республике. В конце шестидесятых годов борьба с военным шпионажем стала особо важным моментом в работе Главного отдела. В отличие от часто изменявшейся структуры, руководство контрразведки менялось редко, с тех пор как был образован Второй главный отдел. Йозефа Кифеля сменил бывший солдат Вермахта Вернер Грюнерт, которого в свою очередь в 1976 году сменил Гюнтер Кратч. Кратч возглавлял контрразведку вплоть до 1989 года и дослужился до генерал-лейтенанта.
Вначале Пуллах по праву больше опасался советской контрразведки, нежели МГБ. Контрразведка «Смерш» и советского МГБ была в ранней фазе Холодной войны очень эффективна в борьбе с военным и прочим шпионажем Организации Гелена. При всех успехах в защите источников это приводило к большим потерям среди агентов, карьера которых заканчивалась перед советскими военными трибуналами. Если немец арестовывался по подозрению в «военном шпионаже» или в «антисоветской деятельности», то службы МГБ ГДР и прокуратуры СОЗ/ГДР должны были передавать дело советскому МГБ. Судебные процессы и приговоры выносились по привычному для Советского Союза тех лет сценарию. Апогея советские контрразведывательные операции достигли в начале 50-х годов. С 1950 по 1953 годы (только по известным данным) в Советском Союзе были казнены 927 немцев, похороненных затем на Донском кладбище в Москве. В 1950–1955 годах было вынесено всего 1112 смертных приговоров, причем подавляющее большинство было осуждено именно за шпионаж (1061 приговор). Но максимальное количество советских смертных приговоров немцам было вынесено в 1951 и 1952 годах. Немало из этих обвинений были необоснованны, но значительное количество имело под собой реальную основу. Сталинское правосудие было в этих случаях жестоким и беспощадным. Западные спецслужбы, вербовавшие агентов для сбора сведений о боевом порядке и боевом расписании советских войск, в те годы слишком мало уделяли внимания защите своих агентов. Мотивы, по которым восточные немцы соглашались шпионить в пользу Организации Гелена и западных разведок, были весьма разнообразны и часто диаметрально противоположны. На шпионаж против Москвы толкали с одинаковой силой и пережитки национал-социалистического сознания с его антибольшевистской направленностью, и демократические убеждения с презрением к жестокой сталинской системе. Но жадность и желание подзаработать, поиск родственников или желание переселиться на Запад тоже были распространенными мотивами людей, взявшихся за шпионаж против ГСОВГ.