В 1946 году произошли важные структурные реформы в аппарате безопасности в СОЗ. В марте 1946 года прежние наркоматы были переименованы в министерства. Таким образом, НКВД стал называться Министерством внутренних дел (МВД), а НКГБ — Министерством государственной безопасности (МГБ). Одновременно Сталин попытался ограничить полномочия министра внутренних дел Лаврентия Павловича Берия и его спецслужб. Вместо Берия министром внутренних дел стал Сергей Никифорович Круглов, которому Берия не доверял. В мае 1946 года один из самых близких Берия людей потерял свой пост. Всеволод Николаевич Меркулов, прежний министр госбезопасности, был сменен на своем посту бывшим шефом «Смерш» Абакумовым. Полномочия Абакумова были при этом существенно расширены Сталиным, когда 4 мая 1946 года входивший прежде в Министерство обороны «Смерш» был возвращен в структуру МГБ. Из «Смерша» было образовано Третье главное управление МГБ, которое, как и прежде, отвечало за военную контрразведку. В основных чертах эта структура МГБ не изменялась до его слияния с МВД в марте 1953 года.
В Советской оккупационной зоне в ноябре 1947 года руководство военной контрразведкой Группы советских оккупационных войск в Германии перешло в руки генерала Петра Ивановича Ивашутина, будущего многолетнего руководителя советской военной разведки ГРУ. Под его командованием структуры военной контрразведки получили дальнейшее развитие. Главным ее руководящим звеном оставалось, как уже упоминалось, Управление контрразведки при штабе Группы в Потсдаме. Помимо обычных административных отделов, батальона охраны и следственной тюрьмы в Управление входило четыре отдела. Первый отдел занимался штабной и административной работой, второй отдел отвечал за контрразведывательное обеспечение армий, дивизий и бригад Группы, а третий отдел проводил контрразведывательные мероприятия против западных разведок и «антисоветских элементов» и «предателей Родины», а также боролся с уголовными преступлениями военнослужащих. Четвертый отдел в качестве следственной части расследовал случаи шпионажа, доводя их до военного трибунала.
Генералу Ивашутину подчинялись также особые отделы контрразведки отдельных армий. Их начальникам, в свою очередь, тоже подчинялись пять отделов. Первый отдел занимался штабной и административной работой. Второй — контрразведывательным обеспечением гарнизонов и объектов снабжения армии. Третий отдел координировал контрразведывательную деятельность во входящих в армию соединениях вплоть до бригадного звена. Четвертый отдел, наконец, обеспечивал, внешнюю защиту, а следственный отдел расследовал конкретные случаи измены.
Только между 1945 и 1954 годами военной контрразведкой советских оккупационных войск в СОЗ/ГДР было арестовано несколько сотен шпионов западных спецслужб. Большая часть этих людей были немцами из СОЗ/ГДР, и подавляющее большинство их них, выполнявших задания своих английских или американских «кураторов», были задержаны в непосредственной близости от гарнизонов. Чаще всего арестованные были наблюдателями за местами дислокации советских войск, собирая информацию об их боевом порядке и боевом расписании. Они следили за советскими аэродромами, гарнизонами, полигонами, штабами, складами и обычно сообщали полученные сведения своим резидентам и оперативным офицерам в зашифрованных письмах. Во всяком случае, эта масса агентов была плохо подготовлена и легко попадала в ловушку советской контрразведки. В рамках операции «Грааль», к примеру, американская военная разведка с начала 1946 года вела сбор информации о местах дислокации советских войск в СОЗ. Для этого американцы использовали около 250 наблюдателей, прошедших лишь самый минимальный инструктаж После первоначальных успехов вся операция развалилась в конце 1946 года как карточный домик, как только советская контрразведка внедрила в среду агентов своих информаторов, после чего массово арестовала американских шпионов. Большинство агентов после короткого процесса оказались в Гулаге.