За контрразведку в дислоцированных в Советской оккупационной зоне частях Красной Армии во время Второй мировой войны отвечал «Смерш». Эта контрразведывательная служба, созданная в 1943 году из особых отделов НКВД в войсках и формально подчиненная Народному комиссару обороны, возглавлялась генерал-полковником Виктором Семеновичем Абакумовым. Сотрудники «Смерш», отвечавшие за контрразведывательное обеспечение Красной Армии, флота и войск НКВД, на самом деле оставались в теснейшем контакте с НКВД. Абакумов даже не посчитал нужным переехать из своего кабинета на Лубянке в здание Наркомата обороны.
После немецкой капитуляции в мае 1945 года группа офицеров «Смерш» устроила на вилле фон Мирбаха в Потсдаме штаб-квартиру Управления контрразведки (УКР) Народного комиссариата обороны. Даже когда штаб советских оккупационных войск в 1946 году переехал в городок Вюнсдорф к югу от Берлина, ванная контрразведка осталась в Потсдаме. Хотя такое разделение порой приводило к сложностям, военная контрразведка так и пребывала в Потсдаме до самого вывода российских войск в 1994 году. По мнению советских контрразведчиков сначала причины этого были в недостаточной инфраструктуре в Вюнсдорфе, где просто не было достаточного количества казарм и служебных зданий для большого количества войск. Позже все попытки устранить это географическое разделение, нередко вызывавшие проблемы с координацией и согласованием, сорвались из-за нехватки денежных средств.
Управление контрразведки одновременно отвечало и за защиту советских войск от иностранного шпионажа и за политическую благонадежность военнослужащих ГСОВГ, являясь главным противником западных разведок. В задачи УКР входило выслеживание вражеских шпионов с целью их ареста или перевербовки и использования как двойных агентов. Информаторов УКР вербовало из числа советских военнослужащих, а также немцев, проживавших поблизости мест дислокации советских войск.
Благодаря богатому опыту «Смерш» первые успехи не заставили себя ждать. Уже в августе 1945 года контрразведка арестовала в Эрфурте одного шпиона, работавшего на англичан и пытавшегося выведать настроения в Красной армии. Кроме того, британцы поручили ему собирать информацию о воссозданной Коммунистической партии Германии (КПГ) и о других антифашистских организациях, о взаимоотношениях русских и немцев, о реакции немцев на мероприятия СВАГ и материал о демонтированных предприятиях. В то время американская сторона располагала очень слабой информацией о структуре советской контрразведки, так как контрразведка самой американской армии тогда занималась в основном поиском нацистских военных преступников. Без систем «Ультра» и «Мэйджик», то есть радиоперехвата и дешифровки, сходных с теми, благодаря которым в годы войны удалось взломать немецкие и японские шифры, американские спецслужбы сразу после войны были почти беспомощны. Кроме того, существовала жесткая конкуренция между Контрразведывательным корпусом с одной стороны и Подразделением стратегических служб, Центральной разведывательной группой и ЦРУ с другой.
В рамках операции „TICOM“ американцы переманили себе на службу многих немецких дешифровщиков сразу же после войны, что позволило им взломать советские шифры. До 1948 года, когда СССР благодаря своим разведчикам узнал о том, что его шифры читаются, и провел их радикальную смену, Агентство армейской безопасности (ААБ, Army Security Agency, ASA) — предшественник нынешнего Агентства национальной безопасности (АНБ, National Security Agency, NSA) — могло читать радиограммы, которыми обменивались Советская армия и органы госбезопасности и разведки Москвы, благодаря чему ААБ удалось составить полную картину ситуации в советской национальной безопасности.
Уже в июле 1946 года состоялся первый в истории Холодной войны обмен агентами. 14 июля 1946 года американцы в Берлин-Ваннзее арестовали трех сотрудников бранденбургского оперативного сектора НКВД. СВАГ передала американцам меморандум с требованием отпустить задержанных. Так как американцы не торопились это делать, начальник НКВД в СОЗ генерал-полковник Иван Александрович Серов и маршал Соколовский решили задержать нескольких американских военных, находившихся в СОЗ без соответствующего разрешения. Спустя несколько дней сотрудники советской контрразведки арестовали в 60 километрах от Берлина американского офицера Сэмюеля Харрисона. Чуть позже были задержаны капитан Кобин и лейтенант Хэйт при попытке вести наблюдение за специальным лагерем НКВД. Последующее расследование доказало, что оба офицера являются сотрудниками американской разведки. Теперь, когда уже США просили об освобождении своих офицеров, препятствий к обмену больше не было. Сначала американцам вернули Харрисона, американцы же отпустили советских офицеров. Тогда русские освободили Кобина и Хэйта.