Обо всей этой истории Слуцкий, по-видимому, рассказал заместителю начальника Секретариата НКВД (и по совместительству секретарю парткома Главного управления госбезопасности) И. И. Шапиро, который, вызвав Баранова к себе, также предостерег его от продолжения избранной им линии поведения. После этого Баранов на время изменил тактику и, не устраивая публичных скандалов, стал писать в Контрразведывательный отдел и на имя Ежова заявления, в которых рассказывал о «безобразиях», творящихся в Иностранном отделе, и о его засоренности политически неблагонадежными элементами.
Однако эти усилия никакого результата не принесли, и Баранов вернулся на прежний путь. На очередном заседании парткома отдела он заявил, что его новый начальник Ш. М. Партин (после предыдущего скандала Баранов был переведен в другое отделение) — скрытый троцкист, и потребовал его исключения из партии и увольнения из органов.
На этот раз сдержать натиск Баранова уже не удалось. Хотя, благодаря заступничеству Слуцкого, доказывавшего, что Партин — отличный работник, ему был объявлен лишь выговор, это была уже явная сдача позиций. А на состоявшемся после заседания парткома общем партийном собрании отдела Баранову удалось развить свой успех и добиться, пусть и незначительным перевесом голосов, чтобы Партин был исключен из партии и снят с работы.
На заседании парткома, так же как и на общем собрании, Баранов, не ограничиваясь обвинениями в адрес Партина, подверг резкой критике и самого Слуцкого, а также секретаря парторганизации Долматова, которые, по его словам, вместо того, чтобы возглавить борьбу с врагами народа в собственных рядах, всячески препятствуют очищению отдела от разного рода «политической сволочи».
А тем временем во всех остальных структурных подразделениях ГУГБ НКВД чистка, к которой призывал своих коллег Баранов, шла полным ходом. 20 июля 1937 года был арестован Я. С. Агранов — самая крупная после Ягоды фигура в доежовском НКВД. В апреле 1937 года он был по распоряжению Сталина отстранен от обязанностей начальника Главного управления госбезопасности и возглавил Секретно-политический отдел. Однако, пробыв здесь всего лишь месяц, был отправлен в Саратов руководить местным УНКВД, и вот теперь закономерным результатом этого скольжения вниз стал его арест.
Ежов, находившийся с Аграновым в дружеских отношениях, похоже, не собирался заниматься им всерьез. Об этом свидетельствует хотя бы то, что следствие по его делу он поручил вести начальнику Тюремного отдела ГУГБ НКВД Я. М. Вейнштоку. Последний уже с середины двадцатых годов не работал на оперативных должностях, и выставить его против такого «зубра», как Агранов, значило заранее согласиться с весьма скромными результатами расследования.
Но тут к Ежову с неожиданной просьбой обратился Слуцкий, попросивший передать следствие по делу Агранова в его руки. Свою просьбу он мотивировал тем, что все остальные отделы ГУГБ уже вовлечены в работу по разоблачению заговорщиков внутри НКВД и только Иностранный отдел остается в стороне, что может быть воспринято как выражение недоверия к нему, Слуцкому, и его людям. (Агранов был давним приятелем Слуцкого, и можно предположить, что последний, настаивая на своем участии в следствии, возможно, стремился предотвратить разглашение какой-то нежелательной для себя информации.)
Немного поколебавшись, Ежов согласился. Начав работать с Аграновым, Слуцкий подключил к следствию также и Баранова, рассчитывая, видимо, отвлечь его этим посторонним занятием от внутриотдельских интриг. Первое время Баранову поручили допрашивать жену Агранова, затем он был привлечен к допросам самого Агранова. И вот однажды, когда Баранов оказался с Аграновым наедине, тот вдруг «активизировался», то есть выразил желание дать показания по собственной инициативе. К этому времени Агранов, обозленный, видимо, тем, что под него «копает» старый товарищ, ждал, вероятно, лишь случая, чтобы поквитаться с ним. Выразившись в том духе, что прежде, когда его допрашивала «разная сволочь, которой еще очень много в отделе Слуцкого», он не был готов к излишней откровенности, Агранов заявил, что Баранову он доверяет и хочет сообщить все, что знает о враждебной деятельности самого Слуцкого в органах НКВД.