Кроме того, следует учитывать, что в троцкистской оппозиции принимали участие многие бывшие чекисты. Например, Иван Петрович Бакаев служил в ВЧК (сначала Петрограда, затем Юго-Востока) в 1919–1921 гг., Котэ Цинцадзе руководил Грузинской ЧК в 1921–1922 гг., Яков Абрамович Лившиц был председателем Киевской ЧК(1920–1921), а затем был заместителем председателя ГПУ УССР, начальником Секретно-оперативной части ГПУ УССР. Конечно, к 1927 г. они ушли из ОГПУ, но связи, видимо, оставались, и несмотря на принятые меры, влияние троцкистов в ОГПУ оставалось заметным. А.М.Плеханов справедливо считает, что написанная в 1927 году «Современная баллада» точно отражает настроение в органах:
Не позже 1927 года ОГПУ перешло к активным арестам троцкистов. Ягода, видимо, действительно был близок к правым (Рыкову, Бухарину, Томскому, Угланову), что было особенно заметно в конце 1920-х. Сам Ягода признает, что был близок к правым по «идейным мотивам», кроме того, он мог считать, что со временем правые победят. В 1928 — начале 1929 гг. он несколько раз встречался с лидерами правых на даче Томского.
Всем старым членам ЦК было хорошо известно, что в июле 1928 года между оппозиционером Л. Каменевым и Н. Бухариным произошел разговор, в котором правые пытались договориться с троцкистско-зиновьевской оппозицией о совместной борьбе против Сталина. В ходе этого разговора Бухарин якобы заявил: «Наши потенциальные силы огромны. Рыков, Томский, Угланов абсолютно наши сторонники. Я пытаюсь оторвать от Сталина других членов Политбюро, но пока получается плохо. Орджоникидзе не рыцарь. Ходил ко мне и ругательски ругал Сталина, а в решающий момент предал. Ворошилов с Калининым тоже изменили нам в последний момент. Я думаю, что Сталин держит их какими-то особыми цепями. Оргбюро ЦК ВКП(б) наше. Руководители ОГПУ Ягода и Трилиссер — тоже. Андреев тоже за нас». Упомянутый в разговоре, Меер Абрамович Трилиссер, руководитель иностранного отдела ОГПУ, пришел в центральный аппарат только в 1922 году, но благодаря уму и организаторским способностям быстро сделал карьеру. В 1928 году он стал заместителем председателя ОГПУ и уполномоченным ОГПУ при СНК СССР.
Информация об этом разговоре была опубликована зимой 1929 г., а 6 февраля 1929 г. Менжинский, Ягода, и Трилиссер официально заявили, что считают ее ложью и клеветой. Но поверил ли Сталин им? По крайней мере, «неприятный осадок остался».
Вслед за этим в ОГПУ разгорелся скандал вокруг банальных попоек руководства ОГПУ. Как можно понять, эта история привела к острому конфликту между Трилиссером и Ягодой. Трилиссер обвинял Ягоду в сочувствии правым и говорил о необходимости самокритики в органах. Это вызвало решительное осуждение со стороны Сталина. 16 сентября 1929 года вождь писал Менжинскому письмо: «Прежде всего, как Ваше здоровье? А потом — два слова о делах чекистских. Дело в том, что считаю нужным предупредить Вас о некоторых болезненных явлениях в организациях ГПУ, о которых рассказал мне на днях Реденс. Оказывается у вас (у чекистов) взят теперь курс на развернутую самокритику внутри ГПУ. Иначе говоря, чекисты допускают те же ошибки, которые были допущены недавно в военведе. Если же верно, то это грозит разложением ГПУ и развалом чекистской дисциплины. Не забудьте, что ГПУ — не менее военная организация, чем военвед. Нельзя ли проверить это дело и если оно подтвердится, принять решительные меры против этого зла».
27 октября 1929 года решением Политбюро ЦК ВКП(б) начальник Иностранного отдела ОГПУ Меер Абрамович Трилиссер был освобожден от занимаемой должности. Почему Сталин встал на сторону Ягоды и не поддержал Трилиссера? Было ли дело только в «самокритике»? Возможно, что не менее важную роль сыграл арест Якова Блюмкина.
Дело в том, что весной 1929 убийца Мирбаха был одним из организаторов и резидентов советской разведки. Бывший троцкист Блюмкин установил контакты с Троцким в Константинополе и выразил готовность выполнять поручения высланного вождя в СССР. Ситуация была сложная: в Москве шла борьба с правыми, многие бывшие троцкисты возвращались в партию, считая, что Сталин «понял правоту левой оппозиции». Троцкий говорил, что в «трудные часы Сталину придется призвать» оппозиционеров против натиска правых, как «Церетели призвал большевиков против Корнилова». Обсуждалась и вероятность падения «группы Сталина» в «ближайшие месяцы», если он не поймет необходимости союза с троцкистами. С этими мыслями Блюмкин в середине августа 1929 г. вернулся в Москву.