Из-за слабого здоровья Менжинского и его вялого стиля руководства власть в ОГПУ постепенно перешла к его более агрессивному заместителю Генриху Григорьевичу Ягоде, коренастому, пышащему здоровьем еврею, который коренным образом отличался от Менжинского как по своим манерам, так и по внешнему виду. Воспоминания об этом человеке до сих пор не вызывают ничего, кроме стыда, даже среди сотрудников КГБ. Практически во всех мемуарах о сталинской эпохе это имя упоминается с отвращением. «Если Менжинский не имел себе равных по широте образования, Ягода не имел себе равных по жестокости, бескультурью и грубости», – писал Агабеков. Однако его грубость и жестокость еще не проявились столь явно, когда Дзержинский назначил его своим вторым заместителем в 1923 году. Возможно, Дзержинский полагал, что он был просто исполнительным и энергичным бюрократом, полным амбиций. Ягода стал классическим примером бюрократа, испорченного чрезмерной властью. Его растущая претенциозность была под стать его жестокости. Как рассказывал один из сотрудников Ягоды, за несколько дней до того, как он был отстранен от занимаемой должности летом 1936 года, он был полностью поглощен разработкой своей новой служебной формы: белый шерстяной костюм, отделанный золотыми галунами, небольшой позолоченный кортик, как у военно-морских офицеров при царе, голубые брюки и ботинки из специально выделанной импортной кожи.
Сталин никогда полностью не доверял Ягоде, отчасти потому, что сам был антисемитом, и потому, что Ягода симпатизировал «правой оппозиции» и ее популярному лидеру, Николаю Бухарину. В 1928 году в разговоре с Каменевым Бухарин сказал, что и Ягода, и Трилиссер, второй заместитель председателя ОГПУ и начальник ИНО, «были с ними». Он также сказал, что Ягода передал ему секретную информацию о восстаниях крестьян. Вместе с тем Бухарин знал, что Ягода был оппортунистом и что на его поддержку рассчитывать не следовало. В 1931 году Сталин попытался укрепить свое влияние в ОГПУ, направив туда партийного аппаратчика А.И. Акулова, который так же, как и Ягода, занял пост первого заместителя председателя ОГПУ. Но уже через год Акулов был вынужден оставить этот пост. Тем не менее, выжидая удобного момента для того, чтобы поставить своего человека во главе ОГПУ, Сталин смог договориться с Ягодой. Ягода был скорее карьеристом, чем идеологом, и был готов пойти за Сталиным, лишь бы продвинуться по служебной лестнице. Вместе с тем он не был готов безоговорочно поддержать Сталина. Трилиссер же был более активным сторонником «правой оппозиции». Уже в 1923 году он присоединился к Бухарину в наступлении на троцкистскую линию. Но к концу 1929 года Ягода, рассматривая Трилиссера как потенциального соперника, смог при поддержке Центрального Комитета добиться, чтобы Трилиссер был убран из ОГПУ. Вместо него на пост главы ИНО был назначен бывший начальник КРО (контрразведка) Артур Артузов.
Первый год пребывания в руководстве ОГПУ Менжинского и Ягоды был отмечен успешным завершением операции «Трест». Однако этот успех был омрачен целым рядом скандальных разоблачений и провалов советской внешней разведки. Безопасность быстро растущей сети ОГПУ и военной разведки была поставлена под угрозу уязвимостью советских шифров, а также неопытностью советских резидентов в организации работы местных коммунистов, которые, отличаясь большим рвением, очень часто действовали по-дилетантски. Весной 1927 года произошло сенсационное разоблачение советской агентуры, работавшей в восьми странах. В марте была раскрыта шпионская организация в Польше, возглавляемая бывшим белым генералом, ставшим впоследствии агентом ОГПУ, Даниэлем Ветренко; ведущий специалист советско-турецкой корпорации в Стамбуле был обвинен в организации шпионажа на турецко-иракской границе; и, наконец, швейцарская полиция объявила об аресте двух советских шпионов. В апреле, во время обыска, проведенного в советском консульстве в Пекине, было найдено огромное количество документов о советской шпионской деятельности; французская «Сюрте» арестовала восемь членов советской шпионской сети, возглавляемой Жаном Креме, членом Политбюро Французской коммунистической партии. В мае были задержаны сотрудники австрийского Министерства иностранных дел, которые снабжали агентов ОГПУ секретной информацией; а в результате рейда и обыска, проведенного британскими спецслужбами в Лондоне в помещениях Всероссийского кооперативного общества («Аркос») и советской торговой делегации, была раскрыта, по словам Уильяма Джойнсона-Хикса, министра внутренних дел Великобритании, человека, известного своей эмоциональностью и склонностью к некоторому преувеличению, «одна из самых больших и самых гнусных шпионских организаций, о которых я когда-либо слышал».
Полицейские рейды в Пекине и Лондоне, за которыми последовала публикация некоторой разведывательной информации, нанесли особенно сильный удар по советской внешней шпионской сети. Документы, опубликованные в Китае, содержали огромное количество скандальных деталей, рассказывающих о секретной советской деятельности (в основном военной разведке), включая полученные из Москвы инструкции о том, что «не следует избегать никаких мер, в том числе грабежа и массовых убийств», с тем чтобы способствовать развитию конфликта между китайским народом и западными странами. В них также содержались списки имен агентов, инструкции китайским коммунистам по оказанию помощи в проведении разведывательных операций, а также детальное описание оружия, тайно ввозимого в Китай. Хотя английской полиции не удалось захватить такого большого количества чрезвычайно важных документов, опубликованные в Лондоне материалы имели не меньший эффект, поскольку они сопровождались сообщением о том, что британским специалистам вновь удалось разгадать советский дипломатический шифр. В своих выступлениях перед Палатой общин премьер-министр, министр иностранных дел и министр внутренних дел цитировали телеграммы из перехваченной советской дипломатической переписки.
Ущерб, нанесенный сенсационными разоблачениями в Пекине и Лондоне, был особенно велик для Кремля и ОГПУ, поскольку это произошло в поворотный момент в отношениях России с Китаем и Великобританией. С 1922 года советская политика в Китае основывалась на альянсе с националистским гоминьдановским режимом. В апреле 1927 года в результате возглавляемого коммунистами восстания, Шанхай перешел в руки гоминьдановского генерала Чан Кайши. «Чан, – говорил Сталин, – должен быть выжат, как „лимон, а затем выброшен“. Однако на практике в роли лимона оказались коммунисты. Одержав победу в Шанхае, Чан начал систематически уничтожать коммунистов, которые обеспечили ему приход к власти. По приказу Сталина коммунисты ответили на это волной вооруженных выступлений. Все восстания были жестоко подавлены.