С осени 1923 года — сотрудник Иностранного отдела (ИНО) ГПУ — ОГПУ, нелегальный резидент ИНО в Палестине.
В 1924 году Блюмкин был назначен помощником полномочного представителя ОГПУ в Закавказье. В конце 1925 года он некоторое время работал ответственным сотрудником Наркомата торговли.
В 1926–1927 годах находился на оперативной работе за рубежом, являясь главным инструктором государственной внутренней охраны (службы безопасности) Монголии. Близость к Троцкому и быстрый карьерный рост вскружили Блюмкину голову, и он стал относиться к монгольским коллегам высокомерно и бестактно. В ноябре 1927 года по настоянию председателя ЦК Монгольской народно-революционной партии Дамбе-Дорчжи Блюмкин был отозван в Москву, где, несмотря на явную протекцию начальника ИНО ОГПУ Трилиссера, несколько месяцев оставался в резерве внешней разведки.
В 1928 году Трилиссер поручает Блюмкину ответственное задание — организовать нелегальную резидентуру на Ближнем Востоке. Он должен был обосноваться в Стамбуле, а затем создать нелегальную разведывательную сеть в Палестине и Сирии.
В сентябре 1928 года Блюмкин с паспортом на имя персидского купца Якуба Султанова выезжает из Одессы в Стамбул, где открывает магазин персидских ковров и успешно легализуется. Из Стамбула он совершает поездки в Иерусалим, Вену, Париж.
В марте 1929 года, находясь в Берлине, Блюмкин узнает о высылке из СССР в Турцию его кумира Льва Троцкого. Он принимает решение немедленно возвратиться в Стамбул, где 12 апреля встречается с сыном Троцкого Львом Седовым. 16 апреля встречается с самим «демоном революции» и в ходе продолжительной беседы заявляет, что «полностью передает себя в его распоряжение».
Блюмкин подробно инструктирует Троцкого относительно того, как организовать его личную охрану. Через Льва Седова он регулярно передает Троцкому секретные материалы и финансовые средства стамбульской нелегальной резидентуры ИНО ОГПУ. Одновременно соглашается нелегально переправить в СССР для активных участников оппозиции письмо Троцкого и несколько его книг. Вскоре «легальная» резидентура внешней разведки подробно информирует Москву о регулярных контактах Блюмкина с изгнанником.
В начале октября 1929 года Блюмкин был отозван из страны. В Москве он попытался объединить известных ему сторонников Троцкого. В частности, информировал видного троцкиста Карла Радека о своих встречах с Троцким в Стамбуле. Радек, находившийся в опале, немедленно сообщил об этой беседе Сталину. Одновременно Блюмкин рассказал своей близкой знакомой, сотруднице ИНО ОГПУ Елизавете Горской (в дальнейшем — видная советская разведчица-нелегал Елизавета Юльевна Зарубина), о своих контактах с троцкистами. Горская рекомендовала Блюмкину немедленно доложить о своих встречах руководству внешней разведки. Однако тот отказался. В свою очередь Горская поставила в известность о разговоре с Блюмкиным помощника начальника Иностранного отдела Михаила Горба. Тот дал ей указание прекратить все контакты с разведчиком.
15 октября Яков Блюмкин был арестован. Следствие по его делу вел заместитель начальника Секретно-политического отдела ОГПУ Яков Агранов, который впоследствии печально прославился участием в необоснованных репрессиях против чекистов. На допросах Блюмкин ничего не скрывал, надеясь на снисхождение. Однако чистосердечное признание ему не помогло. 3 ноября 1929 года Коллегия ОГПУ постановила расстрелять Якова Григорьевича Блюмкина «за повторную измену делу пролетарской революции и Советской власти и за измену революционной чекистской армии».
«Безусловно, Блюмкин являлся очень интересной фигурой, — подчеркивал в беседе с автором Анатолий Серебрянский, сын героя нашего повествования. — О нем много говорили и много писали. Но писали по-разному. Тем не менее при всех его недостатках это был действительно борец за советскую власть, хотя и с элементами авантюризма. Кстати, я считаю, что у всех работников внешней разведки, добившихся результатов в оперативной деятельности, этот элемент, хотя бы в небольших количествах, всегда присутствовал. Я думаю, что отца в Блюмкине привлек именно его авантюризм, постоянная готовность к риску, неожиданным ситуациям. Полагаю, что в молодости отцу были также присущи некоторые элементы авантюризма. Ну а первая их совместная деятельность относится к периоду существования Гилянской Красной армии».