Всероссийская Чрезвычайная комиссия уполномочила ее члена Якова Блюмкина и представителя Революционного Трибунала Николая Андреева войти в переговоры с Господином Германским Послом в Российской Республике по поводу дела, имеющего непосредственное отношение к Господину Послу.
Подпись Дзержинского была подделана, а настоящую печать поставил заместитель Дзержинского левый эсер Ксенофонтов.
Шестого июля 1918 года около двух часов дня Блюмкин и фотограф ВЧК Андреев явились в Германское посольство и, предъявив удостоверение, потребовали личного свидания с Мирбахом под предлогом необходимости обсудить вопрос, связанный с его родственником Робертом Мирбахом. Мирбах согласился. В приемной посольства вместе с послом находились советник К. Рицлер и лейтенант Мюллер. В самом начале беседы Блюмкин и Андреев неожиданно открыли стрельбу. Мирбах бросился вон из приемной, но Блюмкин побежал за ним и бросил бомбу. Германский посол был убит, а его сотрудники ранены. Воспользовавшись поднявшейся паникой, террористы выскочили через окно во двор и скрылись на автомобиле.
Покушение на Мирбаха было сигналом к вооруженному выступлению левых эсеров. Но к 8 июля мятеж был подавлен. 13 активных его участников, в том числе и В.А. Александров, были расстреляны, но Блюмкину и Андрееву удалось скрыться. Для расследования событий 6–7 июля СНК образовал особую следственную комиссию в составе П.И. Стучки, В.Э. Кингисеппа и Я.С. Шейнкмана. 27 ноября 1918 года дело левых эсеров было рассмотрено Верховным революционным трибуналом. В числе прочих Блюмкин был приговорен к тюремному заключению сроком на три года с применением принудительных работ. Однако радость принудительного труда ему испытать не удалось. 16 мая 1919 года Блюмкин, скрывавшийся на Украине, явился в ВЧК с повинной и был амнистирован.
В 1920 году Блюмкин вступил в РКП(б) и направляется на военную работу. А уже летом того же года принял участие в создании Гилянской советской республики в Северном Иране в качестве комиссара штаба Красной Армии Гилянской советской республики. В сентябре 1920 года Блюмкин поступил в академию Главного штаба РККА, а с 1922 года работал в секретариате Реввоенсовета сотрудником для особых поручений Л. Троцкого.
В 1923 году Блюмкина вновь направили на работу в органы ОГПУ, но своих связей с Троцким он не прервал и даже принял участие в подготовке к изданию первого тома трехтомного труда Л. Троцкого «Как вооружалась революция».
В 1924–1925 годах Блюмкин занял должность помощника полномочного представителя ОГПУ в Закавказье по командованию войсками Закавказской ЧК, а в 1926–1927 годах работал главным инструктором внутренней охраны (службы безопасности) Монголии. Быстрый карьерный рост вскружил ему голову. Он стал крайне высокомерно относиться к своим коллегам и монгольским товарищам. В результате, по настоянию председателя ЦК Монгольской народно-революционной партии Дамбе-Дорчжи, в ноябре 1927 года Блюмкин был отозван в Москву.
В Москве Блюмкин, несмотря на покровительство начальника ИНО ОГПУ М.А. Трилиссера, оставался без дела.
Безделье закончилось в 1928 году когда Блюмкину поручили организовать нелегальную резидентуру на Ближнем Востоке. Сначала он должен был легализоваться в Стамбуле, а потом создать агентурную сеть в Палестине и Сирии для сбора информации о политике Англии и Франции на Ближнем Востоке и оказания помощи местному национально-освободительному движению.
В сентябре 1928 года Блюмкин с паспортом на имя персидского купца Якуба Султанова выехал на пароходе из Одессы в Стамбул, где приступил к выполнению задания. Он побывал в Палестине, Вене, Париже, а в марте приехал в Берлин. Там он и узнал о высылке из Советского Союза в Турцию Льва Троцкого.
Поэтому и принял решение немедленно возвратиться в Стамбул, куда он приехал 10 апреля 1929 года. 12 апреля у него состоялась первая встреча с сыном Троцкого Львом Седовым, а через четыре дня, 16 апреля, — с самим Троцким. Между ними имела место продолжительная беседа, во время которой Блюмкин заявил, что полностью передает себя в распоряжение Троцкого и составил для него рекомендации для организации личной охраны. Кроме того, поддерживая связь с Троцким через его сына Седова, Блюмкин передавал ему секретные материалы стамбульской резидентуры ОГПУ и сведения о деятельности поезда председателя Реввоенсовета в годы Гражданской войны, необходимые Троцкому для издания автобиографической книги «Моя жизнь». Направляясь в Москву, Блюмкин согласился передать письма Троцкого его сторонникам в СССР, и в частности К. Радеку.