Участвовавший в съезде Фишман принял деятельное участие в подготовке покушения на Мирбаха. Он поселился на нелегальной даче левых эсеров на подмосковной станции Ухтомская. На ней находился склад оружия и формировались террористические группы для отправки в оккупированные австро-германскими войсками Украину, Белоруссию и Прибалтику. На этой даче магистр химии и изготовил ручные бомбы, которыми был затем убит посол. Этот теракт эсеры приурочили к V Всероссийскому съезду Советов, открывшемуся в Большом театре в Москве 4 июля. Одним из двух секретарей партийной фракции на съезде, кстати, был Фишман. Первоначально боевики планировали осуществить убийство Мирбаха прямо в дипломатической ложе Большого театра, но потом отказались от этого плана.
В день открытия съезда на заседание ЦК ПЛСР был вызван заведующий отделом Всероссийской чрезвычайной комиссии (ВЧК) по борьбе с немецким шпионажем 20-летний член партии Яков Блюмкин. От него потребовали схему комнат немецкого посольства. В ответ чекист предложил свои услуги в деле покушения. (Кстати, очень похоже на то, что партийная карьера этого молодого честолюбца не обошлась без протекции Фишмана и его младшего брата, находившегося тогда в Одессе, откуда и прибыл Блюмкин в Москву, хотя прямых указаний на это пока не обнаружено.) Непосредственной проработкой теракта и предварительной репетицией с его исполнителями занялись опытные террористы, проведшие долгие годы на каторге, - Мария Спиридонова, Анастасия Биценко и Прош Прошьян. 6 июля в гостинице «Националь» на Тверской улице Фишман вручил бомбы кураторам покушения. Затем за ними явились Блюмкин и еще один террорист (одессит Николай Андреев), отправившиеся затем на автомобиле в район Арбата…
Пока они расправлялись с Мирбахом в доме по адресу: Веснина, 5, в котором сейчас расположено посольство Италии, - Фишман вместе с другими заговорщиками находился в так называемом «штабе обороны партии», опорным пунктом для коего был выбран особняк Морозова в Трехсвятительском переулке. Там дислоцировался Боевой отряд ВЧК под командованием матроса Попова. Непосредственно Фишман участвовал в не вполне удачных попытках разагитировать солдат соседних полков. Но его партийные друзья так и не решились на настоящий путч с захватом Кремля. Они ограничились самообороной и были обречены на поражение. Большевики перехватили инициативу, арестовав для начала в Большом театре фракцию левых эсеров и подтянув верные латышские части. Последовал артиллерийский обстрел прямой наводкой позиций отряда Попова, после чего Фишман и прочие руководители «недоворота» были вынуждены бежать из Москвы.
Из Москвы Фишман скрылся на Донской фронт, где еще оставались части Красной армии под командованием левых эсеров (дивизия Киквидзе), а затем на Украину. Осенью 1918 года он стал членом ЦК Украинской ПЛСР, входя одновременно в состав Центрального штаба партизанских отрядов, созданного украинскими левыми эсерами. Он принимал непосредственное участие в борьбе с войсками генерала Петра Краснова на Дону и с «сечевиками» Симона Петлюры (в частности, в боях за Харьков).
Тем временем на заседании Ревтрибунала при ВЦИК в Москве, состоявшемся 27 ноября, за участие в «мятеже» левых эсеров Фишман заочно был приговорен к трехлетнему тюремному заключению. Это не помешало ему несколько раз конспиративно появляться в столице Советской России на различных партийных мероприятиях. После ареста ряда лидеров ПЛСР в начале 1919 года Яков Фишман стал одним из наиболее активных членов ЦК. Его тогдашняя партийная подруга, бывшая курсистка-«бестужевка» Евгения Валдина также принимала энергичное участие в подпольной работе. Однако 19 июня Фишман и Валдина были внезапно схвачены на улице в Москве бывшим товарищем Якова по ссылке, коммунистом Леонидом Науманом, служившим в НКВД помощником заведующего 3-м Мясницким комиссариатом по наружной охране. Так Фишман впервые попал при Советской власти, которую он устанавливал, в Бутырскую тюрьму.
Находясь в заключении, он довольно быстро пересмотрел свои взгляды на борьбу с большевиками и присоединился к фракции, которая выступала за легализацию левоэсеровской партии. О его пребывании в тюрьме сохранились прелюбопытные воспоминания в мемуарах заключенного савинковца В. Ф. Клементьева «В большевицкой Москве». Вот что он писал: «В Судный День человек пять-шесть евреев-социалистов собрались в «ванной» и молились там весь день. Никто не мешал им, никто не заглядывал, не насмехался. На этом праздники у евреев кончились. Перед поверкой они вернулись на свои места и были со всеми приветливы и любезны…