Вскоре был взят под наблюдение некто Александр Восходов, неоднократно бывавший у Никифоровой. В результате засады и обыска на его квартире было арестовано несколько членов организации анархистов, найдены списки и адреса участников подполья, оружие, взрывчатка. В перестрелке на квартире был убит один из главарей анархистов Соболев. Как позднее было установлено, он принимал непосредственное участие во взрыве в Леонтьевском переулке. В обнаруженной у него записной книжке содержались адреса руководителей партии левых эсеров, которым передавалась часть награбленных анархистами денег. Из записей явствовало, что между левыми эсерами и анархистским подпольем существует теснейшая связь.
…На столе начальника Особого отдела МЧК лежал список участников организации анархистского подполья, фамилий и адреса террористов едва уместились на восьми страницах. Ефим Георгиевич внимательно просмотрел список. Операция по ликвидации анархистского подполья вступала в завершающую стадию. Предстояла очень ответственная работа по обезвреживанию оставшихся анархистов. Чекисты проводили аресты и левых эсеров, связанных с террористическими группами. Среди них был Федор Николаев, по кличке Федька-боевик, деятельно участвовавший в подготовке взрыва в Леонтьевском переулке. По мере задержания членов «Всероссийской организации анархистов подполья» становились известными подробности подготовки этого преступления. Непосредственными его исполнителями оказались убитый в перестрелке Соболев, а также Барановский, Гречанников, Николаев и Глагзон.
О намечавшемся заседании в МК РКП (б) анархистам стало известно заранее. Как показал на допросах Николаев, накануне к анархистам пришел левый эсер, который сообщил, что на этом заседании большевики будут обсуждать вопрос о борьбе с анархистским подпольем, и заявил, что настала пора приступить к террору против коммунистов. Он же подробно описал подходы к зданию Московского комитета, дал рекомендации, как незаметнее подойти к дому, и указал место, откуда можно бросить бомбу.
25 сентября около 8 часов вечера Соболев, Барановский, Гречанников, Николаев и Глагзон встретились в заранее обусловленном месте. Соболев явился к месту встречи с бомбой, спрятанной в коробку для шляпы. Бомба была взята им на Арбате в квартире Никифоровой. На расстоянии друг от друга, чтобы не вызывать подозрения, они направились в Леонтьевский переулок. К зданию МК РКП (б) подошли только Соболев и Барановский, остальные находились на значительном расстоянии и наблюдали за обстановкой. Первым через ограду перелез Барановский. Соболев, убедившись, что их не заметили, передал ему бомбу, после чего сам перемахнул через ограду. Оказавшись на территории Московского комитета, они бегом пересекли двор, достигли утла здания. Соболев поднялся на балкон, выходивший в зал заседания. Запалив бикфордов шнур, он с силой бросил бомбу через стеклянную дверь балкона в зал, где собрались участники заседания. Не мешкая, Барановский и Соболев стремглав бросились назад к ограде. В тот момент, когда они оказались в переулке, раздался оглушительный взрыв. Соболева взрывная волна даже сбила с ног. Проходными дворами они поспешили в сторону Тверской улицы к Дегтярному переулку, чтобы поскорее укрыться на одной из конспиративных квартир.
На следующий день анархисты распространили «Извещение» от имени «Всероссийского повстанческого комитета революционных партизан», в котором рабочие и крестьяне призывались к немедленному восстанию против Советской власти. «Извещение» заканчивалось словами: «Динамита и бомб хватит». Вскоре подполье напечатало и распространило листовку под заголовком «Медлить нельзя». Она была полна клеветы и злобных выпадов против партии большевиков, в ней содержался призыв уничтожать коммунистов.
В ходе следствия по делу арестованных анархистов московским чекистам стало также известно о готовящемся взрыве в Кремле, о складе оружия в Краснове.
Ранним осенним утром отряд московских чекистов и красноармейцев во главе с Е.Г. Евдокимовым прибыл в Красково. Машины оставили у станции, незаметно окружили дачу.