Ликвидированы были не только выпечка мацы и миква. Главный удар городские власти нанесли по местам молитвенных собраний — оставшимся миньянам и синагогам. В 1936 г. райсоветы все чаще стали отказывать верующим в разрешениях молиться на квартирах. Так, в августе-сентябре около половины таких просьб не была удовлетворена. Существование синагоги на Артиллерийской улице не было легким и до 1936 г. Комиссии постоянно проверяли санитарное и техническое состояние помещения, заставляя «двадцатку» расходовать средства на бесконечные переделки. Председатель ЖАКТа чинил верующим всяческие притеснения, принуждал жильцов подписываться под требованием убрать синагогу, запрещал молящимся проходить по общей лестнице под предлогом, что те распространяют заразу. Дворники по его указанию ломали воздвигавшуюся во дворе в праздник Суккот фанерную сукку, растаскивали и ломали имущество синагоги.
В августе 1936 г. Дзержинский райисполком не продлил синагоге «Шаарей Цион» договор на аренду помещения. В ноябре на заседании райсовета было решено аренду не возобновлять, а помещение отдать под ясли. По ходатайству верующих Ленсовет приостановил закрытие синагоги на год. Однако в июле 1937 г. Культовая комиссия и Президиум Леноблисполкома постановили ликвидировать синагогу «Шаарей Цион», а ее площадь использовать под жилое помещение. 17 августа о решении Исполкома было сообщено верующим.
Лидеры «двадцатки» отчаянно сопротивлялись. Во ВЦИК направлялись жалобы, в которых объяснялось, что синагога «Шаарей Цион» находится на большом расстоянии (по оценкам верующих — 5-7 км, по заявлению властей — 3-4 км) от последней действующей синагоги на Лермонтовском проспекте, куда старики не могут дойти пешком, что бывшие гонители синагоги — чиновник Леноблисполкома Неглюевич и председатель ЖАКТа Божанов — оказались врагами народа, что верующие тратят последние рубли на поддержание в полном порядке помещения, признанного непригодным для жилья, и т.д.. Реакцией на одну из жалоб явился запрос Комиссии по вопросам культов при Президиуме ЦИК СССР в Облисполком. В своем ответном письме Облисполком обосновал решение о закрытии синагоги следующими причинами: помещение не является специально приспособленным для отправления религиозных нужд; имеется наказ избирателей о закрытии синагоги; синагога расположена внутри жилого дома, что может привести к распространению «всяких заболеваний»; закрытие не стеснит верующих, так как недалеко расположена другая синагога.
9 января 1938 г. помещение синагоги было опечатано. Последнее обращение «двадцатки» к председателю ЦИК СССР М.Калинину было отправлено 4 февраля 1938 г. Оно завершалось просьбой «не лишить нас, стариков-евреев, синагоги в нашем районе, единственного нашего на старости лет утешения». Старики не знали, что за полтора месяца до их письма Калинин подписал постановление Президиума ЦИК об утверждении решения Леноблисполкома.
Параллельно с операцией по закрытию «Шаарей Цион» власти принялись за Хоральную синагогу. С начала 1936 г. усилилось гласное и негласное наблюдение за деятельностью «двадцатки». Правление как могло уклонялось от внешнего контроля. Так, в январе 1936 г. в ответ на запрос административного надзора о расписании служб в синагоге председатель Правления Эстрин раздраженно отвечал: «Службы у нас нет, есть у нас Молитва, когда собираются не менее 10 человек... Кончает эта десятка, начинает другая и так продолжается до момента, когда нет молящихся». В ноябре 1936 г. после смерти Глускина община осталась без раввина.
Летом 1937 г. начались аресты членов «двадцатки» и синагогального актива. Одного из первых в 1937 г. арестовали Герца Каценеленбогена, сына покойного раввина. В августе того же года арестовали нескольких любавичских хасидов, выпускников иешивы «Томхей Тмимим» и молодежного кружка «Тиферес Бахурим».
В печальном положении оказался Дом омовения на еврейском Преображенском кладбище. Проведенная в октябре 1936 г. перерегистрация его «двадцатки» выявила, что семеро ее членов умерло от старости, а некоторые без посторонней помощи не могут явиться в райсовет по вызову. Самому молодому из них оказалось 56 лет. Председатель «двадцатки» А.Е.Аксель, 1863 г. рождения, сказал инспектору, что его дети — партийные и активисты и что он вышел бы из «двадцатки», если бы членство в ней «вредно отразилось на детях». «Жить мне осталось недолго, — добавил он, — хочется быть похороненным по еврейскому обряду».