В конце 1920 — начале 1930-х годов развернулась массовая общегосударственная кампания по уничтожению архитектурных памятников и прекращению всех реставрационных работ. Она сопровождалась шумной агитационной пропагандой: «разоблачали» церковь и попов, «разоблачали» и ученых-реставраторов. «Они, — писал о реставраторах журнал „За коммунистическое просвещение“, — надували советскую власть всеми средствами и путями. Создав вокруг себя „верное“ окружение, они и чувствовали себя в ЦГРМ (Центральных Государственных реставрационных мастерских. — В. М.), как за монастырской стеной. Советская лояльность была для них маской. Они верили, что советская власть скоро падет, они ждали с нетерпением ее падения, а пока старались использовать свое положение… Они всегда говорили с пафосом о чистой науке, о чистом искусстве. Они жаловались на то, что при старом, при царско-поповском строе церковь мешала развернуть по-настоящему научно-исследовательскую работу по древнерусскому искусству. Они были всегда столь возвышенными идеалистами — людьми-бессребрениками! А когда пролетарская власть предоставила им возможность полностью отдаваться науке и искусству… что они сделали, верные сыны буржуазии? Они снова превратили науку в церковь, искусство в богомазню, а все вместе — в обыкновенное церковно-торговое заведение, в монастырь-лавочку». Последнее обвинение было направлено персонально против Барановского, производившего реставрацию Казанского собора на средства общины. Вскоре это же обвинение он услышит на Лубянке.
В сентябре 1933 года П. Д. Барановский и архитектор Б. Н. Засыпкин как члены Комитета по охране памятников при ВЦИК были вызваны к заместителю председателя Моссовета Усову.
«В длительной беседе с ним, — рассказывает П. Д. Барановский, — выяснились две противоположных и непримиримых позиции. Наши аргументы за защиту памятников на основе установок, данных В. И. Лениным, полностью отвергались, и нам с полной категоричностью было заявлено, что Московским Советом принята общая установка очистить город полностью от старого хлама, который мы именуем памятниками и который тормозит социалистическое строительство. По-видимому, для большего убеждения в непререкаемости своей точки зрения и своей мощи, а также в бесполезности какого-либо сопротивления с нашей стороны при нас были вызваны начальник отдела благоустройства тов. Хорошилкин и начальник Мосразбортреста тов. Иванюк и им дано распоряжение немедленно снабдить нас лестницами, веревками и т. п. для того, чтобы произвести обмер и прочую фиксацию храма Василия Блаженного на Красной площади, так как в течение ближайших дней он подлежит сносу».
Барановский сказал Усову: «Это преступление и глупость одновременно. Можете делать со мной что хотите. Будете ломать — покончу с собой». Тогда же он послал соответствующую телеграмму Сталину.
Храм Василия Блаженного не снесли, но 4 октября 1933 года Барановского и Засыпкина арестовали. По статье 58, пункты 10, 11 — антисоветская агитация, организация антисоветской группы — Барановский был осужден на три года лагерей с последующим поражением в правах, в том числе в праве жить в Москве и других крупных городах. Он вернулся из заключения в мае 1936 года и прописался в Александрове — ближайшем к Москве городе, в котором разрешалось жить отбывшим срок по политической статье.
Как раз в эти дни, летом 1936 года, сносили Казанский собор. Барановский ежедневно приезжал в Москву из Александрова и в тот же день уезжал обратно. Как поднадзорный он обязан был ежедневно в 17 часов 30 минут являться в Александровское НКВД на отметку. Он приезжал в Москву и делал обмеры и фотофиксацию сносимого Казанского собора. Эти чертежи и обмеры Барановский передал впоследствии О. И. Журину.
Окончательно разрушен Казанский собор был в последние дни июля 1936 года, в начале сентября убрали битый кирпич. Известный историк московской церковной старины М. И. Александровский в своем дневнике 9 сентября записал, что на месте собора уже пустая площадка.
До трехсотлетия своего освящения 15 октября 1636 года московский Казанский собор не достоял один месяц.
Соборная Казанская икона Божией Матери еще при закрытии храма в 1930 году была перенесена в Богоявленский патриарший собор в Елохове, где она и находится в настоящее время.
На освободившейся после сноса Казанского собора площадке устроили летнее кафе.
Казанский собор в процессе разборки. Фотография 1936 г.
Возможно, в проекте веранды этого кафе и был заложен какой-то идейный смысл, а может быть, просто какой-то остроумец пустил шутку, но говорили, что она возведена в честь 3-го Интернационала и что строил ее прославившийся тогда проектом Дворца Советов архитектор Б. Иофан. Эти сведения в настоящее время попали даже в специальную искусствоведческую литературу. В военные годы кафе постепенно разрушалось, лишаясь отдельных своих частей, и в 1950-е годы на его месте был разбит газон, в правом дальнем углу которого открыли общественный туалет.