Однако вскоре стало ясно, что его случай был лишь маленькой частью столкновений, которые заставили содрогнуться всю православную Россию. Ведущие епископы, бывшие еще на свободе и могшие судить об этом деле, пришли к выводу, что Сергий сам уклонился в раскол своей декларацией, и его деспотические акты направлены против Церкви, и они поспешили объявить о своем отделении от него в конце 1927 и начале 1928 годов. Митрополиту Иосифу все это время власти не разрешали обосноваться в своей епархии в Петрограде (Ленинграде), но уже в декабре 1927 года он благословил своих викарных епископов отделиться от Сергия и сам, будучи в Ростове, подписал вместе с митрополитом Агафангелом и другими иерархами Ярославскими послание митрополиту Сергию от 6 февраля 1928 года, в котором было объявлено об их отделении от него, пока он не покается в своих ошибках, и непризнании вместе никакого главы Церкви, кроме изгнанного митрополита Петра.
Петроград в это время стал самым центром церковных протестов против Сергия, и в бывшей столице едва ли нашлась бы хоть одна православная душа, которая не мучилась бы вопросом, за кем следовать. Многие на какое-то время отказывались от любой церкви, не зная где найти Церковь Христову и чьи таинства можно принять. После подписания послания ярославских архипастырей митрополит Иосиф смело вступил в борьбу за Церковь и дал свое благословение духовенству и верующим Петрограда последовать его примеру отделиться от Сергия, предлагая этому движению собственное духовное руководство и попечение и доверяя управление Петроградской епархией открыто противостоящему Сергию викарному епископу Димитрию Гдовскому. Благословляя "доброе решение ревнителей Христовой истины", он молился, "да сохранит всех нас в единомыслии и святой ревности духа в переживаемом Церковью новом испытании".
Но против духовного оружия воинов Христовых зло собрало все силы первого в мире сатанинского режима. Запрещения, сделанные митрополитом Сергием, стали сигналом для ГПУ арестовывать и изгонять несогласных епископов; даже многих, кто посещал собственно "легальные" церкви Сергия, власти не пощадили, и главным результатом политики сергианства, если процитировать рожденные горьким опытом слова Бориса Талантова, сказанные сорок лет спустя в СССР, стало то, что "своими действиями митрополит Сергий не спас ничего, кроме собственной шкуры". На русскую землю и на верующих опустилась темная ночь искупительных страданий. Сергианство было отвергнуто верующими. По словам того же Талантова, "к началу II Мировой войны... бóльшая часть оставшихся церквей не признавала митрополита Сергия". Из более чем ста епископов, про которых было известно, что в 1943 году они еще были живы, Сергий мог найти только восемнадцать (большая часть из которых были новопоставленными), готовых избрать его в том году "патриархом".
Митрополит Иосиф, благодаря своим решительным словам и действиям и своему положению одного из заместителей Временного Патриаршего Местоблюстителя, стал фактически главой движения за отделение, действуя от имени изгнанного Временного Патриаршего Местоблюстителя митрополита Петра, про несогласия с сергианами которого какое-то время не было известно. Такими мощными были влияние и пример митрополита Иосифа, что все, кто следовал за ним, стали называться иосифлянами, и до сегодняшнего дня все, кто защищает сергианство в Московской Патриархии, относятся к этому движению приверженцев Православия как к "иосифлянскому расколу".
В то время были сергиане, как и сейчас они есть, которые, хоть и признают, что на сторону иосифлян перешли лучшие из духовенства и верующих, тем не менее обвиняют их и порицают за "гордость", с которой они верили, что представляют истинную Русскую Православную Церковь. Действительно, высказывания митрополита Иосифа исключительно откровенные, абсолютно бескомпромиссные в принципе и нелицеприятные. Но те, кто находят "гордость" в таких словах, возможно, просто не осознают критического положения дел в то время. Когда Церковь предается и верующие в растерянности, не время для комплиментов и вежливых "диалогов" или для того, чтобы "симпатию" ставить выше истины. Для мужественных душ понимание того, что каждое слово может привести к тюрьме и смерти только подстегивает их смелое желание говорить правду без всяких приукрашиваний. И так это всегда было в Церкви Христовой. Ее защитники прославляются как герои. Что примечательно, полемика митрополита Иосифа и его последователей снова возникла в Советском Союзе в сочинениях Бориса Талантова и других откровенных критиков сергианской иерархии. Для сравнения, критика сергианства в русской эмиграции совершенно мягкая и безобидная.