После освобождения в июне 1923 г. Патриарха Тихона начался катастрофический спад влияния обновленчества. Борьбу с ним в Ярославской губернии возглавлял архиепископ Ростовский. Так, в письме начальника Ярославского губернского отдела ГПУ в ОГПУ от 8 августа 1923 г. говорилось: «Обновленческая группировка в настоящее время почти совершенно прекратила свою деятельность под натиском тихоновской группировки. Большинство духовенства и верующих идет по пути тихоновщины, ослабляя морально и материально обновленческую группировку. Во главе тихоновской группировки стоит епископ Ростовский Иосиф. Данное лицо по Ярославской губернии в настоящее время весьма авторитетно не только среди духовенства и верующих, но и среди советских работников низового аппарата, и в особенности Ростовского уезда… Заручившись из Наркомюста официальной бумагой, разрешающей Иосифу создать свое параллельное ВЦУ Ярославское отделение Епархиального управления, Иосиф ведет линию всеми способами к полной ликвидации обновленческой группы как лицо весьма авторитетное среди духовенства и верующих и доказавшее себя, что и современная власть не всегда может его обуздать в его реакционной деятельности. Конечно, его настоящая деятельность, нужно признать, идет достаточно успешно. При таких обстоятельствах деятельность обновленческой группы в Ярославской губернии, собственно, должна замереть, что и можно констатировать в настоящее время. Для поддержания деятельности обновленческой группы, безусловно, необходимо изъять из пределов Ярославской губернии епископа Иосифа, что значительно ослабит тихоновскую группу, и этим самым дать возможность оживиться и обновленческой группе, главным образом за счет верующих, ибо епископ Иосиф в глазах верующих — самое авторитетное лицо из духовенства Ярославской губернии, а потому значительная часть верующих идет за ним не только как за тихоновцем, но и как за известным им Иосифом, которого и Советская власть по велению бога избавляет от наказания (выражения верующих). Без этой операции нет возможности хотя бы минимально поддерживать деятельность обновленческой группы»[53].
Но, несмотря на противодействие ГПУ, архиепископ продолжал борьбу за Православие. 21 мая 1924 г. архиеп. Иосиф был назначен членом Священного Синода при Патриархе. Правда, будучи переведен в марте 1924 г. на Одесскую кафедру, Владыка не смог водвориться там из-за противодействия обновленцев и местных властей и оставался проживать в Ростове на положении управляющего Ростовским викариатством до осени 1924 г., когда был назначен управляющим Новгородской епархией. Проживая большую часть времени в Ростове, Владыка Иосиф временно управлял одной из старейших русских епархий до сентября 1926 г. В этот период ему довелось вновь посетить родную Устюжну и встретиться с родственниками. Архиепископ периодически служил в новгородском Софийском соборе, ленинградском кафедральном храме Воскресения Христова (Спас на Крови). Особенно значительное количество верующих собирали его архиерейские богослужения в Успенском соборе г. Ростова.
Когда 7 апреля 1925 г. скончался Святейший Патриарх Тихон, Местоблюстителем Патриаршего Престола согласно его завещанию стал митрополит Крутицкий Петр (Полянский). 12 апреля архиепископ Иосиф, как управляющий Новгородской епархией, с шестьюдесятью другими архиереями участвовал в погребении ев. Патриарха Тихона и подписал акт о передаче местоблюстительских полномочий ев. митрополиту Петру. В своем завещательном распоряжении от 6 декабря 1925 г. — за несколько дней до ареста — последний поставил архиепископа Иосифа третьим кандидатом в Заместители Патриаршего Местоблюстителя за митрополитом Нижегородским Сергием (Страгородским) и митрополитом Киевским Михаилом (Ермаковым).
После ареста Владыки Петра (Полянского) руководство Русской Церковью перешло к митрополиту Сергию. Правда, весной 1926 г. был освобожден митрополит Ярославский Агафангел (Преображенский), который, по завещанию Патриарха Тихона, являлся вторым кандидатом на должность местоблюстителя Патриаршего Престола. 18 апреля он выпустил послание о вступлении его в права и обязанности Патриаршего Местоблюстителя. Но подавляющее число архиереев, в том числе и архиепископ Иосиф, поддержали митрополита Нижегородского, который сохранил руководство Русской Церковью на время заключения Владыки Петра.
Эта активная поддержка, вероятно, способствовала тому, что 26 августа 1926 г. архиепископ Ростовский, уважаемый повсюду за свою аскетическую жизнь и ученость, был назначен митрополитом Ленинградским. По словам указа, Владыку Иосифа назначили «вследствие настоятельной просьбы верующих» с возведением его в сан митрополита с возложением белого клобука, креста на клобук и митру. Действительно, летом 1926 г. к митрополиту Сергию в Москву несколько раз с соответствующими просьбами ездили делегации ленинградских священнослужителей — настоятель кафедрального собора протоиерей Василий Верюжский, архимандриты Лев и Гурий (Егоровы), протоиереи Александр Пакляр, Иоанн Смолин, Василий Венустов и др. О назначении Владыке Иосифу сообщил, приехав специально в Новгород, где временно находился митрополит, архиепископ Алексий (Симанский) — будущий Патриарх, ставший тогда управляющим Новгородской епархией. «Из послушания» преосвященный Иосиф принял назначение, но возражал, чтобы именоваться Ленинградским, и предпочитал наименование «Петроградского».