После повторной просьбы Латвийской Православной Церкви патриарх Тихон 14 апреля 1921 года благословил архиепископа Иоанна поехать в Латвию, но 23 мая он отменил свое решение по требованию верующих и духовенства Пензы. Только 19 июля 1921 года "в виду настойчивых требований Латвийской Церкви" Патриарх дал окончательное согласие на отъезд архиепископа Иоанна, наградив его благодарственной грамотой за самоотверженный и плодотворный труд на благо Церкви. Перед отъездом архиепископа Иоанна патриарх Тихон в согласии с указом Священного Синода и Высшего Церковного Совета удостоил архиепископа Иоанна самой широкой канонической автономией в управлении Латвийской Православной Церковью. Этот акт доверия был полностью оправдан дальнейшей деятельностью архиепископа Иоанна, который до своей мученической смерти следовал по стопам Патриарха.
24 июля 1921 года православные священники и верующие с крестами и хоругвями из всех православных храмов торжественно встретили архиепископа Иоанна на вокзале и сопроводили его в собор. Пока Владыка проводил свою первую службу здесь (где православный иерарх не служил с 1917 года), местные православные руководители ломали голову, где он будет жить, поскольку епископская резиденция была только что отобрана правительством. По окончании службы, благословив людей, архиепископ Иоанн, к изумлению всех присутствовавших, пошел в подвал собора и сказал: "Я буду жить здесь". Этим он свидетельствовал о гонении на Латвийскую Православную Церковь. В последовавшей кампании латвийского правительства и прессы за снесение собора тот факт, что сам архиепископ Иоанн жил там, помешал реализации этого проекта.
Прибытие архиепископа Иоанна было началом новой эры в жизни Латвийской Православной Церкви. Его первое обращение к правительству Латвии получило холодный ответ: "Законы Латвии не признают ни Православной Церкви, ни ее органов и организаций и не обязывают латвийское правительство защищать Православную Церковь". Однако вскоре архиепископу Иоанну удалось добиться опубликования закона, касающегося Православной Церкви в Латвии, который регулировал отношения между Церковью и государством и обеспечивал Церкви некоторые права, в частности получение от правительства значительных денежных сумм. Был положен конец бессмысленному уничтожению святынь Православия, например, часовни на главном вокзале Риги. Начали укрепляться и строиться православные приходы и восстанавливаться церкви, разрушенные во время войны. С самого начала архиепископ Иоанн был главой всех православных христиан в Латвии - и русских, и латышей; и только благодаря его непререкаемому авторитету, уму, опыту и такту удалось избежать того ужасного разделения между русскими и местными жителями, которое возникло в других государствах на Балтийском побережье. Этот латыш по рождению с русской душой был, так сказать, мостиком между двумя народами, и каждый народ считал его своим.
Начиная с 1925 года, архиепископ Иоанн стал представителем русских жителей Латвии в сейме. Его деятельность приняла огромный размах: он открыл православную семинарию, церквям была возвращена собственность, и, наконец, ему удалось добиться возвращения из Советского Союза церковных святынь и собственности на большие суммы. Православные латыши, которые до приезда архиепископа Иоанна, по больше части, скрывали свою веру "страха ради иудейского", теперь смело выступили за своим бесстрашным вождем. Латвийская Церковь переживала лучшие годы своего краткого существования. Через несколько лет, согласно официальной статистике, православное население выросло на 20 %; были построены и освящены тринадцать новых церквей и еще четыре строились, а другие планировались к постройке, когда архиепископ Иоанн был жестоко убит.