Через некоторое время отец Ермоген снова возвращается в Киев и даже некоторое время служит настоятелем Киево-Печерской лавры. Но уже в 1931 году он снова был арестован за «контрреволюционную деятельность» и приговорен к расстрелу, который потом заменили на десять лет лагерей.
Тяжелые условия жизни в лагере привели к тому, что в 1936 году медкомиссия признала отца Ермогена непригодным к труду, по причине «активного туберкулеза легких с упадком питания и пороком сердца». Вследствие этого срок заключения ему был сокращен до восьми лет. С 1939 по 1941 год отец Ермоген проживал на Кавказе, потом в Астрахани. В 1948 году назначен настоятелем Покровского собора в городе Самарканде. В 1953 году он хиротонисан в епископа Ташкентского и Среднеазиатского, а в 1958 возведен в архиепископа. Параллельно владыка окормлял и соседнюю Алма-Атинскую епархию.
В шестидесятых годах началась активная фаза хрущевских гонений на Церковь. Закрывается Киево-Печерская лавра и Глинский монастырь. Но удивительное дело, в тех епархиях, которые опекал владыка Ермоген, не удалось закрыть ни одного храма. Владыка приезжал к уполномоченному или другим представителям власти и начинал обвинять их в антисоветчине и вредительстве против советской власти.
Конечно, таких обвинений партийные функционеры боялись больше всего. Владыка мог свободно процитировать что-нибудь из полного собрания сочинений В. И. Ленина, например из его статьи «К деревенской бедноте», где тот писал, «что народ должен быть свободным от позорных полицейских преследований за веру».
Уполномоченный по делам религий писал в своем докладе о том, что владыка Ермоген, придя к нему, стал приводить цитаты из журнала «Коммунист» №5 1962 года, а именно отрывки из статьи «Философские заветы В. И. Ленина» и требовать их неукоснительного выполнения. Наступательная тактика архиепископа выбивала почву из-под ног воинствующих атеистов. Они были в растерянности и не знали, что делать.
В образцово-показательном городе, символе социалистической Азии, Ташкенте, в самый разгар гонений на Церковь владыка Ермоген построил огромный кафедральный собор, вмещающий в себя 4000 тысячи молящихся. Архипастырь хорошо знал психологию советской неповоротливой бюрократической машины. Добившись разрешения на небольшую реставрацию старой церкви, находящейся в неприспособленном здании, владыка тут же начал стремительную постройку возле него большого собора. В самой церквушке в это время каждый день шли богослужения. Пока власти опомнились и стали соображать что к чему, храм уже стоял.
Подобным образом были построены храмы в Ашхабаде и Фрунзе (Бишкеке). Такую практику потом использовал и старец Зосима (Сокур).
Помимо этого, владыка отреставрировал огромное количество храмов, построил гостиницу для священников, сделал так, чтобы на любом приходе всегда было место для жилья семьям духовенства. Все это было беспрецедентным явлением на просторах тогдашнего СССР.
По законам того времени, прежде чем рукополагать священника, епископ был обязан согласовать его кандидатуру с уполномоченным по делам религий. Владыка Ермоген единственный из всех архиереев, кто сначала рукополагал священника, а уже потом посылал его к уполномоченному со ставленической грамотой на руках.
Осенью 1960 года усилиями спецслужб архиепископа Ермогена отправляют в «отпуск» на полтора года. Святейшему Патриарху Алексию удалось добиться, чтобы в 1962 году владыка был назначен на Омскую кафедру. К тому времени готовилась радикальная реформа приходского управления, согласно которой священник лишался каких-либо прав на приходе. Архиепископ Ермоген был ревностным противником этой реформы. По этой причине на Архиерейский собор он приглашен не был. Несмотря на это, владыка все равно прибыл в Троице-Сергиеву лавру, но на собор его так и не пустили.
Тогда архиепископ Ермоген пишет письмо на имя Председателя Совета Министров СССР Н. С. Хрущева, в котором обстоятельно излагает все положения советского законодательства, с которыми он не согласен. А в октябре 1962 года владыка написал открытое письмо председателю по делам РПЦ В. А. Куроедову, где также изложил свое видение нарушения принципов ленинского законодательства и попрания свободы совести в СССР. В письме архиереем были подробно и основательно проработаны статьи Конституции, которые попираются властью на местах, ленинские декреты, постановления ЦК ВКП(б), ЦК КПСС, решения ХХII съезда КПСС и проч.
Аргументация попрания собственных же решений партийного руководства была четко аргументирована и обоснована. При этом владыка приводил множество конкретных примеров незаконного закрытия храмов и нарушения прав верующих. Владыка в резкой форме отказался исполнять распоряжение уполномоченного по делам религий о предоставлении ему списков тех людей, которые приходят крестить своих детей.