Митрополит Иосиф сам был очень скоро арестован и сослан в ссылку в Среднюю Азию. Даже в изгнании и тюрьме власти преследовали религию и запрещали службы, и так было по всей Русской Земле, в этом огромном концлагере, в период после 1927 года, когда "иосифляне" трансформировались в катакомбную Церковь. В полной мере о подвигах и страданиях этой Церкви будет известно только когда Богу будет угодно. Но и до этого страстно ожидаемого времени есть возможность поведать о некоторых фрагментах ее истории.
Следующий рассказ был написан собственноручно княгиней Натальей Владимировной Урусовой, которая смогла бежать из Советского Союза во время II Мировой войны и умерла в 1968 году в Нью-Йорке.
"В августе 1936 года в Алма-Ате жил относительно молодой архимандрит Арсений. От него я впервые узнала, что существует тайная катакомбная Церковь, возглавляемая митрополитом Иосифом Петроградским и организованная им по благословению митрополита Петра Крутицкого, с кем он, живя в изгнании в Чимкенте, в 150 километрах от Алма-Аты, все время поддерживал тайную связь. Архимандрит Арсений был посвящен митрополитом и имел возможность поддерживать его материально, зарабатывая на жизнь производством разных манекенов и вещиц для музеев. У него была глубоко под землей церковь, и в ней служили он и митрополит Иосиф. Митрополит во время одной из своих редких поездок в Алма-Ату тайно освятил ее. Отец Арсений долго и тяжело трудился, чтобы выкопать помещение для этой церкви. Мы очень уважали архимандрита Арсения, тем более что его любил митрополит Иосиф, и через отца Арсения мы могли связываться с митрополитом. В то время тот жил в Чимкенте. А до этого, в самом нале ссылки, он жил в маленьком городке Аулиета, где ему не разрешили жить в комнате, а поселили в сарай со скотиной, где его кровать отделялась от животных перегородкой из кольев. Подземная церковь была в жилище архимандрита Арсения. На крышке от входа лежал коврик, под крышкой - лесенка в погреб. В одном углу погреба был лаз в земле, закрытый камнями. Камни сдвигались в сторону, и, согнувшись в три погибели, нужно было пройти три шага вперед и войти в крошечную церковь. Там было много икон, и горели лампады. Митрополит Иосиф был очень высокий, и тем не менее он дважды на моих глазах проделывал путь в эту церковь. Эта церковь создавала особое состояние души и разума, но я не скрываю, что страх быть обнаруженными во время служб, особенно ночью, трудно было победить. Когда во дворе начинал лаять большой, привязанный цепью пес, то его лай, хоть и приглушенный, все же слышно было под землей, и все тогда ждали крика и стука в дверь агентов ГПУ. Весь 1936 год и в 1937 году до сентября все было в порядке. Мой сын пел там с одной монахиней. 26 августа в мои именины приехал и почтил нас своим присутствием митрополит Иосиф. Какой замечательный, смиренный, стойкий молитвенник! Это, как в зеркале, отражалось в его лице и глазах. Очень высокий, с большой белой бородой и необыкновенно добрым лицом, он не мог не привлекать к себе, и хотелось никогда с ним не расставаться. Его церковное одеяние и длинные волосы были сверху прикрыты, иначе бы его немедленно арестовали прямо на улице; он был под наблюдением и не имел права куда-нибудь выезжать. Он сам говорил, что патриарх Тихон сразу же после своего избрания предложил назначить его первым своим заместителем. По какой-то причине это не было записано нигде в истории института временно заменяющих. Он признал митрополита Петра Крутицкого законным главой Церкви и до ареста последнего в сентябре 1937 года поддерживал с ним тайную связь, хотя ходили слухи повсюду, что митрополит Петр умер. Митрополит Иосиф просидел с ним за чаем больше часа. Он рассказал, что жить ему в почти десятилетней ссылке было исключительно тяжело. Он жил в сарае со свиньями, спал на досках, отгороженных несколькими кольями от животных. В этих условиях ему пришлось там терпеть и холод, и жару, и любую погоду, и зловоние. Однажды змея спустилась по столбу с крыши прямо к его голове. Очевидно, такие условия и были причиной его болезни. Временами он жестоко страдал от приступов язвы, а, может быть, у него была какая-то опухоль внутри, возможно, и злокачественная, и он был на диете, которую ему помогал соблюдать архимандрит Арсений. Он все переносил с терпением праведника и, если рассказывал о своих трудностях, то только потому, что мы все рассказывали о жестокостях ГПУ.
"Отец Арсений рассказывал здесь об одной из форм пыток и издевательств. Когда нас провозили через Сибирь, стоял жестокий мороз. В поезде был банный вагон. Нас, совершенно голых, гнали через все вагоны в эту баню. Мы с радостью обливались горячей водой и немного согревались, поскольку и сами вагоны почти не отапливались. Не давая нам ничего, чтобы вытереться, с мокрыми головами, нас гнали обратно. На сцепках между вагонами нас специально останавливали, и наши мокрые ноги мгновенно примерзали к металлу. По команде двигаться мы с кровью отдирали от пола свои примерзши ступни..."