На первых порах все было хорошо. Патриарх Алексий вступает с ним в общение. Возводит его в сан Митрополита и назначает Дальневосточным экзархом. Он получает аудиенцию у маршала Малиновского. Наконец в 1948 году его вызывают на совещание по случаю празднования автокефалии Русской православной церкви. Однако в Москве на вокзале его встречают отнюдь не духовные лица и везут его также отнюдь не в духовное учреждение — на Лубянку. Ему объявляют, что он арестован. Он в камере. Следствие. Суд Особого совещания. Десять лет лагерей. Его отправляют в Потьму. В места, где была Саровская Пустынь. Здесь он встречается с архиепископом Мануилом; на ежедневной лагерной проверке они стоят рядом. В лагере Владыка пробыл 8 лет. О лагерной жизни он рассказывал следующее. Когда-то, в незапамятные времена, он бывал здесь в Дивеевском монастыре у известной старицы юродивой Паши. Когда он пришел к ней молодым архимандритом, Паша его встретила довольно своеобразно. Она лежала на своей койке. Архимандрита она приветствовала отборной матерной руганью. Совершенно оторопев, отец Нестор стоял молча у дверей. Закончив эту тираду, Паша сказала: «Вот, батюшка, через сорок лет ты здесь, в этих местах, другого слова не услышишь». Когда Владыка попал в советский лагерь, его более всего удручал вечный, непрестанный лагерный мат, как со стороны начальников, так и со стороны товарищей по заключению. И вот однажды, когда он с другими лагерниками шел на работу, кто-то показал на небольшой домик, стоящий около лагеря (бывшего Дивеевского монастыря), и сказал: «Это домик дивеевской Паши». И тогда Владыка, вспомнив свое посещение Дивеева и встречу с Пашей, сообразил, что с тех пор прошло ровно 40 лет (в 1951 году).
Но вот наступил 1956 год. Владыка вместе с архиепископом Мануилом и большинством своих товарищей освобожден. Патриарх встречает его с необыкновенным радушием. Он получает назначение на Новосибирскую кафедру, стоит во главе огромной епархии, территория которой в два раза превосходит Европу. И тут же начинаются тяжелые испытания. Владыка твердо стоит на страже храмов. Он не ладит с протоиереями из эмгебистских стукачей. После грандиозного скандала, явно подстроенного агентами КГБ, его удаляют с кафедры. Однако Патриарх, настроенный к Митрополиту дружески, переводит его на юг, в Кировоградскую (бывшую Елизаветградскую) епархию. Епархия крошечная, никогда не видевшая митрополитов, но спокойная. Однако и здесь начинается травля. В газетах грозные статьи. Вспоминают его прошлое. Ночью к нему в дом ломится какой-то пьяный майор, науськанный пропагандистами; его келейника арестовывают. Ошарашенный Владыка приезжает в Москву. Здесь начинается наше близкое знакомство. Еще за два года до этого познакомил меня с ним вездесущий Вадим, который еще в 1956 году, учась в Одесской Семинарии, близко сошелся с Владыкой и стал его духовным сыном.
В одно из посещений Москвы он был у Вадима, и здесь произошло мое знакомство с Митрополитом. Он на меня произвел чарующее впечатление. Во всем чувствовался аристократ — человек большой культуры. Когда вы говорили с ним, ни на одну минуту не чувствовалось, что с вами говорит человек, высший по сану и старший по летам. Он был великолепным, талантливым рассказчиком; охотно рассказывал об эпизодах своей бурной и многострадальной жизни. Потом, когда мы встретились с ним через два года в гостинице «Украина» (у Киевского вокзала). Владыка ясно и четко рассказал мне о своих злоключениях, показал мне газету с отвратительной статьей и поручил мне написать опровержение для Патриарха. Я выполнил это задание.
Написано и принесено через два дня утром. Владыка тут произвел на меня совсем другое впечатление.
Сверкала люстра в роскошном номере, на письменном столе лежал белый клобук, но измученным выглядело старческое лицо, окаймленное седыми бакенбардами, по-старчески дрожали руки; во всем чувствовался старый, одинокий, заброшенный человек. Владыка прочел мое опровержение, остался доволен, предложил мне деньги. По-джентльменски я отказался (хотя беден был тогда, как церковная мышь). Владыка, подойдя ко мне, неожиданно запел:
И при последнем слове сунул мне в карман тысячу рублей. Увы, это был последний раз, когда я видел Владыку на ногах. Через несколько дней он заболел. Страшная болезнь почек. Он лежал в Переделкино, в Патриаршей резиденции, в маленьком домике. Я навещал его там несколько раз. Сидел в полутьме около его постели, слушал его рассказы. Однажды привел к нему моего друга, молодого тогда священника отца Димитрия Дудко. Потом больной Владыка переехал в Лавру; навещал его и там. Однажды катал его в кресле по Лавре, завез его в древний Троицкий собор, где Владыка приложился к мощам. Вскоре Митрополит, уже поправившийся, уехал в свою епархию. Затем приехал в Москву опять. И здесь с ним произошел инсульт. Его разбил паралич. Он лежал в Первой городской больнице среди простых людей, отделенный лишь ширмочкой. За ним ухаживали его выпущенный из заключения келейник и пожилая женщина, жена художника, отца которого Владыка за 45 лет до этого рукополагал в диакона.