Ещё не ведая, чем закончился поход северян в Москву, Филарет догадался, что великий князь Василий Иванович, отец Ивана Великого, благословил доброхотов. Так оно и было. Прислал великий князь Антонию грамоту жалованную и церковной утвари воз на обзаведение. То-то было радости у Антония. Да тут же он по льду перешёл на остров и принялся рубить церковь в честь Святой Троицы.
Антоний стоял игуменом основанного им монастыря тридцать семь лет и преставился в 1557 году, спустя год после рождения Фёдора Романова. И зародилась у Филарета жажда отметить своё пребывание на острове хотя бы малым подвигом в честь преподобного Антония.
Неподалёку от монастырского острова поднимались два малых острова — Дудинцы и Падун. Сказывали Филарету старцы, что на Дудинце два года прожил отшельником сам Антоний. И было это в ту пору, когда он отказал братии встать над ними игуменом. Антоний ушёл на остров по льду, взяв с собой лишь топор и суму с харчами. Там срубил келью. А пока рубил, жил в землянке. К нему многажды приходила монастырская братия, просила его вернуться в монастырь, избавить их от сиротства. И каждый раз Антоний отказывался встать над братьями. И лишь спустя два года его упросили вернуться в обитель и быть среди братии простым иноком. И Антоний вернулся.
Да вскоре же услышал в ночи плач монашеский: просила братия Всевышнего вразумить Антония встать игуменом. Он же внял этому плачу, взял на себя отцовские заботы. И простоял преподобный Антоний игуменом до конца дней своих, почитаемый и любимый братией.
Добравшись в лодке до острова Дудинцы, Филарет нашёл келью. Она уже подгнила местами, но жить в ней ещё можно было. Осмотревшись, Филарет выбрал неподалёку холм, с коего далеко всё окрест виднелось. Место для часовни пришлось по душе, и инок взялся рубить лес, заготовил дубовых колод на поставы. А вскоре положил на них первый тоже дубовый венец часовни в честь преподобного Антония.
Филарет работал усердно. Вставал он чуть свет, а по летней поре северному дню и конца не видно, заря с зарею сходятся, и не выпускал топора из рук, пока из монастыря не приезжали служки и не привозили ему пищу. Покончив с трапезой, Филарет снова брался за топор, рубил углы, выбирал пазы в тяжёлых сосновых брёвнах. Часовня росла споро, и к осени стены её поднялись под кровлю. И подгоняло Филарета честолюбие. Хотелось ему утвердить своё имя в Антониево-Сийском монастыре. Знал инок, что в том его желании таился грех, а совладать с ним не мог, но молился усердно.
Ещё в молодости князь Фёдор Романов узнал, что честолюбие есть родовое достояние всех Захарьиных, Кошкиных, Романовых, начиная от князя Андрея Кобылы. Да сию толику в ту пору Фёдор не считал греховной. Ему же лично быть всегда в числе первых меньше всего помогала сия родовая черта. Заслугой тому были ум и деловитость Романова. В отличие от многих московских сверстников, у Романова не было ни лукавства, ни пронырства, дабы достичь державных высот, но во всех деяниях торжествовала честь. Он не позволял себе кого-то оттолкнуть с пути, и уж тем паче — перешагнуть чё рез кого-то, как сие делал Борис Годунов.
И здесь, в монастыре, желание быть во всём первым, но по чести, не осталось незамеченным. После того как Филарет поставил на острове Дудинцы часовню, игумен Ареф приблизил Филарета к себе, и на четвёртом году пребывания в обители он был рукоположен в сан священника.
После трёх голодных лет Россия вновь ожила. И снова из Москвы стали следить за ссыльными Романовыми. И грамоты поступали в места их заточения, в коих приставам приказывали «береженье держать большое». Но приставы, корысть имея, чинили Романовым многие мерзости. В Антониево-Сийский монастырь они только наезжали, да и то изредка. Но всякий раз, видя чинное житьё священника Филарета, они, однако, искажали суть его поведения и докладывали дьякам Разбойного приказа чёрную ложь.
В марте 1605 года явился в обитель некий мздоимец Щёкин. Он добивался, чтобы Филарет отдал ему нательный золотой крест. Но Филарет не поощрил кощунства пристава Щёкина. Уехал пристав ни с чем, а боярину Семёну Годунову нажаловался: «Живёт старец Филарет не по монастырскому чину, всегда смеётся неведомо чему и говорит всуе про мирское житьё, про птицы ловчие и про собаки, какой в мире жил, а к старцам жесток, лает их и бить хочет, а говорит старцам Филарет: увидят они, пинков впредь будет».
Когда эта ложь доходила до Филарета, сие не угнетало его, он только улыбался и был выше той клеветы. Да была в грамотах приставов и доля правды: давно вышел он из уныния и радовался жизни. Филарет предвидел время перемен. Он хорошо помнил, сколько лет отвели ведуны Борису Годунову на царствие. Однажды, после вечерних молитв, Филарет высчитал, что роковая черта на пути Годунова пролегла через апрель 1605 года. Филарет не сомневался, что за этой чертой Годунова ждёт не отлучение от трона, а скорая смерть. Причин этой убеждённости Филарет не ведал и мысли о том считал кощунственными, греховными, много молился, дабы изгнать беса, толкающего на грех. И ничего не помогало. Филарет радовался каждому минувшему дню, торопил приход апреля. Ругая беса: ах какой упрямец, Филарет улыбался. Что ж, у него было на то основание. Слишком жестоко расправился царь Борис с родом Романовых. За проведённые в изгнании годы в Антониево-Сийском монастыре Филарет узнал немало печального и трагического о судьбе своих братьев. Келари монастыря, кои ходили за товарами в Москву и далее, приносили немало разных слухов. Они же известили Филарета о том, что в Наробе от мук и голода скончался средний брат, богатырь Михаил. Он все пять лет был прикован к стене камеры цепями, и кормили его только овсом и чечевицей. В зиму пятого года келари принесли новую жестокую весть. Неведомо как, сказывали они, погиб второй брат Филарета, погодок Александр. Пропал и Василий, умница и гулёна. Филарет страдал за братьев, молился Всевышнему, просил, чтобы взял их души в Царство Небесное. Здравствовал пока лишь младший брат Иван. И о нём просил Филарет Господа Бога, чтобы сохранил ему жизнь.