С этого времени Андрей ищет уединения и идет в самые дальние и пустынные места на реку Кену, впадающую в Онегу. Здесь в пустыне Пахомиевой, он находит временное успокоение. Напрасно предваряет его Пахомий о многотрудности поприща, им избираемого.
«Скорбно место сие, — говорил он ему, — «братия здесь непрестанно труждается: одни копают землю, другие секут лес, иные возделывают нивы, никто не остается праздным». Андрей остается в монастыре, получает имя Антония, вскоре сан священника, но вскоре же оставляет и этот монастырь, ища большего безмолвия и уединения. Берет он с собой двух иноков, Александра и Хоакима, и с ними приходит непроходимыми дотоле дебрями и лесами до темного потока реки Емцы. Здесь строят они церковь во имя Святого Николая и кельи вокруг; к ним присоединяются еще четыре инока. Семь лет подвизаются они в этом уединении, но местные жители, опасаясь, чтобы пустынники не отняли у них земли, заявляют свое недовольство, и преподобный Антоний принужден искать новое место для пустынножительства. На пути он встречает жителя Яминского стана, именем Самуила, вышедшего на промысел на Лешьи озера. Антоний спрашивает его: «Не знает ли какого-либо места, удобного для поселения иноков». Самуил привел его на дальнее озеро, называемое Михайлово, в которое впадала река Сия. Река эта, проходя через многие озера, открывала живописные виды во всей их первозданной, нетронутой дикости. Тут Антоний водрузил крест, поставил потом часовню и хижину для себя и братии. Дикие звери обитали в соседней тундре и лесах, и никогда, от начала мира, не обитал тут человек. Изредка приходили сюда окрестные жители для ловитвы, и потому преподобному привелось переносить скорби от черезмерной скудости: часто не было откуда взять хлеба. Братия не ослабевала, своими руками очищая лес, копая землю и сооружая обитель. Об этом сведал некто Василий Бебрь, сборщик пошлин архиепископских Великого Новгорода, послал на монастырь разбойников, но злое дело кончилось тем, что сам же Василий пришел просить прощения у святого.
Между тем разнеслась молва об Антонии по окрестным пределам: многие стали приходить к нему с пищею, деньгами и обетом монашеским. Видя умножение братии, Антоний послал к князю Василию Иоанновичу двух иноков, Александра и Исайю, просить великого князя повелеть им строить новое свое богомолье на пустом месте в диком лесу, собирать братию и кругом пахать пашни. С разрешения Василия Ивановича, Св. Антоний начал строить обширную деревянную церковь во имя Св. Троицы, и сам написал для нее образ.
Однажды после утреннего пения, когда уже все вышли из церкви, загорелась она от свечи, забытой пономарем перед иконой. В монастыре тогда никого не было: все разошлись по работам, оставались только немощные и больные да служители, работавшие в поварне. Уже пламя высоко пылало в церкви, когда послали известить о том преподобного. Старец был далеко и, когда возвратился с братией, вся церковь была уже объята пламенем: ничего нельзя было вынести и спасти. Церковь сгорела, остались кельи, и братия, видя новую неудачу на новом месте, хотела разойдись. Большого труда стоило преподобному остановить их. Затем Антоний начал строить более просторный храм во имя Св. Троицы. Св. Антоний вскоре принял сан игуменский и все-таки, будучи так крепок и здоров телом, что мог трудиться за двух и за трех, не переставал работать наряду с братией. Не знавший преподобного и видя его распахивающим пашню или очищающим лес в убогой власянице, не мог бы признать в нем игумена.
Опять-таки, избегая молвы и почестей и ища большого уединения, блаженный Антоний выбрал на свое место инока Феогноста, а сам тайно от всех пошел вверх по красивой реке Сие до озера Дудницы. Здесь был прекрасный остров в трех верстах от обители. Кругом было множество озер, через которые протекала река, идущая в Двину. Здесь построил он хижину и часовню с образом Николы. Но и этой пустынью не удовлетворился Св. Антоний: он избрал новую, за пять верст от первой, на озере Паду. Здесь, на месте, огражденном горами, покрытыми темным, непроходимым лесом, он поставил себе уединенную хижину, около которой белелись двенадцать берез. Устроил он себе небольшой плот, с которого удил рыбу, и при этом обнажал себе голову и плечи, отдавая их на съедение насекомым.
Два года провел в этих пустынях Антоний, и, когда Феогност оставил игуменство, преподобный вернулся снова в обитель. Когда он достиг глубокой старости и стали его удручать многие болезни, частью от преклонных лет, частью от напряженных подвигов, братия приступила к нему, прося дать настоятеля. Антоний назначил им строителем инока Кирилла, а на свое игуменское место Геласия, бывшего на то время ради потреб монастырских у моря, на реке Золотице, и по случаю бурных зимних непогодей не могшего возвратиться к преставлению святого старца. Старец написал завещание, но уже близок был к кончине. От долгого поста плоть его прилипла к костям, так что почти не было видно на нем тела и он заживо казался мертвецом. От многих коленопреклонений ноги его оцепенели, так что сам он не мог уже ходить и его под руки водили в церковь. Сгорбился он от глубокой старости и, наконец, приблизился к концу своего жития. Со слезами приступила к нему братия, требуя поучения. Старец говорил им много, обещал им, что, если будут иметь любовь друг к другу, не оскудеет обитель и сам он будет духом всегда с ними.