То, что скит при о. Антонии действительно напоминал первозданный рай — об этом существует много свидетельств. Приведем лишь единственное — паломника, бывавшего там в юности.
«Величественный порядок и отражение какой-то неземной красоты во всей скитской обители часто привлекали детское мое сердце к духовному наслаждению, о котором и теперь вспоминаю с благоговением. Простота и смирение в братиях, везде строгий порядок и чистота, изобилие самых разнообразных цветов и благоухание их и вообще чувство присутствия благодати невольно заставляли забывать все, что было вне этой обители. В церкви скитской мне приходилось бывать преимущественно во время обедни. Здесь, уже при самом вступлении, бывало, чувствуешь себя вне мира и превратностей его. С каким умилительным благоговением совершалось священнослужение! И это благоговение отражалось на всех предстоящих до такой степени, что слышался каждый шелест, каждое движение в церкви. Клиросное пение, в котором часто участвовал сам начальник скита о. Антоний, было тихое, стройное и вместе с тем величественное и правильное, подобного которому больше нигде уже не слыхивал, хотя после мне очень часто приходилось слышать самых образованнейших певчих в столицах и известнейших певцов в Европе. В пении скитском слышались кротость, смирение, страх Божий и благоговение молитвенное, между тем как в мирском пении часто отражается мир и его страсти — а это уже обыкновенно! Что же сказать о тех вожделеннейших днях, когда священнодействие совершалось самим начальником скита о. Антонием? В каждом его движении, в каждом слове и возгласе видны были девственность, кротость, благоговение и вместе с тем святое чувство величия…»
К горечи разлуки со своим детищем — скитом добавлялась сильная физическая немощь: на ногах о. Антония открылись глубокие раны — как следствие его подвигов и трудов. В новом монастыре — городском, расположенном при большой дороге — он часто мог давать приказания только лежа. Тем не менее через силу новый игумен заботился о внешнем и внутреннем благоустройстве монастыря по образу лучших русских обителей. Много раз пытался он сложить с себя бремя настоятельства, но калужский епископ был неумолим. 13 лет продолжалось подобное злострадание. Наконец митрополит Московский святитель Филарет вступился за о. Антония и повлиял на калужского епископа, который согласился отпустить его «на покой» в Оптину пустынь.
В 1853 году он возвратился в родной скит и прожил еще 12 лет. «Покой» же его был многотрудный, многоболезненный, но в духовном отношении — многоплодный.
Свой смиренный и кроткий характер о. Антоний сохранил до конца. Он никогда ничем не соблазнялся, никого не осуждал и не порицал; ни о ком не изменял благой мысли, на всё и на всех смотрел ясным оком, чем и доказал, что имел чистое сердце. Об образе общения его со своими духовными чадами говорит характерный пример.
Один скитский инок привык не ходить к утрени. О. Антоний убеждал его, но тот ссылался на нездоровье. Никакие самые убедительные уговоры не действовали на него. Тогда старец сам пошел на утреню, несмотря на то что по болезни ног вообще не мог стоять на службе. После утрени он отправился прямо к тому иноку. Тот, увидев скитоначальника, вскочил с постели испуганный, а преподобный Антоний как был в мантии, так и упал ему в ноги. «Брате, брате мой погибающий! Я за твою душу обязан дать ответ пред Господом: ты не пошел на святое послушание. Пошел я за тебя. Умилосердись, брате мой, и над собой, и надо мной, грешным!» — говорил он у ног своего послушника и плакал. А под мантией на полу разлилась целая лужа крови, которая набралась в сапоги из открытых ран на ногах от стояния и хлынула, как из ушата, на пол при земном поклоне. Так и спас преподобный своего немощного ученика.
Почти тридцать лет терпел он неизлечимую, жестокую болезнь ног — всегда благодушно и смиренно. В огромной степени это терпение и смирение привлекали к о. Антонию многих мирян, которые, как и монашествующие, находили в нем мудрого руководителя.
Старец умел не только влиять на души вопрошавших, вызывая в них чувства покаяния и страха Божия, но и рассудить, как в каждом конкретном случае уврачевать эти души. Никогда он не старался насильно убедить кого-либо. Назидания свои предлагал не в виде заповеди, а скорее намеком или в виде дружелюбного совета. Он так искусно направлял общую беседу, что в продолжение ее, говоря о третьем лице или рассказывая будто про себя, как бы мимоходом и обличал, и наставлял своих собеседников. Часто случалось, что только по выходе от старца посетитель, опомнясь, понимал, что какое-нибудь как будто к слову сказанное замечание прямо относится к нему, к тайным его недоумениям и недостаткам и разрешает вопросы, которых он не задавал. Бывало, что иным он напоминал о грехах, которые они не только никогда не открывали ему, но и сами давно забыли. В этом и проявлялась прозорливость старца. О ней говорит такой пример.