Вотъ какое впечатлѣніе оставилъ по себѣ скитъ въ воспоминаніи лица, бывавшаго тамъ въ юности при скитоначальникѣ о. Антоніи: «Величественный порядокъ и отраженіе какой–то неземной красоты во всей скитской обители, часто привлекали дѣтское мое сердце къ духовному наслажденію, о которомъ вспоминаю и теперь съ благоговѣніемъ, и считаю это время лучшимъ временемъ моей жизни. Простота и смиреніе въ братіяхъ, вездѣ строгій порядокъ и чистота, изобиліе самыхъ разнообразныхъ цвѣтовъ и благоуханіе ихъ, и вообще какое–то чувство присутствія благодати, невольно заставляло забывать все, что внѣ обители этой. Въ церкви скитской мнѣ случалось бывать преимущественно во время обѣдни. Здѣсь уже при самомъ вступленіи, бывало, чувствуешь себя внѣ міра и превратности его. Съ какимъ умилительнымъ благоговѣніемъ совершалось священнослуженіе! И это благоговѣніе отражалось на всѣхъ предстоящихъ до такой степени, что слышался каждый шелесть, каждое движеніе въ церкви. Клиросное пѣніе, въ которомъ часто участвовалъ самъ начальнике скита о. Антоній, было тихое, стройное, и вмѣстѣ съ тѣмъ величественное и правильное, подобно которому послѣ того и нигдѣ уже не слыхалъ, за всѣмъ тѣмъ, что мнѣ очень часто приходилось слышать самыхъ образованнѣйшыхъ пѣвчихъ въ столицахъ и извѣстнѣйшихъ пѣвцовъ Европы. Въ пѣніи скитскомъ слышались кротость, смиреніе, страхъ Божій и благоговѣніе молитвенное, между тѣмъ, какъ въ мірскомъ пѣніи часто отражается міръ и его страсти, — а это уже такъ обыкновенно! Что–жъ сказать о тѣхъ вождѣленнѣйшихъ дняхъ, когда свягценнодѣйствіе совершалось самимъ начальникомъ скита о. Антоніемъ? Въ каждомъ его движеніи.въ каждомъ словѣ и возгласѣ видны были дѣвственность, кротость, благоговѣніе и вмѣстѣ съ тѣмъ святое чувство величія.
Подобнаго свягценнослуженія послѣ того я нигдѣ не встрѣчалъ, хотя былъ во многихъ обителяхъ и церквахъ» («Жизнеописаніе настоятеля Малоярославецкаго Николаевскаго монастыря Иіумена Антонія». Москва, 1870 г., стр. 27).
О. Антоній пробылъ начальникомъ скита 14 лѣтъ, когда епископъ Калужскій Николай, враждебно относившійся къ старчеству и причинившій много горя о. Моисею, назначилъ его родного брата о. Антонія настоятелемъ Ярославецкаго Николаевскаго монастыря. Въ это время о. Антоній переступилъ сорокалѣтній возрастъ и на ногахъ его открылись раны, какъ послѣдствіе его подвиговъ и трудовъ. Ему было крайне тяжело разставаться съ созданнымъ его трудами уединеннымъ Оптинскимъ скитомъ, гдѣ его окружала всеобщая любовь, со своимъ братомъ, который былъ его старцемъ. Начальствованіе въ чуждыхъ ему условіяхъ жизни, являлось для него тягчайшимъ и величайшимъ крестомъ. Однажды, пишетъ онъ, «сильно уны во мнѣ духъ мой, и воздремавшись вижу въ тонкомъ снѣ ликъ отцовъ, и одинъ изъ нихъ, якобы первосвятитель, благословляя меня, сказалъ: вѣдь ты былъ въ раю, знаешь его, а теперь трудись, молись и не лѣнись! И вдругъ, проснувшись, ощущаю въ себѣ нѣкое успокоеніе. Господи! даруй мнѣ конецъ благій!»
Больной настоятель иіуменъ Антоній часто могъ только лежа давать приказанія и не былъ въ состояніи слѣдить за точнымъ исполненіемъ своихъ распоряженій. Онъ многократно просился отпустить его на покой, но еп. Николай былъ неумолимъ. 14 лѣтъ продолжалось его злостраданіе. Иногда онъ долженъ былъ ѣздить въ Москву за сборами пожертвованій на окончаніе монастырскихъ построекъ. Въ Москвѣ о. Антоній пользовался особымъ вниманіемъ со стороны митрополита Филарета, который понималъ духовное устроеніе смиреннаго подвижника–страдальца. Онъ полюбилъ его и приглашалъ его къ сослуженію съ собой, оказывалъ ему знаки отеческой милости и утЬшалъ его бесѣдами. Наконецъ, митрополитъ вступился за него передъ епархіальнымъ архіереемъ, который, наконецъ, согласился его отпустить на покой въ Оптину Пустынь, что состоялось въ 1853. Возвратившись въ Оптину Пустынь, о. Антоній прожилъ еще 12 лѣтъ.
Въ теченіе этого времени, онъ жилъ въ Оптиной Пустыни, какъ лицо, находящееся «на покоѣ» и не вмѣшивался во внутреннія дѣла монастыря и скита и даже избѣгалъ давать совѣты. Только утѣшалъ въ скорбяхъ, приходившихъ къ нему.
Ему пришлось пережить кончину брата своего схіархимандрита Моисея, что было для него тяжелой потерей. Два мѣсяца провелъ онъ въ затворѣ въ непрестанной молитвѣ за усопшаго. Онъ не могъ говорить о братѣ безъ слезъ и потому отказывался сообщить свѣдѣнія, ему извѣстныя, о сокровенной, внутренней жизни покойнаго. Это осталось нераскрытыми У о. иіумена Антонія было много духовныхъ чадъ среди мірянъ, многіе знали его въ бытность его настоятелемъ Малоярославецкаго монастыря.