Старец о. Исаия очень почитал и любил о. Серафима, а также дорожил его беседами; поэтому он, когда был свеж, бодр и наслаждался здоровьем, нередко сам ходил в пустынь к о. Серафиму. В 1806 году Исаия, по старости лет и от трудов, понесённых для спасения себя и братии, сделался особенно слаб здоровьем и, по собственному прошению, уволился от обязанности и звания настоятеля. Жребий занять его место в обители, по общему желанию братии, пал на о. Серафима. Вот уже второй раз старец избирается на начальственные должности по монастырям, но и на этот раз, по своему смирению и из крайней любви к пустыне, он отказался от предлагаемой почести. Тогда голосом всей братии настоятелем избран был старец Нифонт, исполнявший до того времени послушание казначея.
Старец о. Серафим после смерти строителя Исаии не изменил прежнего рода жизни и остался жить в пустынке. Он только принял на себя ещё больший труд, а именно, молчальничество. К посетителям он более не выходил. Если ему самому случалось неожиданно встретить кого в лесу, старец падал ниц лицом и до тех пор не поднимал глаз, пока встретившийся не проходил мимо. Таким образом он безмолвствовал в продолжении трёх лет и некоторое время перестал посещать обитель по воскресным и праздничным дням. Один из послушников носил ему и пищу в пустынь, особенно в зимнее время, когда у о. Серафима не было своих овощей. Пища приносилась однажды в неделю, в день воскресный. Трудно было назначенному иноку совершать это послушание в зимнее время, так как в пустынку о. Серафима дороги не было. Бывало, бредёт он во время вьюги по снегу, утопая в нём по колена, с недельным запасом в руках для старца-молчальника. Вошедши в сени, он произносил молитву, а старец, сказавши про себя: «Аминь», отворял дверь из келии в сени. Сложив руки на груди крестообразно, он становился у двери, потупив лицо долу, на землю; сам ни благословит брата, ни даже взглянет на него. А пришедший брат, помолившись, по обычаю, и поклонившись старцу в ноги, полагал пищу на лоточек, лежавший на столе в сенях. Со своей стороны, старец клал на лоточек же или малую частицу хлеба, или немного капусты. Пришедший брат внимательно замечал это. Этими знаками старец безмолвно давал знать, чего принести ему в будущее воскресение: хлеба или капусты. И опять пришедший брат, сотворив молитву, кланялся старцу в ноги и, испросив молитв его о себе, возвращался в обитель, не услыхав от о. Серафима ни единого слова. Всё это были только видимые, наружные знамения молчальничества. Сущность же подвига состояла не в наружном удалении от общительности, но в безмолвии ума, отречении от всяких житейских помыслов для чистейшего посвящения себя Господу.
Молчальничество о. Серафим соединил ещё со стоянием на камне. В глухом лесу, на половине пути от келии к монастырю, лежал необыкновенной величины гранитный камень. Вспомнив о трудном подвиге свв. столпников, о. Серафим решился принять участие в подвижничестве сего рода. Для сего он восходил, чтобы не быть ни от кого видимым, в ночное время на этот камень для усиления молитвенного подвига. Молился он, обыкновенно, или на ногах, или стоя на коленях, с воздетыми вверх, подобно св. Пахомию, руками, взывая мытаревым гласом: «Боже, милостив буди ми грешному». Чтобы уравнять ночные подвиги дневным, о. Серафим и в келии имел камень. На нём он молился во время дня, с утра до вечера, оставляя камень только для отдохновения от изнеможения сил и для подкрепления себя пищею. Такого рода молитвенный подвиг он нёс, по временам, в течение тысячи суток.
От стояния на камнях, от трудности этого молитвенного подвига, тело его очень заметно изменилось, в ногах возобновилась болезнь, которая с этого времени до кончины дней не переставала мучить его. Отец Серафим понял, что продолжение таких подвигов привело бы к изнурению сил духа и тела, и оставил моление на камнях. Подвиги сии он проходил в такой тайне, что ни одна душа человеческая не ведала о них и не догадывалась. К бывшему после Исаии игумену Нифонту был тайный запрос об о. Серафиме от епископа Тамбовского. В бумагах обители сохранился черновой отзыв Нифонта, в котором настоятель отвечал: «О подвигах и жизни о. Серафима мы знаем; о тайных же действиях каких, также и о стоянии 1000 дней и ночей на камне, никому не было известно». При кончине дней своих, чтобы не остаться загадкой для людей, по подобию других подвижников, в числе прочих явлений своей жизни, он, в назидание слушателям, рассказал и о сём подвиге некоторым из братии.