С новым поселением старца в пустыне диавол претерпел совершеннейшее поражение. Крестьяне, избившие старца, были найдены; они оказались крепостными людьми помещика Татищева, Ардатовского уезда, из села Кременок. Но о. Серафим не только простил их самих, но и упрашивал настоятеля обители не взыскивать с них, а затем такую же просьбу написал помещику. Все были до такой степени возмущены поступком этих крестьян, что казалось невозможным простить их, а о. Серафим настаивал на своем: «В противном случае, — говорил старец, — я оставлю Саровскую обитель и удалюсь в другое место». Строителю же, о. Исаии, своему духовнику, он говорил, что лучше его удалили бы из обители, нежели нанесли крестьянам какое-либо наказание. О. Серафим представил отомщение Господу Богу. Гнев Божий действительно настиг этих крестьян: в непродолжительном времени пожар истребил жилища их. Тогда они пришли сами просить у о. Серафима, со слезами раскаяния, прощения и святых его молитв.
Старец о. Исаия очень почитал и любил о. Серафима, а также дорожил его беседами; поэтому он, когда был свеж, бодр и наслаждался здоровьем, нередко сам ходил в пустынь к о. Серафиму. В 1806 году Исаия, по старости лет и от трудов, понесенных для спасения себя и братии, сделался особенно слаб здоровьем и, по собственному прошению, уволился от обязанности и звания настоятеля. Жребий занять его место в обители, по общему желанию братии, пал на о. Серафима. Вот уже второй раз старец избирается на начальственные должности по монастырям, но и на этот раз, по своему смирению и из крайней любви к пустыне, он отказался от предлагаемой почести. Тогда голосом всей братии настоятелем избран был старец Нифонт, исполнявший до того времени послушание казначея.
Старец о. Серафим после смерти строителя Исаии не изменил прежнего рода жизни и остался жить в пустынке. Он только принял на себя еще больший труд, а именно молчальничество. К посетителям он более не выходил. Если ему самому случалось неожиданно встретить кого в лесу, старец падал ниц лицом и до тех пор не поднимал глаз, пока встретившийся не проходил мимо. Таким образом он безмолвствовал в продолжении трех лет и некоторое время перестал посещать обитель по воскресным и праздничным дням. Один из послушников носил ему и пищу в пустынь, особенно в зимнее время, когда у о. Серафима не было своих овощей. Пища приносилась однажды в неделю, в день воскресный. Трудно было назначенному иноку совершать это послушание в зимнее время, так как в пустынку о. Серафима дороги не было. Бывало, бредет он во время вьюги по снегу, утопая в нем по колена, с недельным запасом в руках для старца-молчальника. Вошедши в сени, он произносил молитву, а старец, сказавши про себя: «Аминь», отворял дверь из келии в сени. Сложив руки на груди крестообразно, он становился у двери, потупив лицо долу, на землю; сам ни благословит брата, ни даже взглянет на него. А пришедший брат, помолившись, по обычаю, и поклонившись старцу в ноги, полагал пищу на лоточек, лежавший на столе в сенях. Со своей стороны, старец клал на лоточек же или малую частицу хлеба, или немного капусты. Пришедший брат внимательно замечал это. Этими знаками старец безмолвно давал знать, чего принести ему в будущее воскресение: хлеба или капусты. И опять пришедший брат, сотворив молитву, кланялся старцу в ноги и, испросив молитв его о себе, возвращался в обитель, не услыхав от о. Серафима ни единого слова. Все это были только видимые, наружные знамения молчальничества. Сущность же подвига состояла не в наружном удалении от общительности, но в безмолвии ума, отречении от всяких житейских помыслов для чистейшего посвящения себя Господу.
Молчальничество о. Серафим соединил еще со стоянием на камне. В глухом лесу, на половине пути от келии к монастырю, лежал необыкновенной величины гранитный камень. Вспомнив о трудном подвиге свв. столпников, о. Серафим решился принять участие в подвижничестве сего рода. Для сего он восходил, чтобы не быть ни от кого видимым, в ночное время на этот камень для усиления молитвенного подвига. Молился он обыкновенно или на ногах, или стоя на коленях, с воздетыми вверх, подобно св. Пахомию, руками, взывая мытаревым гласом: «Боже, милостив буди ми грешному». Чтобы уравнять ночные подвиги дневным, о. Серафим и в келии имел камень. На нем он молился во время дня, с утра до вечера, оставляя камень только для отдохновения от изнеможения сил и для подкрепления себя пищею. Такого рода молитвенный подвиг он нес, по временам, в течение тысячи суток.