Осенью 1804 года преподобный подвергся жестокому нападению неких разбойников. Как оказалось впоследствии, то были крестьяне местного помещика Татищева. Злодеи напали на отшельника в лесу, когда тот рубил хворост, и стали требовать денег, полагая, что раз к нему приходят миряне, то он, должно быть, получает от них немалую мзду. Святой отвечал, что он ни от кого денег не берет. Тогда злодеи жестоко, до бессознательного состояния, избили его, а в келье его все перевернули и переломали, но денег не нашли. Злодеи пришли в ужас, поняв, что они убили без всякой пользы для себя святого человека, и бросились бежать.
В течение восьми дней старец нестерпимо страдал и лежал еле живой, не принимая никакой пищи. Отчаявшись за его жизнь, послали за врачами. Те освидетельствовали больного: оказалось, что у него проломлена голова, сломаны ребра, грудь, на теле множество смертельных ран. Братия собрались в его келье, послали за игуменом. В это время преподобный уснул. И вот в сонном видении ему вновь, как и много лет назад, явилась Пресвятая Богородица. Когда настоятель пришел в келью, Серафим уже очнулся. Он отказался от всякой врачебной помощи и твердо заявил, что возлагает упование на Бога и Божию Матерь. С того времени постепенно к нему стали возвращаться силы.
Около пяти месяцев провел преподобный в монастыре. Облик его после болезни сильно изменился: волосы побелели, а спина согнулась так, что до конца своих дней он мог ходить, лишь опираясь на клюку или на топорик. Но дух старца Серафима не был сломлен. Почувствовав, что силы возвращаются к нему и он снова готов к подвигу, преподобный объявил о своем решении вернуться к пустыннической жизни. Вскоре и разбойники, избившие старца, были найдены. Серафим просил настоятеля обители и помещика не наказывать их, объявив, что в противном случае покинет Саровскую обитель. Злодеев простили, но Бог покарал их: вскоре их дома сгорели от сильного пожара. Разбойники совершенно раскаялись, просили у старца Серафима прощение и, как свидетельствует Житие святого, встали на путь добродетельной жизни.
В 1806 году настоятель Саровской обители, старец Исайя, по болезни и старости лет удалился от дел. Братия избрала на его место Серафима, однако преподобный отказался от этого назначения. Настоятелем был избран отец Нифонт. Исайя прожил в монастыре еще год. Из-за немощи он не мог сам ходить в пустынь к Серафиму, и братия, по его просьбе, возила его туда на тележке. Смерть старца Исайи (декабрь 1807 года) произвела сильное впечатление на преподобного. Это был последний из близких ему людей. До конца жизни Серафим с особым усердием молился об упокоении душ блаженных Пахомия, Иосифа и Исайи и завещал поминать их в молитвах своим ученикам.
По смерти старца Исайи преподобный, не изменяя своего образа пустыннической жизни, возложил на себя новый тяжкий подвиг — молчальничество. Кто бы ни приходил к нему в пустынь, старец не выходил навстречу. Если ему приходилось кого-нибудь встретить в лесу, он падал ниц на землю и не поднимал головы до тех пор, пока встречный не проходил мимо. В таком безмолвии преподобный провел около трех лет. В конце этого срока он из-за болезни ног даже перестал посещать Саровскую обитель по воскресным и праздничным дням. Раз в неделю один из иноков приносил ему пишу — немного хлеба или капусты; потупив голову и не глядя на пришедшего, старец принимал принесенное и не говорил ни слова.
Среди братии нашлись недовольные тем, что преподобный удалился от монастыря. Настоятель обители отец Нифонт также выражал недовольство тем, что старец не принимает причащения в монастырской церкви. Был созван собор из старших иеромонахов. Старцы решили предложить преподобному, если он здоров и крепок ногами, по-прежнему приходить в обитель по воскресным и праздничным дням для причащения Святых Тайн; если же ноги не служат ему (а после трехлетнего стояния на камне так оно и было), он должен перейти на жительство в монастырскую келью. Брат, носивший по воскресным дням пищу святому, передал ему решение монастырского собора. В первый раз старец ничего не ответил. Тогда, спустя неделю, брат повторил соборное распоряжение. В ответ преподобный благословил инока и вместе с ним отправился пешком в обитель. Это случилось 8 мая 1810 года. Преподобному было пятьдесят лет от роду.