В конце 1794 г. Серафим удаляется в маленькую лесную хижину, выстроенную в густом непроходимом ельнике, в двух часах пути от пустыни, и тут начинается его отшельническое житие, которое продолжалось 30 лет (1794–1825). Он снял с себя черную монашескую рясу и ходил в белом подряснике. На спине Серафим всегда таскал котомку, нагруженную камнями, чтобы умерщвлять свою слишком крепкую плоть, с ним всегда и везде неотлучно было святое Евангелие, под подрясником на груди он носил тяжелый железный крест весом в 20 фунтов, такой же крест носил он и на спине, на чреслах — железный пояс. Зимой он рубил дрова в лесу для своей печи, которая, однако, в сильные холода лишь немного согревала его келью, летом работал в огороде и питался тем, что сам выращивал, потом он стал питаться одной только травой снитью, которую собирал в лесу и варил. Три года, больше 1000 дней и ночей, провел Серафим в непрестанной молитве, стоя на коленях на огромном камне, с воздетыми горе руками — так совершал он подвиг столпничества. И все это было еще только началом его аскетического делания.
Тут ему случилось подвергнуться искушению. Однажды, в то время как святой рубил в лесу дрова, на него напали разбойники и потребовали денег, которые, как они думали, он брал у благочестивых верующих людей. Когда преподобный ответил, что у него ничего нет, его ударили топором. Хотя в руках у Серафима тоже был топор и сам он был достаточно силен, чтобы защищаться от разбойников, он не захотел противиться им. До глубокой ночи пролежал он на земле без сознания, в крови. А рано утром, обливаясь кровью, пришел в монастырь. Настоятель велел ему обратиться к врачу, но от усталости и слабости Серафим заснул до прихода врача. Как позже поведал сам преподобный, в этот момент ему вновь явилась Богородица, с царским венцом на голове, а справа и слева от Нее стояли апостолы Петр и Иоанн, подобно тому как это было в первом его видении. Царица Небесная, как любил называть Богоматерь Серафим, обратилась в ту сторону, где позже, по пробуждении святого, стояли врачи, и, указав на больного, сказала: «Что вы трудитесь?» — а потом, обращаясь к апостолам, проговорила: «Сей от рода Нашего!» — и в это мгновение Серафим проснулся. Преподобный отказался от помощи врачей, несколько недель пролежал он в келье, не вставая. Его крепкая натура выдержала, в конце концов он встал с одра болезни, но навсегда остался согбенным и уже не мог ходить без помощи посоха. Таким он изображается на иконах: в белом балахоне, обутый в лапти, с тяжелой, наполненной камнями котомкой за плечами — эту котомку он продолжал носить после выздоровления, но черты его лица не изменились.
Через несколько месяцев преподобный вернулся из монастыря в свою лесную хижину. После кончины настоятеля Исаии I (1807) братия просила Серафима взять на себя настоятельство, но он со смирением отказался от этой чести. Теперь Серафим взял на себя новый подвиг: три года жил он в совершенном безмолвии и не вступал в разговор даже с монахами, которые приносили ему просфоры для совершения Божественной литургии и хлеб для вкушения. Он старался скрывать свое лицо от людей, закрывая его, когда кто–нибудь приближался к нему. Подвиг безмолвия был для Серафима лишь приготовлением к новому и более высокому подвигу.
8 мая 1810 г. он снова пришел из леса в пустынь, в которой не был целых три года. Появился он в монастыре за вечерней — был канун праздника святителя и чудотворца Николая — и молча прошел в свою келью. В самый праздник прп. Серафим пришел к ранней обедне, причастился Святых Даров и получил благословение от настоятеля отца Нифонта. Потом он снова вернулся в келью и заперся в ней. Серафим приступил к новому подвигу — подвигу затворничества. Пятнадцать с половиной лет провел он в затворе. Зимой он все время проводил в нетопленой келье, которая слабо освещалась светом от лампады пред иконой Царицы Небесной. Вначале он спал сидя на полене, а потом — лежа в гробу, который вытесал для себя сам. Как и прежде, в лесной хижине, на теле Серафим носил железные вериги; чтобы еще больше утрудить себя, он переносил дрова с одной стороны кельи на другую. Днем он вслух читал Священное Писание, ночами творил умную молитву — «Господи Иисусе Христе, Сыне Божий, помилуй мя» — и подвизался в посте и хранении сердца. В это время на молитве прп. Серафиму бывали разные видения, о которых он позже поведал некоторым из своих учеников. В воскресенье и праздничные дни он причащался Святых Даров, которые, по благословению настоятеля, передавались ему через окошко в двери его кельи после ранней литургии. Когда в пустынь приехал епархиальный архиерей и подошел к его келье, дверь не отворилась и для владыки. Лишь после 10 лет затвора Серафим дозволил людям войти в его келью — молча дал на это свое благословение.