Те, которые не могли приехать сами, письменно прощались с ним и испрашивали прощения и разрешения.
Когда все свои и приезжие были удовлетворены, то старец успокоился, и видимо стал отрешаться от всего земного. Он был постоянно погружен в молитву; однажды ночью старец, лежавший без движения, вдруг приподнялся и несколько раз повторил: «Мать София! Нужно помолиться за мать Софию». На следующий же день в Шамордине на могиле 1-й настоятельницы схимонахини Софии была отслужена панихида, и после этого старцу сделалось как бы лучше. Но затем через несколько дней умирающему пришлось перенести последнее, тяжелое испытание. Оно, будучи той каплей, которая переполнила его чашу скорбей земных, послужила к окончательному очищению свойственной человеческому естеству греховности, и его душа была совсем уже готова предстать пред лицом Праведного Судьи, страшного для злых и вожделенного для чистых и смиренных рабов Божиих.
С 28 числа старец Иосиф совсем перестал принимать пищу, питаясь только небесным хлебом Тела и Крови Христовых. Всё время, до самой кончины, он находился в полном и ясном сознании, и даже поражал всех своей памятью и вниманием ко всему, что было нужно ещё сделать и в чём распорядиться. Он давал самые ясные ответы на деловые вопросы, диктовал ответы на полученные письма и даже за два дня до кончины собственноручно их подписывал. Ежедневно к нему впускали на благословение всех, кто вновь прибывал и некоторых близких и преданных старцу лиц. Старец большею частью лежал с закрытыми глазами, и многие думали, что он без сознания, выражали шепотом своё сожаление, что не получили его благословения. Тогда старец открывал свои потухающие глаза и приподнимал слабеющую руку для благословения. Эта любовь, эта чуткость его души трогала и умиляла до слёз. Одна его духовная дочь, глядя на умирающего, мысленно исповедала грехи свои и закончила про себя: «Родной отец! Если ты слышишь, то взгляни на меня». В эту минуту старец мгновенно открыл глаза, поднял их к верху и опустил…
За несколько дней до кончины старец стал сильно стонать и на вопрос, что у него болит, отвечал: «Вот странно, ничего у меня не болит, а слабею».
Силы его падали, и когда нужно было освежить воздухом его спальню, то келейники уже переносили его на руках в приёмную. Ещё раз приезжал доктор и, подтвердив своё первое определение, выразил удивление, что старец так долго борется с недугом.
8-го мая ему с утра стало как бы легче, но среди дня он вдруг ослабел. Часа в четыре к нему зашел случайно приехавший московский доктор и сказал, что пульс падает, и жизни хватит самое большее на два дня. Увидя приготовленный фотографический аппарат и узнав, что батюшка разрешил Шамординским сёстрам ещё раз снять себя, доктор тихо сказал келейнику: «Не утруждайте старца этим, ему недолго осталось жить». Но по уходе доктора, старец подозвал келейника и еле слышным шепотом проговорил: «Позови скорее фотографку, а то ведь скоро стемнеет». В этом обстоятельстве сказалась вся глубина его любви, которая отдавала себя в жертву людям до самого последнего издыхания.
После этого все вошли получить благословение. Старец ласково на всех взглянул и тихо сказал: «Идите ко всенощной».
Ночь на 9-е была тревожная. Батюшка не спал, и только к утру забылся. В 8 часов пришел иеромонах с св. Дарами. Больной долго не мог откашляться от душившей его мокроты. Его спросили, может ли он приобщится; он ответил: «Могу», — и причастился одной Крови Христовой. После причастия ему предложили выпить чаю, на что он сказал: «Какой уже теперь чай», — и вслед за этим прибавил: «Помолитесь, чтобы Господь с миром принял мою душу». На это преданный и любивший его келейник сказал: «Батюшка, что же это вы сказали, — мы не можем молиться о вашей смерти, мы все желаем, чтобы вы пожили; и будем молиться, чтобы Господь облегчил ваши страдания». Батюшка, помолчав немного, произнёс: «Ну, да будет как Богу угодно».
С трёх часов дня температура стала быстро подниматься и пульс усилился. Это была последняя вспышка угасающей жизни. В 4 часа батюшка собрал всех в последний раз на благословение, а в 6 часов всех впустили прослушать исходный канон. Старец был в полном сознании; на грудь ему положили пелену с св. мощами. После чтения отходной, окружавшие старца иноки подходили прощаться, после них подошли монахини и все близкие духовные дети. Старец лежал с закрытыми глазами; в груди слышалось хрипение. С этой минуты из женской половины всех удалили, и хибарку заперли до утра.
С невыразимой болью в сердце покинули навсегда дорогую хибарку преданные ученицы старца и, не имея возможности видеть его последние минуты, они остались у входа в лесу ожидать конца.