Началась литургия. Перед самым Евангелием в храме неожиданно водворилось молчание. Оказалось, что с батюшкой о. Иосифом сделалось дурно; и уж обедню кончал за него сослужащий ему священник. Матушка Леонида, бывшая в церкви, услыхав молчание и смятение в алтаре и догадавшись, что с братом верно что-нибудь случилось, лишилась чувств и её едва отходили. Когда оправившись пришел к ней о. Иосиф, то с обычной своей улыбкой сказал: «Ну, что, — утешилась!» Тогда матушка Леонида стала просить его, чтобы он скорее уезжал домой в Оптину. «Уезжай скорее, — говорила она, — а то если здесь умрёшь, я этого не вынесу».
Старец Амвросий был очень обрадован возвращением своего помощника, так как без него было ему трудно с приезжими. Жизнь обоих подвижников потекла опять своим обычным порядком; старец каждое лето ездил недели на три гостить в Шамордино, и неизменным спутником его был его верный послушник и ученик о. Иосиф.
Настало лето 1890 г. В июне месяце начались обычные сборы в Шамордино, но о. Иосифу старец сказал: «Тебя я не возьму нынешний раз; тебе нужно здесь оставаться, — ты здесь нужен». Это случилось в первый раз за всю тридцатилетнюю совместную жизнь, что о. Амвросий ехал без него. Мало того, батюшка Амвросий приказал о. Иосифу перейти в его келью. А в приёмную велел перенести большую икону «Споручницы грешных». Грустно сделалось о. Иосифу от всех этих распоряжений; больно сжалось его сердце… «Не вернётся сюда больше старец» — промелькнуло у него в голове.
Старец уехал. Лето проходило, батюшка о. Амвросий несколько раз собирался возвращаться в Оптину. Но незримая рука всякий раз удерживала его, и наступившая осень прекратила дальнейшие попытки уехать из Шамордина. Предчувствие о. Иосифа сбылось: старец больше не вернулся в свою скитскую хибарку.
Сильно скучал первое время о. Иосиф без старца, словно остался он круглым сиротой. Но по своей неизменной покорности воли Божией, он примирился с таким положением вещей. К старцу он ездил один раз в месяц, и батюшка Амвросий всегда отечески заботился, чтобы за ним послан был возок. Помещение старца было смежное с настоятельским корпусом, и о. Иосиф, приходя к старцу, не считал себя здесь дома и никогда не входил к старцу, пока не доложит о нём келейник. Приходилось ему и подолгу дожидаться, так как он по смирению своему всем уступал. Даже другие монахи, приезжавшие в Шамордино к старцу, свободнее и смелее были, нежели о. Иосиф, и гораздо больше общались со старцем. Батюшка Амвросий видел и ценил самоотверженную любовь о. Иосифа, и порой сам приглашал его к себе в келию на духовную беседу.
Последнее время своей жизни старец Амвросий был нередко очень озабочен и изнурен всеми делами и заботами о неустроенной обители; и часто продолжительные деловые разговоры доводили старца до полного изнеможения, после чего он совсем отказался от пищи и не мог спать. Не раз окружающие слыхали слова старца: «Только после о. Иосифа я могу обедать и спать в своё время». Этим старец хотел выразить, что только один о. Иосиф ничем его не расстраивает. Даже о своей скорби о разлуке с аввою о. Иосиф никогда не говорил старцу, чтобы ничем его не растревожить. Узнали об этом случайно. Одна духовная дочь батюшки о. Иосифа, видя его очень грустным и печальным, сказала старцу: «Батюшка, как тяжело смотреть на отца Иосифа, на то, как он скорбит без вас». На это старец ей ответил, глубоко вздохнув: «А он мне об этом ничего не говорит».
Между тем в Оптиной, с отъездом старца Амвросия, монахи, привыкшие к старческому окормлению, стали ходить к о. Иосифу, и многие начали у него исповедоваться. Сам настоятель, по преклонности своих лет, затруднялся зимой каждый раз ездить к старцу в Шамордино; а потому выбрал своим духовником о. Иосифа и относился к нему с большим уважением. Он сам приходил к нему в скит каждую субботу и после исповеди долго оставался ещё у него для беседы. Трогательно было видеть, как маститый, убеленный сединами настоятель шел к своему постриженнику каяться перед ним в своих вольных и невольных прегрешениях, смиренно стоя пред святыми иконами на коленях.