Однажды две монахини привезли показать старцу, написанную одною из них, икону Божией Матери. После они сознавались, что согласились вместе искусить старца и, показав ему икону спросили: «А, что батюшка, похожа она на Царицу Небесную?» Старец на это серьёзно ответил: «Об этом нужно спросить о. Иосифа» — и при этом позвонил. Вошел о. Иосиф, и старец говорит ему: «Вот сажи им, похож ли этот лик на Царицу Небесную». О. Иосиф улыбнулся своей ангельской улыбкой и смиренно опустил глаза. Старец отпустил его. В другой раз, одна монахиня, беседуя со старцем спросила, какая была Матерь Божия в последние годы Своей жизни. Старец сказал ей: «Ты сходи к о. Иосифу и спроси у него, какова была Матерь Божия, когда ей было 60 лет». О. Иосиф, конечно, по смирению своему, сказал, что ничего не знает. Этими поступками старец несомненно хотел показать, что о. Иосиф был сподоблен небесного видения.
Как-то одна из относившихся, по благословению старца, к о. Иосифу, видя его слабое здоровье, с тревогой сказала батюшке о. Амвросию: «Вот, если батюшка Иосиф будет старцем, то, пожалуй, такой же, как и вы, будет болезненный и слабый?» «Ну, что же, ничего, зато смиренный будет», — ответил старец и прибавил: «К о. Иосифу все мои немощи перешли». В этих словах, с одной стороны высказывалось великое смирение старца Амвросия, считавшего себя лишь немощным сосудом, а с другой, — это служило подтверждением того, что о. Иосиф — будущий носитель благодати старчества.
Жил при Оптиной Пустыни один прозорливый старец — о. Пахомий, блаженный. Он очень любил о. Иосифа; и когда тот был ещё простым монахом, о. Пахомий всякий раз, как с ним встретится, непременно попросит у него благословение. «Отец Пахомий, да я не иеромонах», — улыбнётся ему о. Иосиф. «Удивляюсь, — ответил Пахомий. — отец Иосиф всё равно что отец Абросим» (то есть старец Амвросий).
Одна раба Божия — юродивая, была у старца о. Амвросия, и увидя о. Иосифа сказала ему: «Вот было у одного старца два келейника; один из них и остался на его месте».
Так Промысел Божий почти с самого начала предсказывал его старчествование, на которое он был предназначен Самим Богом. Быть может, в своих тайных беседах старец Амвросий и более ясно и определённо что-либо об этом говорил, но о. Иосиф, по своему смирению, никогда этого не открывал. Вообще он и по кончине старца Амвросия поражал и привлекал всех своим глубочайшим смирением, — он никогда не придавал себе никакого значения. Так он писал однажды одной особе: «Что я значу без батюшки? Нуль и больше ничего», — и при этом для наглядности изобразил на письме огромный нуль.
Здоровья, как сказано было выше, о. Иосиф был очень слабого и, благодаря тому, что жил неотлучно при старце, который также по своей болезненности зимой и даже вообще в холодное время никуда не выходил и боялся простуды, и он отвык от воздуха, и часто подвергался простуде. Надо было видеть, с каким терпением он всякий раз, когда выходил в сени или на задворок (а это при келейном послушании случалось часто), надевал тёплую одежду, пищи употреблялось очень мало. Удивляясь этому, однажды спросили у него, трудно ли ему было достигнуть такого воздержания, или это уже от природы ему дано? Он на это отвечал такими словами: «Если человек не будет понуждаться, то хотя бы он все снеди Египта поел и всю воду Нила выпил, его чрево будет говорить: алчу!»
С братиями о. Иосиф держал себя ровно: ни с кем не заводил знакомства и никогда ни к кому не ходил, кроме церкви и послушаний, на которое благословлял батюшка Амвросий. Когда ездил со старцем на дачу, то там позволял себе единственное развлечение удить рыбу в сажалке, но и в этом невинном удовольствии проглядывала больше его любовь к уединению. Главным же образом он соблюдал внутреннее безмолвие; — пустыня была в его собственном сердце, где сиял тихий свет молитвы, где обитало блаженное смирение, и куда он удалялся, убегая от малодушия и бури.