Отец Иосиф, несмотря на своё хлопотливое послушание и постоянное пребывание на народе, очень много занимался чтением творений святых отцов — учителей монашества и у них почерпал для себя те неистощимые запасы мудрости духовной, которою так богат был впоследствии сам и пользовал ею других, приходивших к нему за советом и утешением. Любимою и, можно сказать, неразлучною книгою его было «Добротолюбие». Он предпочитал читать книги на славянском наречии; а когда ему говорили, что они трудно понимаются, он отвечал: «Что трудом приобретается, то и бывает полезно». Вообще читал только святоотеческие творения, а новых писателей не любил, говоря: «Новые писания хотя и духовны, но они только ум питают. А в сердце остаётся холодная пустота». «Когда вы успевали книги читать при вашем послушании?» — спрашивали его. «Да как выйдет свободная минутка, так я сейчас за книгу брался», — отвечал он. «Ну, а со старцем когда же вы занимались? Ведь до поздней ночи всё был народ, а там правило вычитывали?» «Во время чая иногда приходилось, а больше, когда приходил на ночь принимать благословение; тут и говорил, что было нужно; да разве много нужно времени, чтобы высказать, что тяготило совесть», — добавлял смиренно батюшка, показывая этим, что он учился у старца самою жизнью.
Внутренняя же его жизнь слишком сокровенна, чтобы можно было говорить о ней, — это было известно только Богу и старцу. В общих же чертах — это был человек глубокого, внутреннего делания, всегда хранивший сердечное безмолвие и непрестанную молитву. Что он проходил так называемую Иисусову молитву, свидетельствуют те многочисленные наставления его об этом предмете, которые записаны буквально его духовными чадами. Но как не может утаиться сосуд, наполненный благоуханием, так не могли не обнаруживаться и внутренние добродетели этой чистой души. Великое смирение и благодатный свет внутренней молитвы озаряли и привлекали к нему сердца людей.
И сам старец Амвросий, провидя в нём будущего своего преемника, не возбранял ему входить в общение с посетителями, а некоторым даже прямо благословлял относиться со своими духовными нуждами к о. Иосифу. Не раз случалось, что на вопрос, предложенный старцу Амвросию, он отвечал: «Спроси у о. Иосифа». Замечательно при этом было то, что ответы о. Иосифа были всегда тождественными с ответами на тот же предмет самого старца. Многие стали это замечать и первое время, для того, чтобы вернее в этом убедиться, пробовали проверять: спросят что-нибудь у о. Иосифа — он скажет, затем спросят о том же старца Амвросия, и тот ответит теми же словами, и при этом непременно подмигнёт с улыбкой, как бы давая понять, в чём дело. Старец, видимо, делал это для укрепления веры в своего ученика; но затем, когда уже достаточно ясно определилось духовные дарования о. Иосифа, старец однажды строго сказал одной: «Не испытывай больше».
Одна монахиня, всей душой преданная старцу Амвросию и без его благословения ничего не делавшая в повседневной своей жизни, просила раз у него благословения сходить в гости к одной из живших в оптинской гостинице, так как её приглашала. Старец сказал: «Нет не надо, не ходи». Прошло много времени; другая из живших тоже позвала к себе эту монахиню. Та, помня, что старец в тот раз не благословил её, решила в душе не ходить и к этой, но, по привычке обо всём спрашивать, вызвала о. Иосифа и просила его передать старцу, что её зовёт в гости такая-то. О. Иосиф, не дослушав её до конца, сказал: «Ну что же, сходи, сходи, проведай её». Монахиня сильно смутилась этим ответом. Во-первых, она не спрашивала о. Иосифа, а только лишь просила передать её вопросы старцу, а во-вторых, ответ его совершенно расходился с мнением старца о. Амвросия. О. Иосиф прошел в нижнюю хибарку, а монахиня в смущении дожидалась его возвращения, как вдруг вышел на общее благословение сам старец. Увидя смущенное лицо монахини, старец спросил её: «Что ты такая стоишь?» Не желая при всех объяснять причину своего смущения, монахиня сказала: «Батюшка, вот N. зовёт меня к себе». «Ну что ж, сходи, сходи, проведай её», — ответил смеясь старец, буквально теми же словами. При этом монахиня заметила, что старец пристально и с улыбкой на кого-то смотрит. Оказалось, что сзади стоял о. Иосиф и тоже улыбался… Монахиня была поражена этим случаем и с тех пор уверовала, что в о. Иосифе жил тот же дух благодати, что и в его учителе.
Так старец постепенно подготовлял его к старческому служению, уча его и словом, и собственным примером. Он любил его и доверял ему во всём, называя его своей правой рукой, и в течении 30 лет, до самого своего отъезда в Шамордино, никогда не разлучался с ним. Надо было видеть, какою радостью и любовью светилось лицо изморенного старца, когда кто-нибудь из духовных детей рассказывал ему про о. Иосифа, как он хорошо сказал, успокоил, какой он смиренный, добрый… Иной раз, во избежание преждевременной молвы, старец говорил: «Подожди, молчи пока об этом», а иной раз сам напоминал: «Помнишь, о. Иосиф ведь правду тебе сказал». Так для его любящего отеческого сердца это было утешением и отрадой, — в этом он видел зарю нового светильника… Незаметно для самого о. Иосифа, старец старался несколько приоткрыть его и показать духовные сокровища этого избранника Божьего.