С отъездом отца Амвросия в Шамординскую обитель многие монахи стали исповедоваться у отца Иосифа. Архимандрит Исаакий I также избрал отца Иосифа своим духовником. 10 октября 1891 года преподобный старец Амвросий блаженно почил. В это-то скорбное время обнаружилась во всем величии сила духа преподобного Иосифа. Именно в нем многие скорбящие нашли духовную поддержку и почувствовали, что дух почившего батюшки Амвросия живет в новом старце. И оптинская братия, никем не понуждаемая, стала обращаться со своими душевными нуждами к прямому наследнику духовных дарований Оптинского старчества отцу Иосифу. Он был назначен духовником шамординских сестер наравне с преподобным Анатолием старшим. После того как старец Анатолий в конце 1893 года тяжело заболел, духовничество, а также начальствование над скитом было полностью передано отцу Иосифу.
Преподобный старец Амвросий говаривал иногда: "Вот я пою вас вином с водою, а отец Иосиф будет поить вас вином неразбавленным". Действительно, старец Иосиф был весь сосредоточенность, речь его была сдержанна и дышала одним лишь святоотеческим учением. Несомненно, что старцу был присущ особый дар исповеди, дар учительного, действенно сильного и вместе с тем утешительного слова, дар благодатного воздействия на внутреннее состояние кающегося.
На исповеди батюшка был всегда серьезен, замечания его как-то особенно проникали в глубь сердца и будили сознание своей греховности пред Богом. Безнадежный грешник, побывав у преподобного Иосифа, обновлялся духом, изменялся к лучшему. Преданные старцу Иосифу духовные дети говорили: "Иногда и один взгляд его говорил мне более, чем тома проповедей" или: "Точно шубу, снял с меня батюшка мою скорбь, — так мне стало легко…." Кроме таинственного влияния своего благодатного слова на душевное расположение человека, отец Иосиф имел еще несомненный дар исцеления как от страстей, так и от телесных болезней.
По смирению преподобный Иосиф плоды своей деятельности приписывал доброму устроению своей братии. Так он писал своей сестре монахине Леониде вскоре после своего назначения начальником скита: "…Управляю скитом со своими всеми помощниками — братиями; все слушаются и смиряются, только нужно самому себе внимать и заботиться о своей душе, а братия все, слава Богу, мирны".
Преподобный Иосиф удивительно умел соединять в себе свойства, требуемые начальническими обязанностями и долгом старчества. По отношению к братии он был тверд, строг и взыскателен; учил их смирению, терпению, нелицемерному послушанию и вообще монашескому поведению. Но учил этому не властью начальника, а внушал любовью отца и в то же время как старец умел всех успокоить, умиротворить, привести к повиновению и покорности. Братия говорили про него:
"Наш батюшка чего не сделает приказанием, то доделает своим смирением: так скажет и взглянет, что и не хотелось бы смириться, да смиришься".
Он требовал, чтобы на все спрашивали его благословения, и никогда не тяготился никакими вопросами, но делал это в простоте духа, как монах, привыкший каждый шаг своей жизни освящать благословением.
В служении он всегда был спокоен и сосредоточен, не любил ни суетливой поспешности, ни вялой медлительности; возгласы говорил внятно. И вообще служение его производило умилительное чувство в молящихся.
Во внутреннем управлении братией он был очень мудр и соблюдал меру в строгости и в снисхождении, никогда не поступая ни в чем по одному наговору, а подробно разбирался в каждом случае. Он вообще не любил часто перемещать монахов с одного послушания на другое, говоря, что на одном послушании скорее приучаются к терпению. А от находящихся в послушании он требовал беспрекословного повиновения и смирения.
В делах хозяйственных у него были добрые и опытные помощники, которые очень облегчали его заботы. Это были верные и преданные ему иноки, на которых он мог вполне положиться, тем более что они ничего не предпринимали без его благословения.
Сохранились свидетельства лиц, явно зревших угодника Божия, осиянного благодатным светом, светом нетварным. Одна благочестивая монахиня Л. вспоминала: "Мы пришли прощаться с батюшкой. Не желая утомлять старца, остались в коридоре в ожидании, когда он выйдет. Вскоре щелкнула дверь, вышел батюшка. От его лица буквально исходил свет, оно было так бело и юношески светло, что мы невольно вздрогнули. Батюшка взглянул на нас непередаваемым, благодатным взглядом и так быстро ушел, что мы не успели проститься. Пришлось прийти прощаться на другой день. После нам сказали, что в этот день батюшка приобщился Святых Таин".