Вообще он удивительно умел соединять в себе свойства, требуемые начальническими обязанностями и долгом старчества. По отношению к братии он был твёрд, строг и взыскателен; учил их смирению, терпению, нелицемерному послушанию, и вообще монашескому поведению, но учил этому не властью начальника, а внушал любовью отца и в то же время, как старец, умел всех успокоить, умиротворить, привести к повиновению и покорности. Братия говорили про него: «Наш батюшка чего не сделает приказанием, то доделает своим смирением: так скажет и взглянет, что и не хотелось бы смириться, да смиришься».
Он требовал, чтобы на всё спрашивали его благословения, и никогда не тяготился никакими вопросами, но делал это в простоте духа, как монах, привыкший каждый шаг своей жизни освящать благословением.
Он прекрасно знал весь церковный устав и напевы; и когда собьются певчие, то он подходил к клиросу и указывал, что нужно петь или читать. Когда готовился к служению, то повечерье вычитывал в келье, а к бдению приходил в церковь; а иногда и сам служил один с иеродиаконом, как простой чередной иеромонах. В алтаре стоял он с таким благоговением, вниманием и углублением в молитву, что, кажется, он никого не видал в храме, кроме Бога да себя: никогда не отвлекался никакими разговорами, а лишь скажет нужный возглас и опять стоит в молитвенном настроении, и читает про себя Иисусову молитву по чёткам. Иногда случалось, что кто-либо из иноков подойдёт спросить что-то по послушанию, или по своей душевной нужде, старец удовлетворит всегда отечески-милостивым ответом; но иногда кротко даст понять, что этим нарушают его молитвенное состояние духа.
Иноки рассказывают, что он до того был углублён в молитву, что часто не замечал, когда они к нему подходили, и только на второй вопрос он приходил в себя.
В служении он всегда был покоен и средоточен, не любил суетливой поспешности, ни вялой медлительности; возгласы говорил внятно. И вообще служение его производило умилительное чувство в молящихся.
Во внутреннем управлении братиями он был очень мудр и соблюдал должную меру в строгости и в снисхождении, никогда не поступая ни в чём по одному наговору. Он не любил вообще часто перемещать монахов с одного послушания на другое, говоря, что на одном послушании скорее приучаются к терпению. Случалось, что старший на послушании приходил к начальнику жаловаться на подчинённого ему брата, прося его сменить. Батюшка спрашивал: «Что же он сделал?» «Да он мне наговорил грубостей». «Что же он тебе сказал, почему?» — допытывался старец и из рассказа разгорячившегося монаха оказывалось, что особенно основательной причины к перемещению брата не было, а старший действовал по страсти. В таких случаях начальник говорил жалобщику: «Поди, сам попробуй побыть на его месте; тогда узнаешь, что это легко, или нет». Но, конечно, не всегда одинаково поступал он, а когда требовала того справедливость; вообще же от находящихся в послушании он требовал беспрекословного повиновения и смирения.
В делах хозяйственных у него были добрые и опытные помощники, которые много облегчали его заботы. Это были верные и преданные ему иноки, на которых он мог вполне положиться, тем более, что и они, как настоящие оптинские монахи, ничего не делали, не испросивши благословения своего начальника и старца. Но при всём этом, он никогда не слагал с себя забот и вникал во всё, памятуя, что должен отдать Господу ответ за вверенное ему дело. Так он не любил что-нибудь строить, или делать поправки без крайней нужды, находя это лишнею тратою. Однажды ему сказали, что в трапезной плохи полы и надо их переменить. Батюшка не сразу дал на это своё благословение, а велел хорошенько их осмотреть. Оказалось, что полы хотя и стары, но могут ещё простоять несколько лет.
Отношение его к скитской братии было самое любвеобильное и отеческое; если кто заболевал или приближался к смерти, то батюшка всегда спешил к постели умирающего.
Однажды о. Иосиф собрался в Шамордино, но ему занездоровилось, и он остался. Вскоре в скиту умер один старый иеросхимонах. Старец навещал его, расположил к принятию схимы и в день смерти настоял, чтобы его приобщили. «Вот хорошо, что я не поехал, — сказал потом батюшка, — а то я бы поскорбел, что он без меня умер».