Принимая всех без различия, о. Иосиф всегда отвечал на предложенные ему вопросы, но сам никогда не заводил речи. Раз одна подумала: «Отчего это батюшка сам никогда ничего не скажет?» А старец вдруг, отвечая на её мысли говорит: «Вопрошаемый не должен сам говорить, а только отвечать вопросившему!» Один из близких старцу иноков рассказывает, что, в начале своего отношения к нему, он даже роптал на старца за то, что он так скуп на слова, и никогда ничего не говорит без вопроса, а когда придёшь к нему, он скажет только: «Ну что?» и уж самому нужно предлагать вопросы. Отчего, думалось иноку, старец так начитан святоотеческого учения и преисполнен сам мудрости духовной, и мог бы поговорить побольше, а между тем всё нужно понуждать его вопросами? Но впоследствии старец разъяснил ему словами преподобного Петра Дамаскина, который пишет: «Без вопрошения братии, не должно говорить чего-либо для пользы, чтобы доброе было по свободному произволению, как и апостол учит: не яко обладающему причту, но образ бывайте стаду» (1 Петр. 5, 3). И древние отцы без вопрошения не говорили служащего ко спасению, считая это празднословием». Тогда, — говорит инок, — я понял глубокую мудрость старца и перестал его осуждать за это и получал великую пользу от его кратких, но сильных ответов; и приходилось на опыте в этом убеждаться, что иной и много говорит, а слова его не остаются в сердце.
Другому иноку старец сам сказал, вероятно потому, что и он этим же смущался: «На меня недовольны некоторые, что я мало говорю. Но для того, чтобы утешить скорбящую душу, много и не надо говорить, — надо только дать свободно самому выказаться не перебивая, — и когда выскажет все свои скорби, уже этим самым и облегчит свою скорбь. К этому остаётся прибавить только несколько согретых любовью слов и пояснить кое-какие недоумения, и человек после этого видимо укрепляется верою, обновляется душой и снова готов всё терпеть».
И это ощущали на себе все относившиеся к старцу. Его краткие ответы и сжатые наставления были сильные и действительнее самых обстоятельных и продолжительных бесед. Он умел в двух-трёх словах сказать так много, что сразу становилось всё ясным и понятным. Самые убедительные доводы самолюбия и горделивого самооправдания разбивались вдребезг от одного его слова: «Ну, что-ж, надо потерпеть». Своим смирением он смирял самые бурные сердца; от него веяло всегда такой небесной тишиной, что в его присутствии самые неуступчивые, гордые и строптивые совершенно изменялись.
Не лишним будет здесь припомнить, что старец Амвросий говорил иногда: «Вот я пою вас вином с водою, а о. Иосиф будет поить вас вином неразбавленным». Прежде всего, конечно, нужно видеть в этом великое смирение дивного во избранных старца Амвросия; а затем здесь ясно видно указание на то, что о. Иосиф, будучи отражением о. Амвросия и по жизни, и по учению, — по внешней форме своих наставлений отличался от своего учителя. О. Амвросий был человек с образованием, обладал самым всесторонним умственным развитием, по характеру был общителен, и потому речь его была, помимо своей благодатной силы, увлекательна яркостью мысли, образностью выражения, лёгкостью, живостью, умной весёлостью, в которой скрывалась глубокая мудрость как житейская, так и духовная. Отец же Иосиф был весь сосредоточенность, и речь его была сдержанна и дышала лишь одним святоотеческим учением.
Вообще он не любил баловства, уступок, и как истинный монах никогда не был наружно ласковым, хотя был и снисходителен, и мягок. Единственным выражением его внимания и ласки к чадам духовным состояло у него в том, что он в особенных случаях слегка ударял кого-либо из них по голове. С более близкими и преданными ему лицами он был скорее строг и непреклонен; но этим он достигал того, что ему предавались всецело, неотступно, истинно.
Бывали случаи, что некоторые, не сумевшие понять и оценить его, считали его отношение невнимательным и холодным и, по малодушию своему, увлекаясь внешнею ласковостью других и считая это необходимым условием для успокоения внутреннего, оставляли старца Иосифа. Такие отпадения никогда не вызывали у смиренного старца никакого неудовольствия, не возбуждали ни зависти, ни огорчения; и с тою же отеческою любовью, с полным всепрощением и забвением случившегося принимал он снова, когда возвращались назад понявшие свою ошибку и ощутившие лишение.