Иосиф и князь послали к епископу, прося благословения строить церковь. Когда святитель прислал благословение свое и антиминс, преподобный Иосиф заложил церковь во имя Успения Пресвятой Богородицы на память преподобного Илариона Далматского и Виссариона. Узнав о сем, приехал к месту закладки храма князь Борис Васильевич со всеми боярами и многими знатными юношами. Прежде всех он и преподобный взяли на свои плечи бревна и положили в основание храма. Видя, как князь трудится для Бога, присутствовавшие там возрадовались, и все от мала до велика, как простые работники, стали трудиться во славу Божию и сносили бревна. Спустя немного времени церковь была совершенно построена и освящена в том же году, августа 15-го дня, на праздник честного Успения Пречистой Богородицы. Затем начали строить келлии и стали собираться братия. Приходили к преподобному Иосифу князья и бояре на покаяние, и многие из них постригались, не достигшие же зрелого возраста отдавали себя без рассуждения на послушание и повиновение, на труды и воздержание.
Преподобный Иосиф днем трудился с братией, ставя келлии, ночью же пребывал в молитве, не давая себе покоя. Слыша о сих великих трудах преподобного и братии, князь Борис Васильевич стал часто ездить в обитель Пречистой Богородицы, привозя с собою брашна и питие, ибо в обители еще во всем был недостаток, даже хлеба было мало. И здесь обнаружилась любовь иноков к Богу – они отказывались от яств, изнеживающих тело, и питались одним хлебом и простым зелием. Видя сие о Христе собравшееся стадо в таковом воздержании и трудах, Иосиф радовался духом и славил Пречистую Богоматерь, ибо он еще не налагал на братию полного соблюдения закона, а они сами добровольно жили согласно обещанию преподобного пред Богом. Обещание же было таково: все должно быть общим, никому своего не иметь, яства и питие всем поровну, также и одежда и обувь, в келлиях же не пить и не есть, разве лишь по болезни или старости.
Умилительно было видеть подвиги иноков, которые по своему произволению утруждали себя, ночью стоя на молитве, днем же пребывая в трудах. Служили они Богу не как нанятые работники, коих надсмотрщики побуждают к труду, а сами старались превзойти друг друга в иноческих подвигах. И когда кто-нибудь из них брался за тяжелое дело, другие запрещали ему, сами же принимались за труднейшее. Так трудились они, по наказанию и учению Иосифа, в молчании и с молитвой, не взирая на лица друг друга и испуская из очей слезы, не ради людей, но помня час смертный. Самый вид их показывал их покаяние и сокрушение, ибо все они, как иноки из простолюдинов, так и происходившие от княжеского или боярского рода, ходили в лычной обуви и заплатанной одежде. Так же ходил и сам преподобный Иосиф, коего по внешнему виду нельзя было отличить от прочей братии. И было правило у тех добровольных Христовых страдальцев, чтобы каждый делал сколько ему по силам, но все по благословению и совету преподобного Иосифа. От великого усердия во славу Божию один из них носил на теле под одеждой железную кольчугу, другой – тяжелые железные оковы, причем клали они поклоны числом даже до трех тысяч. О своем теле иноки не заботились, перенося с одинаковым терпением и зной, и стужу. Однажды случилась такая студеная зима, что птицы замерзали, а иноки стояли в холодном храме в летних одеждах.
Видя подвижническое житие братии, преподобный молился, чтобы избегнуть им навета вражия и получить достойное возмездие от Господа. Так имел он попечение не только о теле, но и о душах их. Поздно вечером обходил он келлии и, где слышал братию, беседующую после повечерия, ударял в окно, знаменуя приход свой, а затем отходил. Обходя однажды келлии, преподобный увидел человека, крадущего жито, и тихо подошел к нему. Увидев игумена, человек тот хотел бежать. Но Иосиф подал ему знак, чтобы он не боялся; насыпал сосуд и поднял ему на плечи, заповедав впредь не воровать. «Если же, – сказал преподобный, – у тебя будет в чем недостаток, скажи мне, и я исполню твое желание».
О происшедшем преподобный запретил рассказывать. Но спустя долгое время человек тот не мог сохранить сего в тайне и поведал многим. Однако, в то время братия жили в такой безопасности, что у келлий не было замков, и вымытая на реке одежда вешалась иноками для просушки на дворе и не только на день, но и на ночь, так как никто к ней не смел прикоснуться.