Прадед его Александр, или Саня, вышел из Литвы при Димитрии Ивановиче Донском и получил от него в отчину село Язвище в осьмнадцати верстах от Волоколамска. В этом-то селе 12 ноября 1440 г. и родился Иосиф и назван Иоанном. На осьмом году, будучи отдан для воспитания старцу Арсению в волоколамский Крестовоздвиженский монастырь, Иоанн весьма скоро не только обучился грамоте и письму, но и почувствовал в себе влечение к благочестивой жизни и часто посещал церковь, где читал и пел. Чрез несколько времени он поступил в другую волоколамскую обитель – Пречистой Богородицы на Возмище и как самый ревностный послушник прожил в ней до двадцатилетнего возраста, приготовляясь к иночеству. Оттуда, чтобы найти себе надежного руководителя, отправился он к знаменитому тогда подвижнику Варсонофию, жившему в пустыне близ Саввина тверского монастыря. Варсонофий дал юноше совет – идти в Боровск к преподобному Пафнутию. Прозорливый старец с любовию принял прибывшего и постриг его (13 февраля 1460 г.), назвав его Иосифом. С величайшею ревностию и терпением проходил молодой инок одно за другим тяжкие послушания: в поварне, хлебопекарне, при больнице. Потом, как уже испытанного, взял его Пафнутий к себе в келью под свое непосредственное руководство, а в церкви сделал екклесиархом. Достойно замечания то, что, сделавшись иноком сам, Иосиф вскоре убедил и родителей своих последовать его примеру: отец его Иоанн, больной и расслабленный руками и ногами, принял пострижение в Пафнутиевом монастыре с именем Иоанникия, поселился в одной келье с сыном и в продолжение 15 лет до самой своей смерти пользовался его услугами, а мать, Марина, постриглась под именем Марии в волоколамской женской обители святого Власия и прожила еще тридцать лет в строгом подвижничестве. За родителем поступили в Пафнутиев монастырь и братья Иосифа – Вассиан и Акакий, из которых первый был впоследствии архиепископом Ростовским (1506–1516), а последний – епископом Тверским (1525–1546). Когда преподобный Пафнутий приближался к могиле и братия просили его назначить себе преемника, старец прямо указал им на Иосифа, который уже семнадцать лет трудился в обители и превосходил всех своим разумом, добродетелями и другими совершенствами, а Иосифу завещал, чтобы он не поддержал только, а улучшил в монастыре некоторые обычаи. Ревнуя исполнить эту священную волю своего наставника, Иосиф, посвященный в сан пресвитера и игумена митрополитом Геронтием (1477), немедленно думал ввести в своей обители самое строгое общежитие, которое дотоле не вполне в ней соблюдалось. Но, встретив несогласие со стороны старцев, за исключением семерых, он, едва прошел год его игуменства, решился оставить свой монастырь, облекся в худые, нищенские одежды и в качестве послушника – ученика одного из единомысленных ему старцев, Герасима Черного, – отправился обозреть и изучить устройство других общежительных монастырей. Протекло около года в таком путешествии, и Иосиф, которому более всех монастырей понравился Кирилло-Белозерский по своему строгому общежитию, возвратился домой еще с сильнейшим желанием ввести у себя такое же общежитие. Но как и теперь в среде братии он не нашел себе сочувствия, то признал за лучшее оставить навсегда Пафнутиев монастырь и удалился с семью преданными ему иноками (в том числе были и его братья) на свою родину, в пределы Волоколамска.
В Волоколамске княжил тогда родной брат великого князя Иоанна III Борис Васильевич. Он с любовию принял Иосифа, подарил ему избранное им место для обители в 13 верстах от города и сам исходатайствовал благословение епархиального владыки Новгородского на построение здесь деревянной церкви, которая 6 июля 1479 г. и была заложена, а 15 августа уже освящена в честь Успения Божией Матери. На первых порах новая обитель терпела нужду. Но скоро нашлись благотворители. Местный князь и княгиня со своими детьми, сам великий князь и его супруга, Новгородский владыка Геннадий и некоторые другие богатые люди наделяли обитель кто деньгами, кто селами, землями и угодьями. Скоро также начала и населяться она частию иноками, переходившими сюда из Пафнутиева монастыря, а более мирянами всякого звания, искавшими здесь пострижения. В числе последних немало было бояр, детей боярских и торговых людей, которые при поступлении своем в обитель жертвовали на нее не только по двадцати, тридцати и пятидесяти рублей, но и по сту, и по двести и тем увеличивали средства для ее благоустроения.