Но не удалось Ивану Рильскому совсем укрыться от людей, и первыми место его пребывания обнаружили пастухи. Возвратившись домой, они рассказали родным и знакомым о подвигах пустынника, и весть эта Рильский монастырь быстро разнеслась по окрестностям.
Все спешили посмотреть на великого подвижника и принять от него благословение, а некоторые захотели и остаться с ним, чтобы тоже предаться подвижничеству, но старец отклонил их намерение.
Чтобы избежать славы человеческой, удалился он в глубь пустыни, где в одном из ущелий нашел очень высокий камень, взошел на него и с еще большим усердием предался молитвам. Терпя ночной холод и дневную жару, прожил Иван Рильский здесь 7 лет и 4 месяца. Слава о его подвигах достигла болгарского царя Петра, который повелел своим слугам во что бы то ни стало разыскать великого отшельника и не разыскавши — домой не возвращаться. Долго ходили они по Рильским горам, обошли там все пустынные места, но преподобного не отыскали и не знали, что делать им. Домой возвращаться не смели, а продолжать поиски от слабости уже не могли. Последний раз решили они попытать счастья и в скором времени нашли Ивана Рильского, поклонились ему и попросили у него благословения.
Предание рассказывает, что Иван Рильский не пожелал встретиться с царем, не принял от него драгоценности и золотые предметы, заявив, что для жизни среди природы они ему не нужны. Слава о преподобном и на этот раз разнеслась по всем окрестностям, и народ стал отовсюду стекаться к нему. Одни просили пустынника помолиться за них, другие ждали исцеления от недугов, немало нашлось и таких, кто захотел остаться с ним. Они и стали его первыми учениками-последователями, положившими начало монастырю.
Место, где жил Иван Рильский, было таким скалистым и неудобным, что лишь небольшое число иноков могло поселиться с ним. Но когда число их увеличилось, они нашли новое место для поселения, и через некоторое время дикая пустынная местность со своими высокими горами и неприступными ущельями и скалами превратилась в «место обительное» с могуществующей братией, во главе которой встал избранный ею игумен. Время от времени Иван Рильский приходил к ним, давал наставления, а потом вновь возвращался в свою пещеру. Монахи соорудили в ней храм, названный именем преподобного, в котором хранится и гроб его. Согласно устным преданиям, первоначально монастырь был построен в трех километрах от нынешнего его месторасположения. Первые насельники старались во всем подражать своему учителю, всячески соблюдая его иноческие законоположения, что благотворно сказывалось и на внешнем устройстве монастыря, хотя сначала он был невелик и все его здания были деревянными.
Достоверные данные о Рильском монастыре встречаются только с 1335 года, когда он находился во владении полунезависимого феодала Хреля. В этот год в целях обороны была возведена крепкая и мощная башня, которая должна была внушать страх врагам и покорность закрепощенному населению и в то же время украшать монастырь. Кроме защиты от неприятеля, башня должна была служить и удобным жилым помещением для феодала и его семьи. В первой половине XIV века в монастыре была возведена новая каменная церковь, а также обновлены и укреплены все здания.
Во второй половине XIV века на Балканский полуостров из Малой Азии двинулись турки, подвергая все на своем пути разграблению и опустошению. Благодаря тому, что монастырь стоял в стороне от дорог, по которым могли передвигаться турецкие войска, его положение было относительно безопасным. Но взятие турками в 1382 году Софии и битва на Коссовом поле осложнили положение монастыря, так как его связь с Тырновским царством была прервана. Монастырь вошел во владения кюстендилского феодала Константина, сделавшегося вассалом турецкого султана, что сильно встревожило братию. Через три года тогдашний игумен Дометиан приказал зарыть все монастырские ценности и древние рукописи в окрестностях. Тогда же был переписан и «Завет» Ивана Рильского, оригинал которого, спрятанный в неизвестном месте, не найден до сих пор.
Около 1395 (или 1396) года турки почти до основания разрушили и разорили монастырь: целыми остались только каменная церковь и Хрельова башня. Несколько десятилетий монастырь находился в запустении и скорее всего в нем никто не жил, так как на развалинах выросли деревья, из-за которых виднелись только церковь и башня.