Труды и молитвы пустынников не были тщетны: милостью Божией и предстательством Пресвятой Богородицы и великих чудотворцев обитель расширилась и устроилась и слава о ней распространилась далеко за окрестные пределы. Братия стали умножаться, построены были келлии и особая черная изба для приготовления пищи и питья и для печения хлеба.
Из основателей монастыря старец Леонид скончался первый. Преподобный Адриан с братией погребли старца с честью и оплакали его в надгробных песнопениях.
По преставлении старца Леонида наступили тяжкие бедствия для пустынной обители. Окрестные поселяне, по внушению лукавого, задумали разорить пустыню, ограбить ее и погубить преподобного Адриана с братией.
В 1550 году 5 марта, в канун памяти 42-х мучеников Амморейских, со среды на четверг вооруженные злодеи белосельцы явились в монастырь, одни в доспехах с мечами, другие в саадаках (саадак — полный прибор вооружения луком и стрелами: лук с налучьем и стрелы с колчаном), прочие с копьями и рогатинами. Для них Христова Четыредесятница еще не достаточно исполнена была древними святыми мучениками в странах Цареградских, и Римских, и Севастийских, в Газе, Синае и Раифе и других местах. Но прежние мучители отвращали от Христа, а эти окаянные возмутились ради прибытка и приехали дополнять число Христовых мучеников в Русском царстве сими пустынниками. Разбойники стали избивать братию, стреляли, рубили и кололи копьями. Преподобный Адриан скрылся от убийц в задний дровяник, но окаянные мучители отыскали его там под дровяником, оцепили игумена веревкой за горло и, притащивши в переднюю келлию, подвергли ужасным пыткам: царапали бритвами и прижигали огнем, допрашивая, где находятся у них «животы и статки» — где их имущество и деньги. Преподобный Адриан отвечал: «Животы наши у Всемилостивого Спаса на небесах, а статки наши на земле; ослабьте немного муки мои, я их достану и отдам вам в руки». Мучители пустили нагого страдальца. Преподобный, встав, достал горшочек, в котором было сорок рублей, подал мучителям и сказал: «На эти статки, на это серебро я и братия намеревались было создать большую церковь во имя Пречистой Богородицы». Мучители сказали: «Мы сейчас создадим тебе собственной силой!» Преподобный отвечал: «Горька мне ваша церковь и тошно мне создание ваше; прискорбна душа моя при смерти! Вот серебро, создание наше, и жизнь моя в руках ваших; статки наши вне моей келлии, а кругом много иноков. Отпустите меня ради Бога, братья мои, чернечествовать в Корнилиев монастырь, и я ни в каком случае не вернусь сюда, а спасу душу свою там, у отца своего Корнилия!» Мучители сказали: «Мы воздадим тебе шлем спасения и пошлем тебя к Царю Небесному!» Презревши мольбу старца, схватили его и вторично оцепили за шею. Преподобномученик сказал: «Как агнец ведусь на заколение, как овца безгласная в руках своих сторожей отверзаю уста свои!»
Потом мученик Адриан стал молиться: «Господи Боже мой! Прости прегрешения этим людям, ибо не ведают, что творят. Прими дух мой с миром, не помяни беззаконий моих, сделанных пред Тобою. Не презри моления моего, Пречистая Богородица, и родины моей, города Ростова! Отцы мои духовные и братия, сопостники и духовные дети мои, и великие сородичи, простите меня Бога ради и благословите: уже иду к судищу Христову и более не свижусь с вами на свете сем, по слову Господню: земля еси и в землю пойдеши».
После сего злодеи вытащили его веревкой вон из келлии и придавили полозьями саней. Тут мученик Адриан испустил дух свой.
Злодеи тогда приступили к грабежу. Перевязали всю братию и послушников и побросали в подполья, чтобы никто не мог подать вести в соседние села, и поставили вокруг обители и конюшни сторожей (коровьего двора не существовало). Грабители не пощадили и церкви Божией: выломали дверь и Царскими вратами вошли в алтарь и там за престолом нашли трех учеников преподобного, вытащили их вон из церкви в трапезу и начали мучить и спутывать, как козлов, так что кости их хрустели. Тут был убит старец Давид.
Разбойники разграбили все имущество обители: мед и воск, книги и масло, ларцы и платье, посуду и все прочее, что было строителями собрано. Захватили лошадей и навалили воза. Наконец и тело преподобномученика Адриана игумена бросили в сани и вывезли из обители. Куда разбойники дели тело мученика, тогда никто не знал.
Разбойники, вернувшись домой, радовались своему успеху и стали делить свою богатую добычу. Один из разбойников утаил от своих товарищей ларец, надеясь найти в нем много золота и серебра. Открывши ларец, разбойник увидел в нем несколько святых икон, а также краски, кисти и другие принадлежности иконного письма. Разбойник испугался, нашедши такие непонятные для него вещи.