Но вот настали для блаженного Авраамия искушения, преимущественно от своей братии. Смотря с завистью на то, что познания и красноречие его привлекали к нему многих, как иноков, так и мирян, некоторые стали выдумывать разную клевету на преподобного и наносили ему разные огорчения; пять лет терпел он все неприятности, не преставая наставлять приходивших к нему. Наконец, восстал против него и игумен. Блаженный уступил место вражде и оставил обитель.
Изгнанный праведник перешел в город и стал жить в бедном монастыре Св. Креста. Здесь еще более народ стал стекаться к Авраамию. Многие приносили ему пожертвования, которые употреблял он в пользу монастыря и храма, или же раздавал нищим; он украсил храм Божий иконами, завесами, свечами. Сам он написал две иконы: на одной изобразил страшный суд, на другой мытарства. На этих иконах он часто останавливал внимание свое и других, возбуждая к покаянию.
Он проводил такую строгую жизнь, что от поста и трудов был крайне сух и бледен. Вина он совсем не вкушал и воду пил в меру, не любил дорогих одежд, а одевался в худые. Совершая сам с благоговением литургию, он не терпел того, чтобы предстоявшие разговаривали во время литургии, и строго внушал стоять в храме со страхом Божиим. Он усердно предлагал наставления, в храме и в келье. «Уста его не умолкали для великих и малых людей, для рабов и свободных, для ремесленников и других, приходивших то на церковное пение, то для бесед… Когда облекался он в священнические одежды, то походил на великого Василия, украшенный такою же черною брадою, но с главою безвласою».
На Авраамия поднялось городское духовенство, огорчавшееся тем, что он привлекал к себе множество духовных чад. Начали распускать слухи, что Авраамий, то еретик, — читает «голубиные книги», то живет нечисто, прикрывая темные дела наружной святостью; наконец, подняли такое волнение в городе, что знать городская явилась к епископу Игнатию, и просила подвергнуть Авраамия суду. Злость против Авраамия до того была велика, что иные требовали сжечь его на костре; другие настаивали, чтобы Авраамия водить по улицам с побоями и потом бросить в воду.
Посланы были слуги привести Авраамия на суд. Авраамий стоял на молитве, они схватили его и двух учеников его и потащили с бесчестьем и бранью к епископу. Один благочестивый инок, Лука Прусин, старался образумить притеснителей праведника. Но его не слушали. На суде епископа, совершавшемся в присутствии князя и вельмож, все обвинения оказались клеветой. Но духовенство требовало осуждения. Князь и вельможи говорили, что не видят они вины в Аврааме; епископ, для общего покоя, повелел Авраамию удалиться в Богородичный монастырь, запретив ему беседовать с людьми и совершать священнослужение.
Благочестивый смоленский священник Лазарь, тот самый, который после Игнатия был епископом, пришел к епископу Игнатию и сказал: «Город строго будет наказан, если не раскается в своей несправедливости против Авраамия». И точно, скоро наступила страшная засуха в стране Смоленской. Напрасно совершались молебствия о дожде с крестным ходом вокруг города, — дождя не было. Блаженный Игнатий чувствовал, что он оказал слабость, сделав уступку проискам злобы. Он послал сказать врагам Авраамия, чтобы пришли в себя и перестали поносить Авраамия. По их милости он находился под такой строгой опалой, что мечники стерегли на дорогах и не пускали никого к нему, а иных и грабили. Один благоговейный священник, явившись к епископу, сказал: «Мы молились Богу, и не были услышаны — не от того ли это, что невинному Авраамию запрещено священнодействовать?» Тогда епископ, призвав к себе Авраамия, разрешил ему священнослужение, просил у него прощения себе и городу и молитв его о дожде. Угодник Божий с глубоким смирением называл себя грешником, недостойным милости Божией, но обязанным исполнить волю святителя. Возвращаясь в обитель, дорогой молился он в душе о дожде, и еще не дошел до обители, как сильный дождь напоил жаждущую землю. Все увидели в этом силу молитв праведника, все признали невинность Авраамия и стали высоко уважать его.