Не ожидавший, что придется отвечать на прямой вопрос про деньги, иеродиакон Андрей сознался в краже и принес покаяние братии, и настоятель в качестве наказания наложил на него епитимию. После этого случая монастырское начальство и монахи стали уважительно и благожелательно относиться к Ивану Яковлевичу. Братия даже убеждала его остаться в пустыни, когда навестившая Корейшу родная сестра Параскева упросила его отправиться домой. Однако Иван Яковлевич оставил Нилову пустынь и вернулся в Смоленск.
Там, поскольку ему не на что было жить, Корейша был вынужден снова начать преподавать в школе, но эта работа его обременяла несказанно, особенно непоседливость детей. И он прекратил учительствовать, теперь уже навечно, и поселился в оставленной без употребления бане на огородах. Это обеспечило ему пропитание и уединение, и привыкшего к спартанскому существованию Ивана Яковлевича это полностью удовлетворяло. Помимо того, что горячо молился, он еще пел псалмы, чаще прочего — стихотворное переложение Ломоносовым четырнадцатого псалма Давида: «Господи, кто обитает //В светлом доме выше звезд, // Кто с Тобою населяет // Верьх священных горних мест?..» — а также духовные песни, которые сам же и сочинял.
Можно было бы предположить, что Корейша наконец обрел желанный покой, к чему он давно стремился. Но это было не так. Добровольное отшельничество его возбудило интерес к нему среди жителей Смоленска, слухи про его необычный поступок множились с каждым днем, и вскоре, признав в нем юродивого, к Ивану Яковлевичу потек народ: одни приходили за напутствием духовным, другие хотели узнать, что им сулит будущее, а третьими двигало праздное любопытство. В первое время «паломничества» он с великим терпением выслушивал всех приходивших, пытался их наставлять, что-то советовать. Но вскоре его взяла досада: людей интересовали такие вещи, как то: куда подевалось кольцо, кто уворовал свинью, куда забрела корова, кого из двух сватавшихся к дочке на выданье молодых людей предпочесть и тому подобное — одним словом, земное и суетное, а Корейшу заботило духовное. В конец отчаявшись, он сделал на низкой притолоке снаружи надпись про то, что входящих больше не станет принимать к себе, а тех лишь будет пускать, кто к нему на четвереньках удосужится вползать. Надежда его на то, что это людей остановит, оказалась напрасной: те, кто хотел узнать у явившегося недавно провидца, что им уготовила судьба, или спросить совета в каком-либо деле, покорно опускались на четвереньки и вползали в баню, и численность таких людей не уменьшалась нисколько.
И тогда-то, как говорят, смоленский отшельник принялся на глазах у всех вести себя страннее некуда: он палкой рылся в земле с безумными выкриками про какую-то покражу, иные ненормальности вытворял. По всей видимости, стремившийся жить в одиночестве, не общаясь ни с кем, Иван Яковлевич повел себя так в попытке изобразить сумасшествие с тем, чтобы вызвать у них отторжение, нагнать страху на опостылевших просителей, которым требовались предсказания бытового уровня, а вовсе не духовное наставление. Однако притворное безумство не уменьшило число «паломников», и в конце концов Корейша в ночное время оставил свое пристанище и удалился в густой лес и там соорудил для себя шалаш. Круглый год на нем из одежды была только белая рубаха из холста, он спал на земле, даже в сильный мороз был босой. Что до пропитания, Иван Яковлевич обходился преимущественно хлебом.
Он со всем тщанием скрывал место, где устроил себе жилище, даже на глаза лесорубам старался не попадаться. В селах же и деревнях появлялся лишь в тех случаях, когда опасная болезнь угрожала жизни кого-то из местных жителей. Он приходил самовольно, никто ему ничего не сообщал. Безошибочно входил в дом, в котором обосновалась болезнь, глядел на страждущего и произносил свое заключение: или больной оправится, или пора звать священника для соборования. Существующие предания говорят, что предсказания его всегда сбывались. Разумеется, через некоторое время при появлении блаженного прозорливца деревенскими жителями овладевали смешанные чувства: они испытывали любопытство, глубокое почтение и ужас одновременно.
Между тем пришла зима 1811 года. Встречая его иногда, селяне в тулупах говорили Ивану Яковлевичу, что для морозной поры он неподходяще, слишком легко одет. На это отшельник отвечал туманно, что, мол, подождите годик, будет и жарко, и мерзнуть станете.