Иван Яковлевич появился на свет приблизительно в 1780 году (отдельные источники называют иную, причем конкретную дату — 8 (21) сентября 1783 года) в Смоленской губернии, в одном из тамошних сел, став третьим сыном в семействе Якова Корейши, который отказался от дворянского звания, чтобы стать священником.
С детского возраста Ивана Яковлевича отличали кротость натуры и пытливость. Десяти лет от роду природная одаренность позволила ему стать сразу второклассником уездного училища, из которого в 1796 году его перевели в духовную семинарию Смоленска. В бытность учащимся семинарии, до 1803 года, Корейша постоянно показывал хорошую успеваемость, особенное же старание он проявлял в занятиях по богословию и толкованию Священного Писания, в изучении греческого языка и латыни. Честность, прилежание и незлобивость характера обеспечили ему любовь наставников и товарищей, однако, предпочитая с юности одиночество и будучи замкнутым, он ни с кем из соучеников так и не сдружился. Иван Яковлевич предпочитал вместо участия в мальчишеских развлечениях уединиться и провести время за чтением трудов Отцов Церкви, снискав себе этим прозвание анахорета. Некоторые источники сообщают, что после семилетнего пребывания в семинарии и получения аттестата Иван Яковлевич продолжил обучение в духовной академии. Однако большинство биографов утверждают, не указывая причин этого решения, что выпускник Смоленской семинарии Корейша Иван Яковлевич священнический сан принимать не пожелал, предпочтя работу учителем то ли в самой семинарии, то ли в училище города Поречье.
На преподавательском поприще он подвизался всего несколько лет, видимо, не находя никакого интереса ни в общении с детьми, ни собственно в их просветительстве. Духовная деятельность занимала его все более, и 7 мая 1806 года, движимый одному ему ведомыми соображениями, Иван Яковлевич замолчал на середине урока, захлопнул книгу и покинул классное помещение. Пораженные дети бросились к окну: их учитель, миновав двор школы, вышел за ограду и скрылся из виду.
Так Иван Яковлевич, не сказав никому прощального слова, не взяв с собой никаких вещей, в чем был и без денег, начал свой паломнический путь по святым местам, который сначала привел его в монастырь на Соловках. Строгость и уединенность жизни монахов в окружении первозданной природы пришлась ему по душе настолько, что Иван Яковлевич принял решение задержаться и пожить иноком. В Соловецкой обители он оставался до июня 1807 года, а потом отправился в Киево-Печерскую лавру. Побывав там и помолившись, он двинулся в обратный путь домой, но возле Могилева его настигла тяжелая болезнь, и в течение полутора месяцев организм Корейши боролся с горячкой, балансируя от жизни к смерти. Когда же наступило облегчение, Иван Яковлевич дал обет пойти в Тверскую губернию на богомолье в Нило-Столбенскую пустынь. И как только оправился от болезни, без промедления туда и направился.
В пустыни, добравшись до нее 16 сентября 1808 года, он снова заболел, Ивану Яковлевичу было плохо так, что его не держали ноги, и он слезно просил богомольцев перенести его к мощам преподобного Нила. Те уважили его просьбу, и подле святых мощей Корейша чудесным образом исцелился. Хозяйке дома, которая пустила его на постой, он после этого сказал, что ныне его несли на руках и усадили в храме, а как минует пятьдесят три года, то понесут снова и уже в храме уложат. Как полагают биографы, это было первое пророческое предсказание Ивана Яковлевича Корейши относительно собственной кончины по прошествии 53 лет.
Испытывая благодарность за исцеление, Иван Яковлевич решил остаться и провести в обители три года, пожить там, соблюдая строжайший устав монастыря и трудясь подобно монахам.
После того, как поселился в Ниловой пустыни, Корейша стал очевидцем препирательства между членами монашеской общины, оно было связано с распределением пожертвований, получаемых монастырем. Игумен с братией ставили в вину казначею, который ведал распределением, присвоение общинных денег. В свою очередь казначей клятвенно утверждал, что он не виновен. Однако его словам не верили и грозили строгим наказанием. В это время, приняв сторону казначея, Иван Яковлевич неожиданно произнес: «Не на лица зряще судите, а праведен суд судите. И Андрея позовите!»