Но скоро его ожидала новая, ещё более тяжелая разлука. Через год, в 1848 г., когда ему было 11 лет, в их селении появилась холера, и первой жертвой этой страшной гостьи была его мать. Теперь мальчики Иван и Пётр оставались круглыми сиротами. На похоронах маленький Иван в сильной скорби воскликнул: «Царица Небесная, что же Ты делаешь? И сестрица ушла в монастырь, и матушку Ты у нас взяла!» Все присутствовавшие невольно заплакали, услышав излияние этого детского горя; а священник, тот самый протоиерей, провидевший в мальчике будущего избранника Божия, записал эти слова и время. После узнали, что жившая в монастыре его сестра Александра Ефимовна, ничего ещё не знавшая о смерти матери, в этот самый день и час очень тосковала, и в легком сне увидела, что по реке плывёт гроб с её матерью; — при этом она слышала те самые слова: «Царица Небесная, что же Ты делаешь…» и пр.
С той поры жизнь круглых сирот круто изменилась. Старший брат сделался хозяином; и хотя он был очень способный человек, но был подвержен большой слабости — пил вино. (О нём старец всегда отзывался хорошо, как о человеке честном и благородном, которого, по слабости характера, дурное общество довело до расстройства. У старца хранилось два его письма, которые он думал даже отдать в печать, как образец смиренного сознания и искреннего, глубокого раскаяния.)
Как только умерла мать, то Семён Ефимович очень скоро дом и всё родительское имущество спустил до нитки; и когда через год приехала из монастыря Александра Ефимовна, то ничего уже не нашла на родине. Родные упрашивали её остаться, чтобы воспитывать сирот; особенно Иван неутешно плакал и упрашивал сестру не оставлять его. «Бывало, — рассказывала она, — ухватятся они ручонками за мой пояс и горько плачут: «Сестрица, возьмите нас с собой в монастырь, — нам здесь не с кем жить!» Так сердце просто кровью обливается, глядя на них. Эти слова Ваня даже и во сне всё повторял».
Невыносимо тяжело было и самой Александре Ефимовне расставаться с ними, в особенности со своим любимцем; но она твёрдо решилась ради Бога жертвовать всем и идти своим путём, заботясь по возможности и в монастыре о своих маленьких братьях. Впоследствии этой скорби и непосильной заботы, она на всю жизнь потеряла здоровье; и хотя от мучительной болезни, постигшей её вскоре после возвращения в монастырь, она потом и исцелилась у Козелыцанской иконы Божией Матери, но навсегда осталась слабая, болезненная, с разбитыми нервами. Она после рассказывала, что в тот раз едва было не решилась взять с собой Ивана и поместить его в ближайший от Борисовки мужской монастырь, но помянутый протоиерей отклонил её от этого. Видно, Господу угодно было испытать верного раба Своего.
Старший брат оставил Ивана у себя, а младшего Петра взяла к себе замужняя сестра. Но вскоре Семён Ефимович принужден был сам идти в чужие люди, и потому брата он тоже определил на место. С той поры и начались для него мытарства горького сиротства. Много всего пришлось перевидать и перенести бедному ребёнку, привыкшему к нежным родительским ласкам. Тяжела и сурова была его доля, — всего пришлось испытать ему, — и холоду, и голоду, и побоев, и трудов непосильных.
Сначала старший брат поместил Ивана к своему знакомому трактирщику (владельцу кабака). Здесь бедный мальчик особенно тосковал. Брат часто приезжал к хозяину играть в карты и пить вино, и ребёнку приходилось всё делать одному, так как они с хозяином жили только вдвоём. Не вынеся такой жизни, Иван ушел от своего хозяина к брату, и тот, хотя и пожалел его, но вскоре опять поместил к армянину в г. Нахичевань. Там он тоже не долго оставался и был помещен в бакалейную лавку в Таганроге. Здесь ему приходилось ходить за пищей в квартиру хозяина на конец города. Однажды он шел с посудой в лавку и, сильно утомившись, присел отдохнуть и тут же заснул крепким сном. В это время с него сняли сапоги и унесли посуду, а затем полицейский забрал его в часть. Дома, конечно, тоже досталось от хозяина и за сапоги, и за обед…
От этого хозяина Иван тоже ушел и отправился пешком в Новочеркаск, к двоюродному брату, бывшему там диаконом. Шел он голодный, так как у него кроме двух-трёх сухарей ничего не было. Про это путешествие он сам рассказывал так: «Два дня я совсем ничего не ел, — просить как-то не умел, а люди сами не давали; так и смирялся не евши. Когда же пришел я в Новочеркаск, то разыскал ту церковь, в которой служил мой брат, и в ожидании, когда кончится обедня, сел на паперти. Тут мимо меня прошли две казачки с булками, и одна из них сказала: «Наверно, этот мальчик сирота и ничего не ел», — и дала мне булку. Уж как я ей обрадовался; и так она мне показалась вкусна, точно манна с неба».