Помимо церковного, Шмелеву с детства открылся мир балаганных сказок: амбары были завалены декорациями морей, китов, чудовищ, скелетов и прочего, что рождалось в головах художников с Хитрова рынка. Открылся ему и мир простонародный — плотников, бараночников, скорняков, сапожников, банщиков. Он рано услышал бойкую речь — тот народ, что стекался во двор, за словом в карман не лез. Шмелев вспоминал в «Автобиографии»:
«Здесь, во дворе, я увидел народ. Я здесь привык к нему и не боялся ни ругани, ни диких криков, ни лохматых голов, ни дюжих рук. Эти лохматые головы смотрели на меня очень любовно. Мозолистые руки давали мне с добродушным подмигиванием и рубанки, и пилу, и топорик, и молотки и учили, как „притрафляться“ к доскам, среди смолистого запаха стружек, я ел кислый хлеб, круто посоленный, головки лука и черные, из деревни привезенные лепешки. Здесь я слушал летними вечерами, после работы, рассказы о деревне, сказки и ждал балагурство. Дюжие руки ломовых таскали меня в конюшни к лошадям, сажали на изъеденные лошадиные спины, гладили ласково по голове. Здесь я узнал запах рабочего пота, дегтя, крепкой махорки. Здесь я впервые почувствовал тоску русской души в песне, которую пел рыжий маляр. „И-эх и темы-най лес… да эх и темы-най…“ Я любил украдкой забраться в обедающую артель, робко взять ложку, только что начисто вылизанную и вытертую большим корявым пальцем с сизо-желтым ногтем, и глотать обжигающие рот щи, крепко сдобренные перчиком. Многое повидал я на нашем дворе и веселого, и грустного. Я видел, как теряют на работе пальцы, как течет кровь из-под сорванных мозолей и ногтей, как натирают мертвецки пьяным уши, как бьются на стенках, как метким и острым словом поражают противника, как пишут письма в деревню и как их читают. Здесь я получил первое и важное знание жизни. Здесь я почувствовал любовь и уважение к этому народу, который все мог. Он сделал то, чего не могли делать такие, как я, как мои родные. Эти лохматые на моих глазах совершали много чудесного. Висели под крышей, ходили по карнизам, спускались под землю в колодезь, вырезали из досок фигуры, ковали лошадей брыкающихся, писали красками чудеса, пели песни и рассказывали дух захватывающие сказки».
Все так замечательно складывалось в его жизни, и все так его любили, а между тем уже в раннем детстве он узнал страх, потому что увидел страшное. Такое страшное, что жалость к человеку укоренилась в нем навсегда. Была Пасха 1877 года. Тогда началась Русско-турецкая война. Было солнечно и звонили колокола, маленький Иван гулял с няней и заметил, что у сарая столпились люди. Няня взяла его на руки, и он увидел чужих, они были безъязыкими, под лохмотьями старика он разглядел незатянувшуюся рану, сквозь которую проступала кость, у женщины вместо глаз были красные ямы. Тогда он узнал, что есть православные мученики, что царь начал войну с турками, чтобы турки не мучили христиан. Эти несчастные долго снились ему, и ужас вновь и вновь сковывал его сердечко. Второй раз панический страх овладел им в 1881 году: он услышал, что убили Александра II, что без царя всем грозит беда, что нигилисты всех будут резать.
Обучение наукам началось в частном пансионе сестер-француженок Верзес, располагавшемся недалеко от дома, на Полянском рынке. В одиннадцать лет Шмелев сказал «прощай» праздности вольной, его отдали в Первую гимназию, что у храма Христа Спасителя. Попасть туда оказалось делом нелегким, на шестьдесят вакантных мест было четыреста кандидатов. Приемный диктант по русскому языку он написал без ошибок, но на экзамене по арифметике сбивался и робел. Хлопотать за него принялась крестная, Елизавета Егоровна, его дальняя родственница, сама в девичестве Шмелева. Проучился он там всего три месяца, с августа по ноябрь. В 1913 году Шмелев вспоминал: «Меня подавили холод и сушь. Это самая тяжелая пора моей жизни — первые годы в гимназии. Тяжело говорить. Холодные сухие люди. Слезы. Много слез ночью и днем, много страха». Уже в детстве накопились обиды и страхи, все, что в зрелые годы обернулось страстностью, непримиримостью и даже мнительностью.