Вначале Иван окончил сельскую трёхклассную школу — церковно–приходскую. Школа та находилась в четырёх верстах от Лодейно в деревне Яковлевская Гора. В школу ходил вместе с дядюшкой Григорием. Так и росли вместе. Соседи, глядя на них, с улыбкой говорили: дядя с племенником, как чёрт с мельником… В классе Иван оказался недоростком, на год моложе своих однокашников. Учителем в сельской школе был, как вспоминал Конев, человек уже пожилой, прекрасный педагог, любивший своё дело и особенно один предмет — чтение. Вот на чтение Иван сразу и нажал. Тем более что учитель, почувствовав страсть мальчика к военной истории, начал приносить ему книги из своей библиотеки, так как школьную Иван Конев, освоив грамоту, перечитал довольно быстро.
«После первого класса, — как писал Борис Полевой в своей книге «Полководец», — соседи уже заставляли его читать письма, а то и старые газеты, которые завозил в глушь из города какой–нибудь подводчик».
Церковно–приходскую школу Иван окончил успешно в 1906 году. При выпуске ему вручили похвальный лист. А учитель от своего имени присовокупил к тому листу прекрасное издание комедии «Ревизор» Николая Васильевича Гоголя с очень значительной надписью: «За выдающиеся успехи и примерное поведение».
— Учись, учись, Ваня, — напутствовал учитель лучшего своего воспитанника. — Образованный человек сможет больше послужить своему Отечеству. А что может быть выше служения своему народу?
Кто знает, возможно, именно эта надпись, сделанная старым приходским учителем, и его напутственные слова разбудили в мальчике то здоровое честолюбие, которое и повлекло его к дальнейшей учёбе и стараниям как можно лучше исполнять то дело, которое поручено и на которое наставила судьба и детская мечта.
Следующей ступенью в учении было Пушемско — Никольское четырёхклассное земское училище. Находилось оно в селе Щёткине, в десяти верстах от Лодейно. «Десять вёрст пешком отмахать зимой туда и обратно — не шутка, — вспоминал Конев. — Но тяга к учению была сильная». Вскоре при училище был открыт приют, и Ивана, хорошо успевающего по всем предметам, сразу же приняли на полное обеспечение. Учителем в земском училище был либерал, толстовец, страстный любитель литературы Илья Михайлович. В Щёткине при выпуске, который состоялся в 1910 году, Иван был отмечен похвальным листом. «Сейчас вот вспоминаю моих учителей, — рассказывал маршал в 1945 году Борису Полевому, — и сельского кузнеца, и ветерана Алёшку–турка, всех вспоминаю с большой благодарностью. Общение с такими людьми обогащает душу, а это ох как надо было в те глухие времена!»
Конев вспоминал о своей привязанности к кузнечному делу. Жил в Лодейном кузнец Алёша Артамонов. Человек мастеровой. Что угодно мог выковать из бесформенной заготовки. Известное дело, в деревне кузнец да конюх — первые люди. Одно время подался Алёша в Ярославль, устроился там на завод. На курсах выучился грамоте. Пристрастился к чтению. Больше всего Алёша любил читать исторические романы, былины. Хотя почитывал и разные брошюрки о текущей, как говорится, жизни. Однажды одну из таких брошюрок в его вещах обнаружили полицейские, и Алёша был выслан из губернского города по месту жительства «по причине неблагонадёжности». Алёша вернулся в родное Лодейно, открыл кузню. Дела его шли неплохо. Семью кормил. И по–прежнему в свободные вечера читал исторические романы. Некоторые из них знал почти наизусть. Вот почему деревенская ребятня, кроме того, что в кузне можно было постучать молотком по мягкому раскалённому металлу, так и крутилась вокруг кузнеца. Ошинует Алёша колесо, загонит на место новые втулки, отправит в путь очередного подводчика, сядет на лавке у горна, прикурит от раскалённой заготовки и начинает очередную свою сказку. О походах князя Олега в греческую землю, о Петре Великом, об Иване Грозном, о Суворове и адмирале Нахимове, о находчивом и неунывающем русском солдате, которому сам чёрт не брат и который может и суп сварить из топора, и выйти из самого безвыходного положения героем, и всегда весел и счастлив! Как вспоминал Конев, самого положительного мнения из всех российских правителей Алёша–кузнец был о Петре Великом. Потому, что тот, кроме всего прочего, чем обязан заниматься царь, был добрым кузнецом, что заботился о могуществе России, и в первую очередь об армии и флоте.