Никто его не толкал под бок, никто его не заставлял, и тут не действовали ничьи понукания, — ни отцовские, ни академические. Он сам чувствовал потребность учиться и образовываться, и прежде всего горько жалел, что его не учили иностранным языкам, о которых у нас никто из художников никогда и не помышлял (на что им?); он сам искал книг и людей, которые могли помочь его пытливому, жадному на знанье, любопытствующему уму. Еще юношей и в такое время, когда из всех его товарищей ни один не развертывал ни единой книги, кроме разве что плохих романов, Иванов заводит дружбу с пейзажистом Рабусом, немцем, и потому несколько более других читавшим и знающим. Он беседует с ним, совещается, переписывается, заказывает ему переводы из известных в то время лучших немецких критических и исторических сочинений по части художеств; в Риме сближается с образованнейшими немецкими художниками, и, пока остальные русские художники гуляют и бражничают в свободное от работы в мастерской время, он ходит по библиотекам, покупает книги, иногда дорогие (несмотря на свое безденежье), и читает все, что только ему доступно, — и это не только специально для той или этой своей картины, а вообще потому, что он любознателен и ни за что не хочет оставаться, как другие, неотесанным неучем.
Впоследствии, когда подрос его брат Сергей, Александр Иванов, найдя в нем, кроме талантливости еще и ум и такую же, как в самом себе, способность и наклонность к образованию, перенес на него все те попечения, которые постоянно прилагал к самому себе. «Пожалуйста, вы скажите Сереже, — пишет он отцу в 1838 году, — чтобы он непременно выбрал одно из двух художеств: живопись или архитектуру, и поступите в сем случае строго и силою, иначе мы пропали: ни тому, ни другому он не научится, будет в обоих дрянным и — что хуже всего — не будет в чужих краях, а надобно непременно, чтобы он сменил меня здесь, и именно так, чтобы в Риме мы вместе могли прожить целый год: я его со всем познакомлю и дам порядочное направление». «Любезный брат, — пишет он в 1841 году, — ты меня радуешь и утешаешь своими успехами. Дай бог тебе здоровья и ума для его сохранения. Этого только я тебе и желаю. Остальное все придет само собой при твоих стараниях, хотя подчас и тяжких… Твои письма более и более прекрасны. Но тебе бы не худо быть терпеливее, не огорчаться, не отчаиваться при встрече неприятностей и не ласкать себя моей будущностью. Три вещи нам нужны: совестливость труда, строгая нравственность и настойчивость, — эти дары мы уже более или менее имеем и, следовательно, должны быть довольны нашим настоящим положением». Кто из наших художников заботился в это время о чем-нибудь подобном?
В 1845 и 1846 годах Иванов советует брату своему заняться в Париже математическими курсами, вообще учиться в Политехнической школе, а потом еще он ему пишет: «У меня сердце забилось, когда увидел из письма батюшки, что ты уже за границей. Взял ли ты с собой достаточно денег, чтобы путешествовать не впопыхах и не как попало, а зачерчивая все замечательности по твоей части, закупая гравюры прямо архитектурные? Ты очень мало был в Берлине и Дрездене, видел их мельком. Это нехорошо. Если деньги позволяют, то приближайся к свиданию со мной как можно медленнее: меня не застанешь в Риме. До самого первого октября я за городом работаю; тебе загородная римская жизнь совсем не нужна. Чем более городов увидишь, тем лучше; чем спокойнее и медленнее будешь смотреть на памятники, тем более красот в них сыщешь и более они останутся в памяти. Смотри и зачерчивай… Ты, пожалуйста, о моих делах совсем не думай, а позаботься об исполнении твоего путешествия сколько можно лучше, т. е. везде, где будешь, все основательно заметь, зачерти, прочитай об этом. А там, когда будешь в Риме, то тогда и поговорим о моих делах основательно и пространно». В октябре он уже пишет так: «Любезный брат! Не сердись на меня и не тревожься последним письмом: ты частью тут виноват, потому что написал мне очень невыгодно о твоих видах, а я, привыкнув видеть в молодых пенсионерах гуляк и пьяниц, принял на тот раз н тебя в ту же область. Но теперь я вижу, что ты совершенно похож на прошедшего меня… Все, что после XVI столетия делалось в свете, едва знают по слуху, здесь, в Риме, и, следовательно, ни эстампов для архитектора, ни книг, ни материалов — ничего нет, все дрянь — все вези из Парижа».