Уже в 1833 году он пишет отцу про воспитание младшего брата своего Сергея: «Если насчет вспомоществования его воспитанию и там и тут навсегда уже упущено, или не могло быть, то, уже делать нечего, отдайте его в Академию. Генеральное приготовление в науках я желал бы дать ему гораздо большее, нежели в нашей Академии… С прискорбною душою соглашаюсь, чтобы юноша поступил в хаос бестолковых метод наук в нашей Академии художеств, а письмо сие да будет ему в памятник, что нужда и крайность делают». «Академия, — пишет он ему же в 1835 году, — со всем своим причтом ужасает меня при одном воспоминании», и еще: «Состояние русской семьи в Риме мне меньше всего известно, ибо, наскучив однообразными воспоминаниями и разборами о подлом воспитании, которое получили все мы в Академии, следствием коего укрепилась в нас, вместо деятельности к учению и наблюдению природы, природная свара и разгульная жизнь, я совершенно оставил русских, которых люблю до самоотвержения». В 1836 году он пишет отцу. «Академия художеств есть вещь прошедшего столетия, ее основали уставшие изобретать итальянцы. Они хотели этой мыслью воздвигнуть опять художество на степень высокую, но не создали ни одного гения о сю пору. Если живописец привел в некоторый восторг часть публики, расположенной понимать его, то вот уж он, по моему мнению, достиг всего, что доступно художнику. Купеческие расчеты никогда не подвинут вперед художества, а в шитом, высоко стоящем воротнике тоже нельзя ничего сделать, кроме стоять вытянувшись». В 1839 году он пишет опять отцу: «Неудачный выбор Серебрякова: скопировать с самого неудачного произведения Гверчино, кажется, не имел и у вас счастливого успеха, несмотря на то, что Академии нашей нравится болонская школа, что Шебуев часто в Гверчины напрашивался в своих произведениях». Брату Иванов пишет в 1846 году: «Справься в парижском посольстве нашем (насчет посланных денег) и пожалуйста не надейся на сонную Академию. Знаменитый ленью Григорович пока напишет, пока доложит, пока проснется, ты можешь четыре раза умереть с голоду, а что еще хуже — остановить свои успехи». Племяннице он пишет в 1849 году по поводу маленького наследства, оставшегося после отца: «Дело, вы сами видите, как завязло. Мы просим Академию нам тут помочь, но старозаветные люди деятельны казнить и опустошать и не способны споспешествовать успехам других». Наконец, одному неизвестному Иванов писал в марте 1858 года, что новые вопросы и требования, обращаемые теперь повсюду в Европе к искусству, ясно доказывают, что «живопись должна процвести в самую высокую и последнюю степень — залог, лестный для нас, в особенности, русских, не выступавших еще на поприще и прозябавших покамест в оранжерее европейской нашей Академии».
Зная такое отношение Иванова к нашей Академии, да и вообще ко всем академиям, легко понимаешь, что он не мог смотреть на звание академика и профессора иначе, как он смотрел. Когда за его картину «Явление Христа Магдалине», Академия возвела его в академики, он писал отцу своему, в октябре 1836 года: «Как жаль, что меня сделали академиком! Мое намерение было никогда никакого не иметь чина. Но, что делать, отказаться от удостоения — значит оби деть удостоивших. Однакоже я, может быть, попробую об этом намекнуть Григоровичу».
Приехав в Италию, Иванов ничуть не растерялся от нахлынувших на него впечатлений и массы в первый раз увиденных художников и картин. Не взирая ни на какие общепризнанные знаменитости, он смелыми глазами всматривался в то, что являлось перед ним, и решал, для самого себя, лишь на основании собственной мысли. Так, например, он, вопреки общему тогдашнему мнению, просто и прямо остановился на том, что стиль знаменитых французских живописцев: Давида, Жерара, Жироде и других — стиль гипсовый, что «картон Камуччини, натурально, должен нравиться Академии, ибо в нем все то помещено, чему учит Академия; но вынесите из четырех стен приготовительной сей школы и спросите у просвещенных и расположенных к изящному людей, какое он на них делает впечатление — ледовитая правильность рисунка, казенное направление складок, совершенное отсутствие выражения в головах — никакого не сделают впечатления. Весьма натурально, что Овербека у нас не поймут: люди, стареющиеся и учащиеся здесь по десяти лет, по большей части его не понимают, как же вы хотите, чтобы кто и не выезжал и не вникал ни во что глубоко, мог что-нибудь о нем сказать, кроме дерзости и нахальства?» Знаменитая Венера Кановы во Флоренции казалась ему только суха и манерна; про еще более знаменитого Гверчино он писал: «Не понимаю, за что его ставят на одну доску с великими мастерами: его картины суть только этюды с натуры, по большей части самой грубой, писанные с большой практикой; колорит и сочинение доказывают самое ограниченное его образование и вовсе не утонченные чувства». Про других еще знаменитых художников он писал: «Картины Пармеджианино (в Болонье) из-под заплесневших тонов ничего мне порядочного не представляют…» «Карраччи силится быть и Корреджием, и Тицианом, и каким-то Рафаэло-Бронзино-Микель-Анджело, и каким-то прескучно темным. О, подражатели! лучше бы было, если б их мастера оставались при собственной — болоньезской школе»; наконец, про живопись Корреджио в пармских куполах, пользующихся всемирною славою: «Эти купола весьма скучны, раккурсы неприятны, не изящны».