И все-таки его нежная, почти отеческая заботливость о русских художниках не прекращалась. В конце 1844 года он писал Серебрякову: «Я часто о вас думаю, и всегда, в заключение, вы кажетесь мне заключающим все свое лучшее, и, может быть, всю вашу карьеру. Вы заняты ласками неблагодарного света. Вы сделались даже неспособны понимать слова. Вам и вдумываться некогда. Таким образом, проходят ваши дни в пустых упражнениях, услужливостях, мелких поручениях, в результате коих — самая мелкая пустота в сердце. Проклинаю тот день, когда мне пришла мысль познакомить вас с Обуховым… Но научите меня, как бы вас разлюбить? Как бы разрушить в вас все качества русского, истребить любовь к успехам отечества?» Чувствуя постоянно крайний недостаток в средствах, он все-таки предлагает молодым художникам, Чмутову, Сорокину, приехать и жить у него — потому что надеется быть им полезен, поставить их на настоящую дорогу. Посмотрите также, с каким участием говорит он о художниках прежнего поколения, о живописце Кипренском, которого никто не оценяет, тогда как поклоняются бог знает каким пройдохам и пролазам, или о старике гравере Уткине, которого все позабыли.
А между тем, его собственные лишения и бедность были так велики, что казалось бы, ему только бы и думать, что о самом себе. «Ваш самый горестный день в жизни может равняться нашему отдыху», — пишет он однажды сестре в 1846 году. Он постоянно должен был упрашивать то Общество поощрения художников, то Жуковского, то кого-нибудь из влиятельных чиновников и дам, чтобы ему выхлопотали отсрочку пенсии, чтобы ему дали хоть какие-нибудь средства просуществовать в Риме до окончания его громадного, едва ли не беспримерного труда. Каково должно было быть такое унижение для этого гордого, для этого полного своего достоинства человека! «Вы знаете, — говорит он сестре в 1846 году, — что только тогда кой-как и можно иметь какую-нибудь свободу в обращении, когда об интересе нет помину. И потому мы с братом отказываем себе во всем, и маленькие деньги, в сравнении с нашим огромным предприятием, едва достают, чтобы не впасть в долги…» «Нищета Иванова, — писал один из его друзей, — была такова в последние годы его жизни, что он по суткам довольствовался стаканом кофе и черствой булкой или чашкой чечевицы, сваренной из экономии им самим в той самой студии, где работал, и на воде, за которою наш художник ходил сам к ближайшему фонтану. И, несмотря на эту нищету, Иванов никогда не поддался на советы друзей и доброжелателей, из которых одни торопили и понукали его скорей кончить большую картину его; другие уверяли, что ему легко было бы вытти из нужды, производя в промежутках свободного времени маленькие картинки для лотерей или для заказов. Он, как Иов, пораженный проказою, стонал от боли и, однакоже, не слушался друзей».