В одном из своих альбомов Иванов записывает для себя: «Когда я действую широкой душой, то есть всю массу моего сословия художников в себе сочиняю, вмещаю в себе ее со всеми раздорами каждого, согласив их в себе, отдавая каждому свое, то вот тут только чувствую наравне с великими людьми». Между тем согласия и дружбы среди художников было меньше всего. Иванов с горечью сравнивал это положение вещей в русской колонии с удельными междоусобицами.
Поводов для разногласий, споров и ссор было достаточно. Однажды архитектор Ефимов пытался присвоить себе картины покойного Сильвестра Щедрина: Иванов напал на него за мошенничество, но тот нашел поддержку у Брюллова. Другой случай произошел с пенсионером Гофманом; Брюллов не допускал его картину на выставку из-за ее невысокого качества, но Иванов взял его под защиту. Однажды Брюллов решил поиздеваться над бездарным пенсионером Михайлой Марковым и прямо бросил ему в лицо, что из него не выйдет художника; тот так разобиделся, что чуть не наложил на себя руки, — его утешителем выступил Иванов. И снова между двумя художниками легла тень.
Во всех этих происшествиях Иванов стремился быть защитником справедливости, но, видимо, слишком назойливо выставлял напоказ свою благородную роль. Фразы его вроде: «Я имею много друзей, но верен буду одной истине», или: «Я уже обрек себя умереть на пути к пользе отечеству» — должны были звучать для посторонних пустым хвастовством. Его предложение петербургскому начальству «описать все пороки и добродетели» римских пенсионеров могло быть сочтено за донос на товарищей. Брюллов не претендовал на столь высокую роль и был менее разборчив в выборе друзей. Он умел привлечь к себе сердце открытым характером, веселостью, общительностью, наконец, своими блистательными успехами. Можно представить, как встречались оба художника: Брюллов, окруженный свитой друзей и поклонников, уверенный в успехе, остроумный и веселый, — Иванов, обычно в одиночестве, угрюмо-сосредоточенный, тревожно-суетливый. В минуту откровенности Иванов готов был признаться, что в нем шевелилось по отношению к сопернику недоброе чувство зависти. Но он делал все для того, чтобы не дать ему над собою власти.
Перемогая свою неуклонно растущую неприязнь, Иванов собирался протянуть Брюллову руку примирения. Он приготовил черновик письма, но так и не отправил его Брюллову. «Ничего на свете не может быть важнее души человеческой, — писал он, — и тот, кто завладел душами всех, может называться блаженным». После этого лестного вступления Иванов не мог удержаться от нескольких горьких сентенций: «Вы служите примером, что нельзя вырваться в первый ряд из обыкновенных людей, как с ущербом некоторых моральных достоинств».
В первые годы своей римской жизни Иванову доставляло настоящую радость только общение с Лапченко. Жили они по соседству на улице папы Сикста, часто видались и, по выражению художника, «изливались тайнами сердец своих». В отношениях с Лапченко не было ни соперничества, ни творческих разногласий. В сущности, Лапченко в искусстве было не по силам тягаться с Ивановым. Но судьба свела их вместе, обстоятельства жизни на чужбине привязали друг к другу. С Лапченко не могло поссорить Иванова даже их общее увлечение.
Еще за десять лет до приезда в Рим Иванова и Лапченко один художник-дилетант сделал недалеко от Рима поразительное открытие. Проезжая через местечко Альбано, он заметил у колодца девушку несказанной красоты, с тонким профилем римской камеи, большими карими глазами и смоляно-черными косами. Заметив внимание к себе незнакомца, девушка быстро скрылась. Только после усиленных поисков было установлено, что звали ее Виттория Кальдони и что была она дочерью бедного местного винодела. Ей было тогда тринадцать лет. С большим трудом удалось уговорить мать Виттории, чтобы она с дочерью побывала в Риме и дала бы возможность сделать с красавицы портрет. Ее рисовали и лепили самые прославленные художники, жившие в то время в Риме. Родители отказались от платы за позирование и соглашались принять только подарки. Портрет Виттории был послан в Веймар старику Гёте. В 1830 году в Рим прибыл сын великого немецкого писателя. Он совершил паломничество в Альбано, чтобы повидать прославленную красавицу. Родители позволяли посторонним видеть ее лишь с условием, чтобы эти счастливцы не подавали вида, будто любуются ею. Всех поражало, что простая крестьянская девушка не робела в светском обществе, на шутки отвечала шутками и держалась с полным достоинством. Впоследствии Гоголь вдохновлялся Витторией, создавая в рассказе «Рим» образ Аннунциаты, которая своей ослепительной, как молния, красотой покорила сердце молодого римского дворянина. Припоминая, что слово «виттория» значит «победа», никто не удивлялся ее славе. В ученых трудах по эстетике, и в частности много позднее у Чернышевского, «девушка из Альбано» фигурирует как доказательство того, что действительность своей красотой превосходит искусство.