Тот, кто находит Общество «благодетелей» таким, каким тут оно описано, конечно, наверное не мог быть его всепокорнейшим слугой.
Но более того. Не только родным и Обществу, но и самым дорогим, самым избранным душою людям Иванов не давал завладевать собою и постоянно был настороже самой полной своей интеллектуальной, творческой и душевной независимости. Кажется, никого во всю жизнь он больше не уважал и не ценил, как Гоголя. Едва с ним познакомившись, он пишет про него в 1841 году своему отцу, что это «человек необыкновенный, имеющий высокий ум и верный взгляд на искусство. Как поэт, он проникает глубоко чувства человеческие, он изучил и наблюдал их, словом — человек самый интереснейший, какой только может представиться для знакомства. Ко всему этому он имеет доброе сердце». В других письмах он говорит, что относится к нему и его сочинениям «с благоговением», что «смотрел на него всегда с глубочайшим уважением, верил и покорствовал ему во всем», называет его «наш общий друг и учитель» и, несмотря на все это, все-таки не дает ему ни на один вершок ворваться в свой внутренний мир и распоряжаться там по-свойски (что Гоголь так любил и практиковал всегда со всеми своими знакомыми). Однажды, в 1847 году, Иванов пишет Гоголю: «Получил я письмо ваше от графини Толстой, но так как письма ваши из Неаполя превышали все неприятности, какие мне случилось претерпеть эту зиму, то я решился оставить это ваше письмо не распечатанным, дабы не пострадать снова». Скоро потом он снова ему пишет: «Вы не знаете подробностей моего положения, следовательно, строго говоря, нельзя мне вас винить, и потому пока, как есть дело, я прошу у вас извинения за то, что письма мои были известной страсти, из чего вышла новая беда. Чтобы не задеть никого, я молчу, даже писав к вам: молчание точно есть единственное средство в настоящую минуту. Скажу одно, что тогда только чувствую себя вполне сильным, спокойным и даже способным служить другим, когда нет покушения на мою независимость». В 1844 году он ему пишет: «Напрасно, кажется, вы думаете, что моя метода — силою сличения и сравнения этюдов подвигать вперед труд, доведет меня до отчаяния. Способ сей согласен и с выбором предмета, и с именем русского, и с любовью к искусству. Я бы мог очень скоро работать, если б имел единственною целью деньги».