Что касается непосредственного общения с верхами общества, то Гончаров, как всегда, старался остаться самим собой, жить своей собственной жизнью. В высший свет он никогда не стремился, строго следуя своему правилу: жизнь должна складываться органично, естественными «прирастаниями», а не судорожными усилиями изменить её. Отсюда его признания: «Я в сочинениях своих и в разговорах — почти не говорил о так называемом «высшем классе»: это по простой причине. Я его вовсе не знал и не видал никогда.
У меня было настолько житейской мудрости и самолюбия тоже, чтобы не лезть туда, куда меня не призывало — ни мое рождение, ни денежные средства. Вон консерваторы хвалят Англию за то, что там-де всякий знает свое место — и что это очень хорошо! Лорд — так лорд и есть, все его и признают таким, купец так купец, художник и литератор знают свою среду и проч.
Так я и делал, следовательно, делал хорошо, да к тому же — я и нервозен, робок и мои склонности и вкусы — влекли меня к кабинету и маленькому интимному кружку.
Но все это ультраконсервативная партия приняла за другое. Не то за грубость, неуважение к авторитетам, не то за какую-то гордость и желание по этим причинам уклоняться от консерваторов. Но я никогда тоже от аристократии и не уклонялся упрямо и умышленно — а когда приходилось с ними знакомиться и встречаться — я делал это очень радушно, если находил в них что-нибудь подходящее себе — и теперь там у меня есть приятели!» Этими приятелями были прежде всего такие личности, как писатель граф Алексей Константинович Толстой, графиня Александра Андреевна Толстая, наконец, великие князья, с которыми Гончаров общался по весьма конкретным поводам, стараясь избегать частых встреч без особенной необходимости.
Начиная с 1860-х годов Гончаров все более уходит от либерализма и западничества, все более тяготеет в своих личностнонравственных ориентациях к монархизму и православию. При этом он, по сути дела, чужд и официальным консерваторам, и либералам, которые так некрасиво обнаружили себя в полемике вокруг его «Обрыва». Обороняясь от насевших со всех сторон «друзей-либералов» и уйдя в себя, прослыв даже человеком с «навязчивыми идеями», Гончаров пишет в «Необыкновенной истории» о своем религиозном состоянии в 1870–1880-х годах: «За мной стали усиленно наблюдать, добиваться, что я такое? Либерал? Демократ? Консерватор? В самом ли деле я религиозен или хожу в церковь так, чтоб показать… Что? Кому?
Теперь, при религиозном индифферентизме, светские выгоды, напротив, требуют почти, чтоб скрывать религиозность, которую вся передовая часть общества считает за тупоумие. Следовательно, перед кем же мне играть роль? Перед властью? Но и та, пользуясь способностями и услугами разных деятелей, теперь не следит за тем, религиозны ли они, ходят ли в церковь, говеют ли? И хорошо делает, потому что в деле религии свобода нужнее, нежели где-нибудь».
В который раз приходится признать, что самим собой Гончаров был только в очень узком дружеском кругу людей и за письменным столом. Гончаров был просто патриотом, любил Россию со всеми её противоречиями, писал о ней и для неё. Политика же, с её стремлением в широкие общественные сферы, была ему чужда. Он никогда не присоединялся к «партиям», ему достаточно было своего собственного таланта и выполнения своего собственного долга перед Россией. Думается, великие князья, общавшиеся с ним, принимали его именно в этом качестве — не более и не менее. Кроме того, для них, очевидно, было важно, что Гончаров был не просто большим талантливым художником, с безукоризненным вкусом и обширным кругозором, но и писателем, состоящим на государственной службе, то есть человеком вполне благонамеренным. Разумеется, это было особенно учтено, когда Гончарова несколько раз приглашали преподавать великим князьям русскую словесность. Именно педагогическая деятельность со времени преподавания в семье Майковых незаметно заняла в жизни Гончарова значительное место и, по сути, сблизила его с царской семьёй.