Андропов не входил в круг ближайших соратников Хрущева, но у него не имелось серьезных причин для недовольства Хрущевым, какие были, например, у Михаила Суслова, над которым Хрущев позволял себе открыто издеваться на некоторых не особенно узких совещаниях. Видимо, поэтому никто не посвящал Андропова в планы смещения Хрущева, и события октября 1964 года оказались для него неожиданностью. Он не сумел дать им адекватную оценку и предсказать будущее. По свидетельству Г. Арбатова, в первое же утро после октябрьского Пленума ЦК Андропов собрал руководящий состав отдела, включая несколько консультантов, чтобы как-то сориентировать их в ситуации. Рассказав о пленуме и перечислив множество обвинений, выдвинутых против Хрущева, склонного не только к «субъективизму», но и к авантюризму во внутренней и внешней политике, Андропов заключил выступление следующими словами: «Хрущева сняли не за критику культа личности Сталина и политику мирного сосуществования, а потому, что он был непоследователен в этой критике и в этой политике». «Увы, — замечает Арбатов, — вскоре начало выясняться, что Андропов глубоко заблуждался»[71].
Андропов, впрочем, достаточно быстро уяснил свою ошибку. Его отдельные выступления на узких совещаниях в ЦК встречали отпор, а некоторые материалы, подготовленные в отделе, возвращались Андропову на доработку. В 1965 году он в какой-то мере оказался в изоляции и даже в опале. Брежнев с ним не встречался, почти не консультировался с ним и М. Суслов. В общественной и культурной жизни в стране в 1965–1966 годах практически открыто разворачивалась борьба между поднимавшими голову сталинистами и противниками сталинизма. Юрий Андропов сочувствовал последним и сторонникам умеренной демократизации советского общества. Но это сочувствие не переходило в активную поддержку. Андропов отказался занимать позицию, которую занял в 1965 году член ЦК КПСС и главный редактор «Правды» А. М. Румянцев. Руководимая им редакция добилась в 1965-м и в начале 1966 года публикации ряда больших статей, содержащих протест против восхвалений Сталина и восстановления методов сталинизма, особенно в отношениях партии и интеллигенции. На работу в редакцию «Правды» перешли и некоторые из консультантов международных отделов ЦК, например Юрий Карякин и Федор Бурлацкий. Для газеты, которая являлась органом ЦК КПСС, эта борьба не могла в то время кончиться успехом. Уже весной 1966 года «группа Румянцева» распалась. Румянцев подал в отставку и ушел на работу в президиум Академии наук СССР.
Юрий Андропов не поддержал Румянцева. Он держался крайне осторожно, не примыкая ни к одной из группировок, возникших в это время и вокруг Брежнева, и вокруг Косыгина, и вокруг Шелепина, и вокруг Суслова. На XXIII съезде КПСС состав ЦК значительно изменился. Но Андропов был вновь избран членом ЦК, а затем и его секретарем. Он продолжал возглавлять свой прежний отдел. Однако характер работы в отделе и прежняя атмосфера «интеллектуальной вольницы» изменились, это оказался очень трудный период и для самого Андропова. Он видел, что в стране происходит консервативный поворот. Но он не мог открыто восстать против него. Андропов являлся профессиональным политиком и кадровым партийным работником. Для такого человека не существовало в то время никаких возможностей выступать самостоятельно в идеологии или политике. К тому же он не хотел потерять те позиции в партийной иерархии и в структуре власти, которых добивался и которых достиг с немалым трудом. Пример Дмитрия Шепилова, которому Андропов направлял в 1956 году свои шифрограммы и который трудился теперь в архивном управлении Совета Министров СССР, был хорошо ему известен. Поэтому он решил остаться, вероятно, в надежде на то, что в стране со временем возобладают иные политические течения и он получит шанс использовать их, разумеется, не столько в личных интересах, сколько в интересах народа, как он их понимал. Это был мучительный личный компромисс, который даже в его ближайшем окружении далеко не все могли понять и одобрить.