Он принимал крутые меры, освобождался от тех, кто вел закулисные разговоры о недостатках его работы, отрицательно высказывался о нем и т. п. Так, во второй половине 60-х годов Брежневу было доложено (по-видимому, Ю.В.Андроповым), что группа бывших комсомольских работников собирается, ведет разговоры о возможной замене руководства партии. В группу входили А.Н.Шелепин, В.Е.Семичастный, Н.Г. Егорычев, В.С.Толстиков, А.П.Волков и кто-то еще. С подачи В.В. Щербицкого в опалу попал П.Е. Шелест. Он был переведен на работу зам. председателя Совмина СССР, освобожден от обязанностей первого секретаря ЦК КПУ. Все эти товарищи были сняты с занимаемых постов. Одни переведены на другую работу, другие отправлены на пенсию. На пленуме ЦК КПСС тт. Шелепин, Воронов, Шелест тайным голосованием были выведены из членов ЦК КПСС.
В мае 1977 года на Пленуме ЦК, после обсуждения основного вопроса, как бы между прочим председательствующий М.А. Суслов предложил освободить от обязанностей члена Политбюро ЦК и Председателя Президиума Верховного Совета СССР Н.В. Подгорного. В поддержку этого предложения сразу выступили два-три человека. М.А.Суслов не дал слово Н.В. Подгорному, хотя тот пытался что-то сказать («Ты посиди, подожди», – сказал ему Суслов), быстро поставил вопрос на голосование, и Н.В. Подгорный был освобожден от занимаемых постов. Пленум закрылся. В комнате президиума сразу после окончания пленума растерянный Н.В. Подгорный сказал: «Как все произошло неожиданно, я работал честно» – и, расстроенный, ушел. Этому делу предшествовали высказывания А.П. Кириленко, М.А. Суслова и некоторых других: зачем нам нужно иметь двух Генеральных секретарей? Вскоре на сессии Верховного Совета СССР вместо Н.В. Подгорного Председателем Президиума Верховного Совета СССР был избран Л.И. Брежнев.
До смещения Н.С.Хрущева с поста первого секретаря ЦК КПСС в октябре 1964 года Л.И. Брежнев и Н.В. Подгорный были очень дружны. Именно Н.В. Подгорный был вдохновителем, а Л.И. Брежнев и другие – исполнителями освобождения Н.С.Хрущева от занимаемых постов. На заседании Президиума ЦК, когда надо было решать, кому быть первым секретарем ЦК, Л.И.Брежнев предложил кандидатуру Н.В. Подгорного. Но тот сказал: «Нет, Леня, берись ты за эту работу». Так Л.И. Брежнев стал первым секретарем ЦК партии, а затем Н.В. Подгорный занял пост Председателя Президиума Верховного Совета СССР.
Первое время в их отношениях было все хорошо. Но потом у Л.И.Брежнева стало проявляться недовольство тем, что Н.В. Подгорный старается вести себя во всем на равных с Брежневым. Кроме того, он стал выражать недовольство проявлением мании величия Л.И. Брежнева, осуждая восхваления и славословия в его адрес. Однажды мне пришлось присутствовать на юбилее одного из секретарей ЦК КПСС. У него в гостях были Брежнев с женой, Подгорный, Кириленко, я и некоторые другие члены Политбюро и секретари ЦК. Присутствующие поздравляли хозяев с юбилеем. Но больше слов говорилось в адрес Генерального секретаря ЦК. Когда юбиляр произносил свой тост, то он в основном говорил о Брежневе, о его заслугах перед партией и страной. Возмущенный происходящим, Подгорный, обращаясь к Леониду Ильичу, сказал: «Леня, как ты можешь терпеть такие славословия в свой адрес? Почему ты не прекратишь это восхваление? Это не годится не только для руководителя, но и для простого коммуниста. Ты знаешь, как я к тебе отношусь. Я готов за тебя подставить свою грудь под пули, но я не могу видеть, как ты, по существу, поощряешь возвеличивание себя».
Говорил он это громко, возбужденно. Брежнев стал ему возражать, говоря что, мол, ничего предосудительного здесь сказано не было, что товарищи хотят и могут высказывать свои мысли, свои оценки деятельности любого из нас, что ты, Николай Викторович, всегда сгущаешь краски, всегда чем-то недоволен и т. п. В общем, произошла серьезная размолвка между Брежневым и Подгорным. Настроение у всех было испорчено, и вскоре мы разъехались по домам.
Были и другие случаи, когда Подгорный высказывал осуждение Брежнева за его манию величия, поощрение хвалебных в свой адрес выступлений и славословий. В узком кругу он прямо осуждал Брежнева за приверженность к культу личности, за его любовь к лести и подобострастию. Подгорный не стремился и, я убежден, не желал занять место Генерального секретаря ЦК. Его возмущало благосклонное отношение Брежнева к подхалимажу и возвеличиванию своей персоны. В свою очередь Брежнев не скрывал неудовлетворенность Подгорным за его критические высказывания в свой адрес.
Все это, а также желание быть первым лицом не только в партии, но и в государстве, послужило причиной отставки Подгорного в 1977 году и занятия Брежневым, наряду с должностью Генерального секретаря ЦК, поста Председателя Президиума Верховного Совета СССР.