Четвёртый раз Косыгин умер — окончательно политически.
Через год после первого, в октябре 1980 года у него случился второй обширный инфаркт. Его положили в клинику на Мичуринском проспекте. Понемногу он стал поправляться, ему были даже разрешены прогулки по территории больницы. И тут ему неожиданно из Политбюро ЦК КПСС пришло предложение подать заявление об отставке, что окончательно подорвало его здоровье.
Зять советского премьера, академик Джермен Гвишиани вспоминал, как Косыгину по "кремлёвке" позвонил секретарь ЦК Константин Устинович Черненко: "Алексей Николаевич, вы всё болеете. Есть мнение, что вам надо подать в отставку". Косыгин спросил: "А почему Леонид Ильич мне об этом не скажет?" Последовал ответ: "Да он сам болеет…"
На октябрьском (1980 года) Пленуме ЦК КПСС 21 октября, Косыгина вывели из состава Политбюро. 76-летний больной старик вынужден был, в отличие от таких же больных и старых членов Политбюро, написать заявление об освобождении его по состоянию здоровья от обязанностей Председателя Совета Министров СССР, что было официально оформлено 23 октября на сессии Верховного Совета СССР.
Это было победой "днепропетровской мафии", которая, наконец, избавилась от популярного в народе, делового, серьёзного, интеллигентного человека, посадив в его кресло "своего" — Тихонова. Это было личной победой Андропова, который поквитался с давним соперником, и одновременно провёл на том же Пленуме ЦК в состав Политбюро в качестве кандидата "своего" протеже — "молодого" Секретаря ЦК по сельскому хозяйству Михаила Горбачёва. Никто из них тогда не знал, что этим решением они начали последний и заключительный этап новейшей истории партии и страны, который приведёт в 1991 году к уничтожению КПСС, КГБ и СССР…
Вот как вспоминал об этом Пленуме ЦК и сессии ВС СССР Анатолий Черняев, замзав Международным отделом ЦК КПСС в своих мемуарах "Советская политика 1972–1991 гг. — взгляд изнутри":
"Арбатов матерно ругает Тихонова, впрочем, Бовин тоже: слизняк, жополиз, ничтожество. Думает лишь о том, чтобы "дожить" на этом месте, полная бездарь, а уж о какой-то там партийности, каких-то идеях или заботе о 260 миллионов и. рядом этого никогда не ночевало. Косыгин болен, подмят, давно не способен ни на какое самостоятельное действие или инициативу. Но тот хоть знает хозяйство, грамотен, видит опасность и, пусть по инерции, но озабочен "государственным интересом", а не только своим поджопником. А этот — просто сволочь, интриган, старческая труха. И Брежнев его презирает, хотя и сделал его уже фактически "вторым лицом" (Арбатов). Впрочем (Бовин), Брежнев всех презирает, никого в счет не берет, даже своего Черненко. Единственно, с кем он считается, это Суслов (идеологический ребе), который, наверно, с помощью хитрой политики бесконечных награждений и восхвалений, завоевал безраздельное доверие Генерального. Косыгина же, он хоть и не уважает, но побаивается: все таки еще сталинский член Политбюро, сталинский нарком. К тому же за ним какой-то не очень понятный "авторитет в народе", может быть тоже от тех времен.
На Пленуме шло восхваление Брежнева. Каждый начинал с пышных восторгов насчет того, что речь Леонида Ильича — глубочайший марксистско-ленинский документ, программа действий на весь исторический период, пронизана ленинской мудростью и научным подходом, подлинной партийностью и т. п., воодушевляет, поднимает, мы теперь имеем настоящую ленинскую стратегию. Все благодарили "нашего Леонида Ильича", все лично ему обязывались выполнить поставленные им задачи. Восхваление достигло маразматического апогея в речи самого Брежнева при закрытии сессии Верховного Совета, когда он взял слово, чтоб заменить Косыгина Тихоновым. Он дважды назвал самого себя с полными титулами в связи с выраженной уверенностью уходящего Косыгина в том, что партия, сплоченная вокруг и во главе с Брежневым добьется новых успехов.
Между прочим, благодарности Косыгину никто не выразил, ни сам Брежнев, ни председательствовавший (Рубен, латыш), ни от имени. И я подумал, почему бы какому-нибудь депутату, комбайнеру или токарю, не встать и не предложить: "Верховный Совет СССР выражает Алексею Николаевичу Косыгину благодарность за долголетнюю добросовестную работу"… И далее, привычный в таких случаях штамп. Что бы ему, этому комбайнеру, было за такую инициативу? Да, ничего. "Дальше фронта, (т. е. комбайна или станка) не пошлют". Но никто не догадался или не осмелился. Такова наша общественная нравственность.