Именно в то время, когда советский премьер-министр, стоял на трибуне Мавзолея на первомайском параде, в кремлёвской больнице умирала от рака его единственная и горячо любимая жена. Бытовавшая в те времена традиция не позволила Косыгину провести с ней последние минуты их совместной жизни, чтобы не порождать слухов о разногласиях и трениях в Политбюро ЦК КПСС, которые могли бы возникнуть при его отсутствии на Красной площади.
Супруга была самым дорогим Косыгину человеком, и для него стала невыносимой и изощрённой пыткой не только сама преждевременная смерть Клавдии Андреевны, но и то, что в этот самый мучительный момент он был вынужден изображать из себя счастливого и безмятежного руководителя правительства СССР, позируя на главном празднике страны рядом с Брежневым и Подгорным перед камерами Центрального телевидения.
Надо отдать должное генсеку ЦК КПСС Брежневу: он тогда лично приехал в дом к Косыгину с искренними словами соболезнования и поддержки. Но в этот день Косыгин эмоционально умер вместе со своей женой. Косыгин больше никогда не женится. И для него больше не будет полноценного счастья в личной жизни и интереса к женщинам и к любви. Израненное сердце сможет немного смягчаться только для дочери Людмилы и позднее — для внуков Тани и Алёши. Самое гадкое было то, что "товарищи" по Политбюро ЦК КПСС, зная его супружескую верность и эмоциональную ранимость, целенаправленно распространяли грязные слухи о несуществующих косыгинских амурных шашнях, в частности, с известной певицей Людмилой Зыкиной.
Третий раз Косыгин умер буквально — клинически, на отдыхе на своей госдаче в поселке Архангельское в 1976 году. Помимо рыбной ловли, пешего туризма и катания на лыжах и коньках, одним из его давних хобби была гребля. Ещё в молодые годы, во время учёбы в Ленинграде, они часто ходили с друзьями на лодках по Неве. И в тот летний день 1976-го года Алексей Николаевич решил поплавать на спортивной байдарке-одиночке по старому руслу Москвы-реки между Архангельским и Ильинским.
Он только-только успел отплыть от мостков "купалки" на своей даче, как внезапно потерял сознание. Потеряв управление, лёгкая и неустойчивая байдарка тут же перевернулась… Будучи пристегнутым к сиденью, 72-летний Косыгин ушёл головой под воду и захлебнулся.
Довольно быстро подоспела правительственная охрана из 9-го управления КГБ, в которой всегда был мастер спорта по подводному плаванию. Подчинённый Андропова, майор госбезопасности Егоров и спас советского премьера: под водой освободил зафиксированные специальным устройством ноги Косыгина, вытащил его на берег, сделал ему искусственное дыхание и массаж сердца, заставив его снова биться, выведя быстро и успешно Алексея Николаевича из состояния клинической смерти. Затем его быстро доставили в расположенный километрах в четырёх от дачи крупный военный госпиталь, где ему была оказана квалифицированная врачебная помощь перед отправкой в Кремлёвскую клинику на Грановского.
По словам лечащего врача Анатолия Прохорова, у Косыгина тогда произошёл микро-инсульт: в паутинной оболочке головного мозга лопнул небольшой сосудик, что привело к потере сознания и равновесия. Хотя у него и не было активного дыхания в момент погружения под воду в бессознательном состоянии, жидкость в лёгкие всё же механически набралась.
С 1976 по 1980 годы Косыгин сильно ослаб, много болел, здоровье его было подорвано, и он уже не мог полноценно руководить Совмином СССР так, как это делал раньше, но всё-таки упорно держался за власть, до конца, пока были силы. В СССР не было нормальной практики освобождать дорогу молодым, инициативным и здоровым, а больным и дряхлым старикам, какими бы замечательными людьми они ни были, добровольно уходить в отставку или на пенсию с высших постов в партии и государстве.
Фактическое руководство правительством в связи с состоянием здоровья Косыгина в 1976 году перешло к его первому заму Николаю Тихонову, ставшему в 1978 году кандидатом, а в 1979 году членом Политбюро ЦК КПСС.
Осенью 1979-го года у остававшегося формально председателем правительства СССР, но часто бюллетенившего Косыгина произошел сильный инфаркт. "После этого первого инфаркта он стал другим человеком — из Косыгина-победителя, способного решить любые вопросы, он превратился в больного человека", — напишет позднее его внук Алексей Гвишиани. Более двух месяцев предсовмина СССР провёл тогда в кремлёвской больнице, затем долечивался в элитных санаториях 4-го главка Минздрава, в Барвихе под Москвой и в Кисловодске в Ставропольском крае.