Вскоре не стало и Черненко, а Горбачев вообще не был настроен повышать пенсии бывшим членам Политбюро.
Шелепин в последние годы жил трудно и нуждался во всем. Жалел, что, работая в КГБ, отказался от генеральского звания. Генеральская пенсия очень пригодилась бы ему, когда началась инфляция и рубль обесценился. В 1992 году он в последний раз поехал в Воронеж, на 70-летие брата Георгия. Нашел дом. в котором вырос, и хотел зайти, но новые хозяева его даже на порог не пустили. Они уже забыли, кто такой Шелепин, а напомнить о своем прошлом он не решился.
К концу жизни он прихрамывал, и у него плохо было с сердцем. Он тяжело болел и медленно терял память. Умер член Политбюро и бывший председатель КГБ Шелепин в 1994 году в возрасте 76 лет. Его похоронили на Новодевичьем кладбище, но не в память о прошлых заслугах, а потому, что там была могила отца. Урну с прахом положили в отцовскую могилу.
Его преемник на посту руководителя КГБ — Владимир Ефимович Семичастный пережил друга на семь лет. Он умер 12 января 2001 года от инсульта, как и Шелепин, в возрасте 76 лет. Похоронен на Троекуровском кладбище.
Десятки людей из окружения Шелепина были удалены из Москвы — в основном они были назначены послами в малозначительные государства.
В июне 1968 года был снят с должности секретарь ЦК ВЛКСМ Павлов. Шелепин проиграл борьбу внутри партии. Но осуществление «плана Шелепина» в Европе продолжалось — вскоре произошли «Майское восстание» в Париже и «Пражская весна» в Чехословакии.
В 1974 году произошел коммунистический военный переворот в Португалии, и председатель компартии Альваро Куньял реально мог стать президентом. Восставшим офицерам, которых воспитывали коммунистические партии Франции, Италии и Испании, нужна была помощь. Но Андропов уже сделал ставку на конвергенцию. Они проиграли на демократических выборах, и к власти пришли умеренные социалисты.
Руководитель спецслужбы ГДР «Штази» Маркус Вольф позже рассказывал о влиянии спецслужб Восточного блока в Западной Германии: «Мы имели доверительные политические контакты с двумя наиболее влиятельными социал-демократическими политиками послевоенного времени — Фрицем Эрлером и Хайнцем Кюном. Эрлер занимал посты председателя фракции СДПГ в бундестаге и заместителя председателя партии, Кюн был премьер-министром земли Северный Рейн-Вестфалия.
Оба вышли из левых группировок, стоявших до прихода нацистов к власти и в годы гитлеровского режима в оппозиции к руководству СДПГ. Независимо друг от друга оба сохраняли контакты с соратниками по борьбе, жившими теперь в ГДР. Конечно, им было ясно, что регулярные визиты старых друзей происходили с одобрения некоей официальной инстанции ГДР. Они знали, что такое конспирация, и сознательно использовали этот канал.
Их анализ процессов, происходивших внутри НАТО, или сообщения о планах вашингтонских "ястребов” были для нас очень информативны. Оценка внутриполитической ситуации, которую давал Эрлер, также помогала нам правильно оценивать процессы, происходившие в Западной Германии.
После ареста Гийома нас очень беспокоила возможность раскрытия связи Винанда. Мы не хотели дать повод к свержению еще одного канцлера — Гельмута Шмидта. Поэтому было решено временно заморозить контакты. Мы довольно рано поняли, что Венер превратился в самого могущественного политика в СДПГ и оказывает решающее воздействие на политику Западной Германии по отношению к Востоку».
Маркус Вольф пишет о зависимости социал-демократов ФРГ и их лидера Франца-Иозефа Штрауса от «Штази»:
«Его считали в Москве радикальным идеологическим догматиком правого толка. Я сообщил им, что, хотя Штраус и является представителем военно-промышленного комплекса ФРГ, он не твердолобый антикоммунист, а скорее человек, проворачивающий дела, сулящие как политическую, так и личную выгоду, везде, где представляется такая возможность… Когда Штраус стал министром по делам атомной энергии, инициатива по установлению контактов с ГДР исходила от него. Он заморозил их, став министром обороны, и возобновил после отставки… Я читал в сообщениях Шалька, агента “Штази”, как непринужденно Штраус выбалтывал своему партнеру из ГДР политические и военные тайны ФРГ и западного союза».
План создания «розовой континентальной Европы» под управлением Шелепина могла стать реальностью, но в 1968 году, хотя он и оставался членом Политбюро, но все его попытки активизировать международные связи и влияние профсоюзов встречали жесткое сопротивление ЦК КПСС и КГБ, руководимого Андроповым. Но тайная подковерная борьба в ЦК КПСС продолжалась.