Представление о применении помилования к Судоплатову было предварительно рассмотрено на Совещании у Заместителя Председателя Президиума Верховного Совета СССР, и на рассмотрение Президиума Верховного Совета СССР вынесено предложение об освобождении Судоплатова от дальнейшего наказания.
Впоследствии некоторые члены Президиума Верховного Совета СССР внесли предложение об отклонении ходатайства о помиловании Судоплатова.
Зам. заведующего Юридическим отделом
В. Волков»
Случилось это 19 декабря 1966 года, а членом, внесшим предложение об отклонении ходатайства, был Н. В. Подгорный, Председатель Президиума Верховного Совета СССР.
Павел Анатольевич Судоплатов остался «досиживать» свой 15-летний срок, до конца которого оставалось еще полтора года.
21 августа 1968 года Павел Анатольевич вышел на свободу. Он вспоминал:
Когда я вернулся из тюрьмы, наша квартира заполнилась родственниками. Мне все казалось сном. Свобода — это такая радость, но я с трудом мог спать — привык, чтобы всю ночь горел свет. Ходил по квартире и держал руки за спиной, как требовалось во время прогулок в тюремном дворе. Перейти улицу… Это уже была целая проблема, ведь после пятнадцати лет пребывания в тесной камере открывавшееся пространство казалось огромным и опасным.
На свободе Павел Анатольевич занялся литературной деятельностью, под псевдонимом "Андреев" опубликовал несколько книг и продолжал бороться за свое честное имя. Прошение о реабилитации он направлял главе КГБ Андропову и в Комитет партийного контроля. Правда Эмма Карловна была против. Она считала, что не стоит привлекать к себе внимание и опасалась за больное сердце мужа. К тому же прошения не приносили положительного результата.
Тем не менее в 1976 году Павел Судоплатов возобновил свои ходатайства о реабилитации. В защиту его и Эйтингона, вышел на свободу в 1964 году, выступили Меркадер и Ибаррури. Это обстоятельство возымело действие. В 1977 году Андропов и Пельше, возглавлявший в то время Комитета партийного контроля, дали заключение по уголовным делам, где отметили, что доказательств причастности Судоплатова и Эйтингона к «преступлениям» Берии нет. Решение о реабилитации должно было приниматься на заседании Политбюро, однако секретарь ЦК КПСС Суслов решительно воспротивился этому. В КГБ и в Комитете партийного контроля никто не захотел по этому поводу конфликтовать с могущественным партийным функционером и реабилитация не состоялась.
В августе 1977 года, по поручению Пельше, Павла Судоплатова и Наума Эйтингона принял его первый заместитель Густов. Он сказал, что рад приветствовать героических офицеров разведки, но, к сожалению, в настоящее время наши дела не могут быть решены положительно. Нам придется подождать, придет время и для их пересмотра.
В 1981 году, Эйтингон скончался в больнице от язвы желудка. Однако Судоплатов настойчиво добивался правды.
"Все 80-е годы, особенно перед смертью Брежнева, я продолжал бомбардировать ЦК своими заявлениями. Последние свидетели, которые к тому времени еще были живы, поддерживали мои усилия добиться реабилитации в 1984, 1985 и 1988 годах, обращаясь к Черненко, а затем к Горбачеву и Александру Яковлеву, ссылаясь на заключение Андропова и Пельше о моей невиновности."
Для торжества справедливости Павлу Анатольевичу понадобилось более двадцати лет. Только 10 февраля 1992 года в связи с открывшимися новыми обстоятельствами, а также неподтверждением или отказом свидетелей от данных против П.А.Судоплатова показаний, в судебном заседании, в соответствии с пунктом "а" статьи 3 Закона о реабилитации жертв политических репрессий от 18 октября 1991 года, он был реабилитирован Главной Военной прокуратурой СССР полностью.
В последние годы жизни Павел Судоплатов опубликовал книгу мемуаров, переведенную на многие языки мира, в которой рассказал о своей жизни.
Умер легендарный чекист 24 сентября 1996 года.
В октябре 1998 года указом Президента РФ Ельцина семье Судоплатова были возвращены изъятые при аресте государственные награды. За заслуги перед отечеством Павел Анатольевич был награжден орденом Ленина, тремя орденами Красного знамени и орденом Суворова 2-й степени, двумя орденами Красной звезды, орденом Отечественной войны 1-й степени, медалями «Партизану отечественной войны» 1-й степени, «За оборону Москвы», «За оборону Кавказа» «За победу над Германией», «За победу над Японией», «XXX лет советской армии и ВМФ», «В память 800-летия Москвы» и Знаком «Заслуженного работника НКВД».