В результате его отправили послом в Канаду, где он провел десять лет и приобрел хорошие знания западных политических и экономических учреждений. В 1983 году Горбачев посетил Канаду и встретился с Яковлевым. Потребовалось небольшое взаимное зондирование, но со временем эти двое обнаружили, что их взгляды были близки, и они могли говорить открыто. Оба независимо друг от друга сделали вывод о том, что Советский Союз нуждается в радикальных переменах. Но критика Яковлева была к тому времени значительно радикальнее; в отличие от Горбачева, он был гораздо более прогрессивным и практичным в своих мыслях о том, как вызвать эти перемены.
Они стали друзьями, и после своего возвращения в Москву Горбачев настоял на возвращении Яковлева в советскую столицу и в Центральный комитет. Ему предложили должность главы Института Маркса-Энгельса-Ленина, и Яковлев согласился. Это точно не было самой важной политической должностью, и позиция Яковлева по отношению к официальной партийной идеологии была уже тогда отрицательной. Отношение других советских лидеров тоже вовсе не было преисполнено большим энтузиазмом — они просто игнорировали это. В их речах трудно было бы найти какую-то положительную ссылку на марксизм-ленинизм; они просто не упоминали его. Но Яковлев пошел значительно дальше, и его позиция была позицией полного антагонизма, даже ненависти. Он расценивал марксизм-ленинизм как религию ненависти, не имевшую никакого отношения к науке.
Как мог человек с такими убеждениями выжить в Политбюро? Яковлев позже в первые годы перестройки рассказывал, что он не мог еще говорить полную правду; нужно было притворяться и лгать. Другие же, так или иначе, просто не обращали на это внимания. Политика партийного руководства основывалась не на глубоких идеологических убеждениях, а на интересах номенклатуры: они были дураками и циниками. Яковлев называл советский режим только тоталитарным — в западных университетах это утверждение принесло бы ему большие проблемы. Он и некоторые из его ближайших друзей представили Горбачеву детальный план того, как осуществить реальные перемены. Но Горбачев, уже тогда признавая, что только маленькая революция внутри партии могла бы принести настоящие изменения, возразил, сказав, что для этого еще не пришло время.
Яковлев вышел из коммунистической партии в 1991 году и вместе с Эдуардом Шеварднадзе, тогдашним министром иностранных дел, основал социал-демократическую партию как конкурента большевикам. Партия просуществовала несколько лет, но не была успешной. Закрепившийся аппарат коммунистической партии был все еще довольно силен, и если они не особо волновались о судьбе марксизма-ленинизма, то были справедливо обеспокоены своим положением в обществе и своей властью. Кроме того, энергичные выступления Яковлева против шовинизма не прибавляли ему популярности. После 1993 года (он умер в 2005 году) Яковлев уже не играл существенной политической роли, но занимался академическими исследованиями. Он нажил себе много врагов и подвергался нападкам не только как враг партии и страны, но некоторые даже утверждали, что он, мол, был шпионом. Но фронтовые заслуги Яковлева сделали его почти неуязвимым. Среди партийного руководства того времени он был фактически единственным, кто не только сражался за свою страну, но почти заплатил за нее своей жизнью. На его похоронах не появился ни один из лидеров современной России, в чем не было ничего удивительного. Он был резким критиком отхода от демократии при Борисе Ельцине и особенно при Владимире Путине.
Существуют различные версии начала перестройки и гласности. Согласно одной из них, Юрий Андропов был убежден в необходимости срочных экономических реформ. Но Андропов фактически ничего уже не мог делать к тому времени, и следующая инициатива появилась только после того, как Горбачев пришел к власти — первым его законом в мае 1985 года стал указ о борьбе с пьянством и алкоголизмом.