Вызов в Москву
В 1982 году, спустя пару недель после смерти Леонида Брежнева и прихода к власти Андропова, Калугину сообщили, что летом следующего года он направляется в Москву на краткосрочные курсы для руководящего состава. У него затеплилась надежда, что его «ангел хранитель» Андропов, ставший руководителем партии и советского государства, наконец-то вернет его в Москву, назначит на высокую должность в КГБ. По управлению вновь поползли слухи о замене Носырева Калугиным в ближайшее время. Но ожидания не оправдались. За неделю до окончания курсов Калугина вызвали в Управление кадров и неожиданно предложили перейти на преподавательскую работу в Высшую школу КГБ в Москве.
— Я не мог поверить своим ушам! Высшая школа была тупиком. Несмотря на сильное давление, я отказался. Обратился к заместителю председателя КГБ Филиппу Бобкову и напомнил, что Андропов обещал вернуть меня в Москву через два года. Сейчас осень 1983 и я отбыл свой срок в Ленинграде. Просил Бобкова передать новому председателю Виктору Чебрикову, что хотел бы с ним переговорить. Бобков ответил, что Чебриков сможет меня принять, но несколько позднее, — написал Калугине в своей книге.
Вернувшись в Ленинград, через несколько недель он позвонил Бобкову и напомнил об обещанной встрече.
— Чебриков хочет увидеть тебя, позвони в декабре, — ответил Бобков.
Следующий звонок Калугина у Бобкова раздался в январе 1984 года, и он вновь получил неутешительный ответ:
— Подожди немного. У нас много дел и твое — не первой важности, — сухо ответил Бобков. Калугин не отступал:
— Сколько мне ждать? Я хочу, чтобы меня приняли.
— Не знаю, не знаю, — коротко в ответ бросил Бобков и положил трубку.
После предложения перейти на преподавательскую работу и неприятных и ничего не обещающих разговоров с заместителем председателя Калугин окончательно понял, что его карьера в Центре закончилась, и он никогда не будет переведен в Москву на достойную должность.
Смерть Андропова
9 февраля 1984 года умирает Генеральный секретарь ЦК КПСС Андропов. Это известие ввергло Калугина в глубокую депрессию. Те небольшие надежды, которые он еще питал, рухнули. Многие ленинградские сослуживцы рассматривали Калугина как выдвиженца Андропова. Такое мнение о себе он всячески поддерживал и усиливал своими рассказами в ближайшем окружении о неоднократных встречах и якобы даже задушевных беседах с Андроповым. Теперь, после ухода Андропова из жизни, мифическая аура Калугина также ушла в небытие. Мало кого интересовало, а тем более влияло на отношение к нему, что бывший руководитель, может быть, когда-то неплохо относился к бывшему генералу разведки. Андропов действительно назначил Калугина руководителем управления внешней контрразведки ПГУ, присвоил звание генерал-майора, поддерживал его начинания по расширению службы и ждал конкретных результатов. Лишь в 1979 году в связи с делом Кука он согласился с мнением руководителя московских чекистов Алидина, что Калугин является агентом ЦРУ.
С этого времени отношение к Калугину Андропов резко изменил, формально использовал случай с сауной для перевода в Ленинград. Все выглядело естественно, и Калугин верил еще в свое прощение, хотя допускал, что он может подозреваться в шпионаже и Андроповым. Зная Председателя как весьма строгого руководителя, такие мысли он прогонял от себя, полагая, что тот не стал бы держать его в кадрах КГБ и нашел бы пути справиться с ним. Но он также твердо знал и верил, что Андропов не пойдет на нарушение законов, не станет его арестовывать, не имея для этого веских юридических оснований. Поэтому самым главным являлось не выходить без особых причин на любые контакты с американской разведкой, проводить односторонние тайниковые операции от себя — исключительно в крайнем случае, тем более не допускать личных встреч и не иметь при себе каких-либо вещественных доказательств, то есть не дать контрразведке даже малейших оснований для реализации подозрений в шпионской деятельности.
Смерть Андропова четко определила его будущее — возврата в Центр нет, в Ленинграде перспективы роста нулевые, только одни неприятности от Носырева, с которым явно не сложились отношения. Разведывательные возможности для ЦРУ по работе в ленинградском управлении слабые. Передачу малоценных материалов никто в Лэнгли не будет приветствовать и просто это ему запретят. Самому излишний риск тем более не нужен. Встал обычный в трудных ситуациях вопрос: Что делать? Временное решение пришло — посвятить жизнь себе и семье. Он участил поездки в Москву, где встречался с друзьями из КГБ и проводил время в кругу семьи. Были и другие выезды. Вскоре появились и новые интересы.