Но так как все это не касалось напрямую Иванова, то никаких принципиальных решений принято не было.
Профьюмо и Киллер встречались на квартире Уорда, иногда в имении лорда Астора. И все бы ничего, если бы один из отвергнутых ухажеров Киллер, выходец из Америки, наркоман, не учинил скандал и не стал ночью стрелять из пистолета по окнам ее квартиры. Полиция задержала незадачливого влюбленного, вездесущие репортеры начали раскручивать скандал. В результате на поверхность всплыли имена Уорда, Профьюмо и, как ни странно, Иванова. Во избежание скандала руководство ГРУ срочно приняло решение об отзыве Иванова в Москву, и в марте 1963 г. он выехал в СССР.
Но было уже слишком поздно. Стараниями журналистов и заинтересованных политических кругов заурядная любовная интрижка министра обороны была раздута в шпионскую историю века, где значительная роль отводилась Иванову. В прессе сообщалось, что Киллер являлась любовницей не только Уорда и Профьюмо, но и Иванова, и что последнему она рассказывала государственные секреты, которые узнавала в постели у Профьюмо. Более того, в прессе появились утверждения, что во время одного из любовных свиданий Иванов просил Киллер выведать у Профьюмо о намерениях Англии поставлять ядерное оружие ФРГ.
Расследованием дела Профьюмо занималась специальная комиссия во главе с лордом Деннигом. По окончании своей работы комиссия заверила англичан, что скомпрометировавшая министра обороны связь не нанесла ни малейшего ущерба национальным интересам и безопасности Великобритании. Но Профьюмо все-таки пришлось уйти в отставку. Беда не обошла стороной и Уорда. Его обвинили в содержании борделя с девицами типа Киллер, которых он за опреденную плату поставлял богатым клиентам. В июле 1963 г. против него начался судебный процесс. Не вынеся развернувшейся травли, Уорд покончил жизнь самоубийством.
Со временем эта история обрастала все новыми «подробностями». Например, утверждалось, что Иванов специально свел Профьюмо с Киллер, дабы скомпрометировать его и создать такую ситуацию, чтобы министр обороны стал сотрудничать с ГРУ. Но на самом деле эти домыслы не имеют ничего общего с действительностью. Чтобы убедиться в этом, достаточно ознакомиться с объяснительной запиской Иванова руководству ГРУ от 25 июня 1963 г., он написал ее после возвращения из Лондона. Вот некоторые выдержки из нее:
«Знакомство с Уордом было установлено в начале 1961 г. и поддерживалось до моего отъезда из Англии ... с целью получения военно-политической информации и выхода на интересующих нас лиц. Кроме того, он организовал ряд встреч с осведомленными лицами из МИДа, парламента, руководства консервативной партии и делового мира. С Киллер я познакомился на даче Уорда в присутствии П.Манна и ряда гостей. Однажды Уорд пригласил нас купаться в бассейн на территории поместья лорда Астора. Вскоре туда пришел Астор, президент Пакистана со своим верховным комиссаром в Лондоне и послом в Бонне, военный министр Англии Профьюмо и еще три-четыре человека, среди которых была и Киллер. Обратило на себя внимание открытое ухаживание, возня в бассейне и фотографирование Профьюмо Киллер (жены Профьюмо там не было, что не соответствует его заявлению в парламенте). Я наблюдал за всем со стороны и ждал возможности поговорить с Профьюмо, что удалось после купания. На следующий день я доложил капитану 1-го ранга тов. Сухоручкину о беседе с Профьюмо ...
Несколько позже я встретил Киллер у Уорда. Судя по ее туалету (что-то вроде ночной рубашки), они недавно встали с постели. До меня там уже был один партнер, и 5-10 минутами позже пришел политический корреспондент «Таймс» Линдсей. Мы играли в бридж. Киллер по просьбе Уорда приготовила нам кофе, а часам к десяти ушла.