Начинал Иванов свою карьеру в органах советской госбезопасности в тихом и далеком от оперативных будней учетно-архивном отделе (УАО КГБ СССР) в качестве вольнонаемного (не имевшего военного звания) сотрудника. Был он тогда не по годам тучен, носил очки с толстыми линзами и имел проблемы со здоровьем, в силу чего миновала его обязательная для советских молодых людей служба в армии. Неторопливый, немногословный и незаметный, мнение свое Иванов старался оставлять при себе.
Со временем эти качества придадут ему вид серьезного и основательного человека. Многие коллеги Иванова по работе в архиве КГБ, структурно входившего в УАО, не имели воинских званий, и получение заветного звания было пределом мечтаний, так как офицеры, сотрудники архива, получали денежное содержание, превышавшее зарплату гражданского лица, работавшего в архиве, как минимум в два раза. Женя Иванов военное звание получил. Повышению его предшествовала интересная история.
Архив КГБ СССР возглавлял полковник В.А. Грибанов, хотевший, как и всякий полковник, стать генералом. Он успешно руководил архивом и был на хорошем счету у непосредственных начальников и руководства КГБ. Особенно хорошие доверительные отношения у него сложились с первым заместителем председателя КГБ генералом армии Семеном Цвигуном, который в начале 1980-х годов неожиданно для всех застрелится.
Служебные интересы Цвигуна были далеки от архива, но он имел страсть к написанию книг об участии органов и подразделений госбезопасности в Великой Отечественной войне. Значительную помощь в поиске, подборе и последующей обработке материалов для книг Цвигуна оказывал начальник Центрального архива КГБ полковник Грибанов. Конечно же, не сам лично, а посредством своих подчиненных. Трудились они прилежно.
Вместо того чтобы просматривать архивные уголовные дела (все дела, по которым люди были осуждены в годы репрессий, находились на хранении в этом архиве) и подготавливать материалы для последующей реабилитации несправедливо осужденных или готовить необходимые справки по другим архивным делам по запросам различных подразделений органов госбезопасности, подчиненные Грибанова готовили материалы для будущих книг Цвигуна, который, в свою очередь, обещал Грибанову посодействовать в получении чина генерала (но Грибанов генералом так никогда и не стал). Зато новые книги Цвигуна регулярно появлялись на прилавках книжных магазинов. Некоторые из них по праву становились бестселлерами и приносили литературную славу и общесоюзную известность их автору.
В одну из встреч с Грибановым Цвигун поинтересовался тихим молодым сотрудником архива по фамилии Иванов. Спустившись к себе (архив располагался в подвальном помещении огромного здания КГБ на площади Дзержинского, ныне, как и в старину, носящей название Лубянской площади), Грибанов немедленно позвонил своему непосредственному руководителю – начальнику УАО генерал-майору Андрею Прокопенко и доложил о разговоре с зампредом Цвигуном относительно их сотрудника Иванова. Генерал Прокопенко немедленно вызвал Грибанова к себе вместе с подполковником Александром Александровым, руководителем кадрового аппарата УАО.
Лицо Александрова в годы молодости было обезображено оспой, а во время войны еще было и обожжено, отчего выглядел он устрашающе. По причине своего внешнего вида или в силу характера, отличавшегося жесткостью, в КГБ он имел прозвище Рашпиль (напильник с крупной насечкой для грубой обработки различных деталей).
В кабинете генерала Прокопенко – невысокого, крепкого сложения человека с бледным и отечным лицом (следствие нездоровых почек), но несмотря на болезненный вид делового и энергичного, приглашенные Грибанов и Александров расположились за небольшим приставным столом, составляющим с вместе с генеральским столом букву "Т". Подобное расположение столов начальников и столов для вызванных подчиненных было обычным в помещениях КГБ. Различие было лишь в размерах кабинетов и мебели, за которой и на которой восседали руководители. Чем выше была должность начальника, тем больше должен был быть кабинет и стол. Во многих руководящих кабинетах также были еще и отдельно стоящие столы, за которыми располагались сотрудники во время совещаний.