Работал под прикрытием должности инженера, старшего инженера управления Государственного комитета Совета министров СССР по внешнеэкономическим связям, начальником отдела Физико-технического института имени Абрама Иоффе АН СССР. Деятельность Якунина в тот период времени относилась к сфере интересов управления ''Т'' (научно-техническая разведка) ПГУ КГБ СССР.
В 1985 году его зачислили в состав центрального аппарата советской разведки и под дипломатическим прикрытием направили в зарубежную командировку в США, где он занимал должность секретаря постоянного представителя СССР при ООН.
В начале 1991 года Якунин вернулся в Ленинград. И уже в апреле 1991 года вместе с группой друзей создал фирму по привлечению иностранных инвестиций – АОЗТ "Международный центр делового сотрудничества". Помимо этого он вошел в совет директоров банка "Россия" братьев Михаила и Юрия Ковальчуков. Банк этот создавался в том числе и на деньги КПСС.
В 1991 году Ленинградский обком партии, участвовавший, как и все руководящие органы КПСС, в распихивании денежных средств в различные структуры, внешне с партией никак не связанные, перевел в банк депозитный вклад на весьма немалую для тех лет сумму – 50 млн руб.
Кроме этого, Якунин входил в совет директоров Балтийского морского пароходства и отеля "Европа". Депутат Госдумы Геннадий Гудков – в прошлом офицер 2-й Службы УКГБ по городу Москва и Московской области – в одном из интервью о Якунине сказал, что "в бизнес Якунин никогда не уходил", а "работал "под крышей", занимался безопасностью".
Однако не только безопасностью занимался Якунин в "лихие 1990-е". В 1992 году возглавляемая им корпорация "Стрим" оказалась в центре депутатского расследования, связанного с "нецелевым использованием выделенных федеральным правительством бюджетных средств". Вместе с Якуниным в том скандале фигурировали Владимир Путин, Юрий Ковальчук и арестованный в Петербурге Владимир Кумарин (Барсуков), один из руководителей так называемой тамбовской ОПГ, являвшийся к тому же хорошим знакомым Путина.
В июне 2008 года в ходе задержания полицией нескольких российских граждан в Испании внимание СМИ было вновь привлечено к более ранним публикациям, посвященным связям Путина в 1990-е годы с главой тамбовской ОПГ Кумариным, арестованным в августе 2007 года по обвинению в руководстве этой преступной группировкой и впоследствии осужденным. Следует отметить, что практика ''нецелевого использования выделенных федеральным правительством бюджетных средств'' будет использоваться Якунином на всем протяжении его карьеры в государственных структурах России.
В это же время достоянием общественности стали факты, свидетельствовавшие о неправомерном приобретением рядом руководящих лиц питерской мэрии и крупных бизнесменов дач в поселке, примыкающем к Комсомольскому озеру, и создании ими дачного кооператива "Озеро". В числе счастливых обладателей элитных земельных участков на берегу красивого озера и соседями по дачам оказались Якунин, Путин, Юрий и Михаил Ковальчуки.
В августе 1996 года Путина перевели в Москву на работу в должности заместителя управляющего делами президента РФ. 26 марта 1997 года назначили заместителем руководителя администрации президента России – начальником Главного контрольного управления президента РФ. Практически сразу же после этого последовало назначение Якунина на должность руководителя Северо-Западной окружной инспекции Главного контрольного управления администрации президента РФ.
В июле 1997 года Якунин получил докладную записку от главного контролера-ревизора Контрольно-ревизионного управления министерства финансов России Василия Кабачинова. На восьми страницах ревизор подробно перечислял противоправные операции руководства, к финансовым успехам которого были непосредственно причастны заместитель мэра Санкт-Петербурга Путин и его подчиненный Дмитрий Медведев.
В конце ревизорской справки указывалось, что строительно-финансовая корпорация "Двадцатый трест" задолжала бюджету Санкт-Петербурга сумму в 28 млрд 455 ммлн 700 тыс. руб. "Сообщая об изложенном, направляем материалы проверки для проведения расследования в пределах вашей компетенции", – писал Кабачинов.
Расследования не последовало, и в октябре 2000 года, через шесть месяцев после избрания Путина президентом России, Якунин был назначен на должность заместителя министра транспорта страны, а еще через четыре с небольшим месяца стал главой ОАО ''Российские железные дороги".