Так Іван Мазепа був змушений втретє починати свою кар'єру майже з нуля. Проте чому з нуля? Адже він чудово вмів привертати до себе надзвичайно різних людей. Опинившись у новій, спочатку навіть загрозливій обстановці, Мазепа зумів швидко зорієнтуватися. Йому вдалося здобути довіру Самойловича, взагалі не дуже схильного комусь довіряти (так, він підозрював власного сина Григорія у намірах відібрати в нього гетьманську булаву). Але Мазепу (його дружина Ганна була далекою родичкою гетьманової племінниці Марії Самойлович через Горленків) Самойлович невдовзі робить «гетьманським дворянином». Літопис Величка так змальовує службу Мазепи у Самойловича: «А в Самойловича… усе виконував вірно, охоче і справно, як людина розумна і вдатна в усіляких ділах, і, отак служачи, скоро дослужився його ласки й пошани, тож спершу став гетьманським дворянином, а потім був учинений від Самойловича генеральним військовим осавулом». Зауважимо, що літописець Величко – людина, наближена до родини Кочубеїв, – у цілому негативно ставиться до постаті гетьмана Мазепи, але й він віддає належне «розтропності й цікавості» Івана Степановича.
Як наближена до гетьмана людина, Мазепа був у курсі всієї політики Самойловича, і його вплив на формування цієї політики в 70-ті, а особливо у 80-ті роки XVII століття був значним. Мазепа як генеральний військовий осавул бере участь у Чигиринських походах козацького війська 1677 та 1678 років, коли об'єднані армії Самойловича та російського боярина Г. Ромодановського боронили Чигирин від турецької навали.
Та плани Самойловича утримати за собою Правобережжя (адже після зречення Дорошенка в 1674 році Самойлович став номінально гетьманом «обох боків Дніпра») були перекреслені Бахчисарайським миром Росії з Туреччиною і Кримом (1681 рік), за яким ця територія залишалася під владою Османської імперії. Після такої відчутної невдачі Самойлович спробував поширити свою владу на нещодавно виниклий і заселений переважно українцями з Правобережжя регіон – Слобідську Україну. Саме Іванові Мазепі та своєму небожеві, Михайлу Самойловичу, доручив гетьман ведення переговорів у Москві про статус Слобожанщини (відбувалися вони наприкінці 1680 – у 1681 році), але російський уряд категорично відмовився передати слобідські полки під контроль гетьмана Лівобережної України, залишивши їх у прямій залежності від бєлгородського воєводи. У січні 1686 року Мазепа (вже як генеральний осавул – ним він став у 1682 році) разом із сином Івана Самойловича Григорієм передає російському урядові українські застереження і побажання у зв'язку з горезвісним «Вічним миром» Росії та Польщі (який став черговим порушенням Росією Березневих статей Б. Хмельницького – адже в них йшлося про відвоювання у поляків усієї козацької України, Вічний же мир фіксував поділ України між Москвою та Варшавою по Дніпру та передбачав російсько-польський союз проти Туреччини). У Івана Степановича з'являються зв'язки у колах російської знаті. Так, він знайомиться з фаворитом цариці-регентки Софії – князем Василем Голіциним, людиною добре освіченою на європейський кшталт, розумною, але надзвичайно амбітною, користолюбною, до того ж поганим воєначальником. Але найголовніше – майбутній гетьман здобув ґрунтовне знання того, як робиться політика в Москві, добре вивчив тамтешню «владну кухню», що й допомогло йому втриматися в своєму кріслі довше за будь-якого попередника.
Слід зауважити, що в цей період свого життя Іван Мазепа, крім дипломатичних місій до Москви, бере участь і в суто українських справах – наприклад, у виборах Київського митрополита, котрим став ще один родич Самойловича Луцький єпископ князь Гедеон Святополк-Четвертинський (1685 рік). Ця подія знаменувала собою початок підпорядкування Української православної церкви не Константинопольському, а Московському патріархатові. Займається Мазепа й родинними справами Самойловичів – наприклад, у березні 1685 року він їздив до Києва, аби довідатися про стан здоров'я доньки Самойловича (дружини боярина П. Шереметева).