В тот же период времени, предположительно, Мазепа замыслил измену Петру, возможный переход на сторону Карла XII и образование из Малороссии самостоятельного владения под верховенством Польского короля. Точная дата начала переговоров неизвестна, но 17 сентября 1707 года Иван Мазепа открылся своему генеральному писарю Орлику. 16 сентября 1707 года он получил от польского короля, сторонника шведов, Станислава Лещинского письмо, где «Станислав просил, чтобы Мазепа «намеренное дело начинал», когда шведские войска подойдут к украинским границам». Было очевидно, «что речь шла о заранее продуманном плане».
В своей беседе с Орликом Мазепа объяснял свои переговоры с Лещинским исключительно военной угрозой. Он сказал, что «будет оставаться верен царскому величеству, «пока не увижу, с какой силой Станислав к границам украинским прейдет и какие будут успехи шведских войск в Московском государстве».
Таким образом, еще за год до перехода на сторону Карла Мазепа подготовил почву для того, чтобы в случае необходимости (как он говорил, «крайней и последней нужды») перейти на сторону противника, если тот будет побеждать. В противном случае он собирался хранить верность русскому царю: «Без крайней и последней нужды не переменю я верности моей к царскому величеству».
Существуют сведения, что первый замысел измены обсуждался Мазепой и вдовой княгиней Дольской, по первому мужу Вишневецкой, в конце 1705 года (известны письма Дольской). Позже Мазепа вступил в тайные переговоры сначала с княгиней Дольской, затем с королем Станиславом Лещинским, в частности, через иезуита Заленского. Чтобы привлечь Мазепу на свою сторону, в 1706 году «княгиня Дольская передала Мазепе слова Б. П. Шереметева и генерала Рена, что Меншиков намеревается стать гетманом или князем Черниговским и «роет яму» Мазепе». Кроме этого, у Петра I накопилось на Ивана Мазепу несколько серьезных доносов. Часть доносчиков удалось нейтрализовать высокопоставленным друзьям гетмана, но угроза оставалась.
Напуганный нависшим над ним «дамокловым мечом» Иван Мазепа еще энергичнее повел переговоры со Станиславом Лещинским и Карлом XII, закончившиеся заключением с ними тайных договоров. Мазепа предоставлял шведам для зимних квартир укрепленные пункты в Северщине, обязывался доставлять провиант, склонить на сторону Карла запорожских и донских казаков, даже калмыцкого хана Аюку.
Осенью 1708 года Петр I пригласил Ивана Мазепу присоединиться с казаками к русским войскам под Стародубом; гетман медлил, ссылаясь на свои болезни и смуты в Малороссии, вызванные движением Карла XII на юг и его предложениями. В то же время он совещался со старшинами, примкнувшими к нему, и вел переговоры с Карлом через Быстрицкого и дипломатические речи с Александром Меншиковым через Войнаровского.
Меншиков решил навестить якобы больного Мазепу. Опасаясь разоблачения, Мазепа с гетманской казной бежал в конце октября с левого берега Десны к Карлу, стоявшему лагерем на юго-востоке от Новгорода-Северска, в Горках. С Иваном Мазепой было 1 500 казаков. Из шведского лагеря гетман написал письмо Скоропадскому, стародубскому полковнику, разъясняя причины своего перехода и приглашая старшину и казаков последовать его примеру.
К шведам, кроме отряда Ивана Мазепы, позднее присоединилась часть запорожского войска под началом кошевого атамана — Константина Гордиенко в количестве до 7 тысяч человек.
По приказу царя Петра I Запорожская Сечь была уничтожена. 156 запорожцев (атаманов и казаков) были казнены, причем несколько человек были повешены на плотах для устрашения других запорожцев.
8 апреля 1709 года Карл XII и Иван Мазепа заключили формальный договор (фиксирующий, по всей видимости, прежние договоренности, частично уже исполненные, а частично уже невозможные), в котором, в частности, даровалось последнему пожизненное звание «законный князь Украины». В обмен на этот титул Иван Мазепа обещал среди прочего передать Карлу XII «на время войны и опасностей» города Стародуб, Малин, Батурин, Полтаву и Гадяч. Уже накануне разгрома «высокие договаривающиеся стороны» поделили Россию между собой: «Все, что завоюется из бывшей территории Московщины, будет принадлежать на основании военного права тому, кто этим завладеет».