24 октября 1708 года Мазепа переправился через Сейм, спустя несколько дней соединился со шведами и присягнул в верности Карлу. Мазепа полагал, что его переход на сторону шведов послужит сигналом к восстанию всей Украины против Петра I. Гетман жестоко ошибся. Весть об изменническом союзе гетмана с поляками и шведами вызвала негодование всего украинского народа, заклеймившего Мазепу вечным позором. Все казацкие полки, за исключением Батуринского, остались верны России.
2 ноября Меншиков взял штурмом Батурин, оплот сторонников гетмана. Дело Мазепы было проиграно. В Глухове был избран новый гетман И. И. Скоропадский, который обратился к украинцам с «универсалом», призывавшим их к совместной с русскими борьбе против вторгшихся в «ридный край» шведов.
Между тем шведы вступили на украинскую землю. Попытки Карла выйти на дорогу к Москве не увенчались успехом; напрасно шведы осенью пытались прорваться к Калуге, а зимой через Красный Кут к Белгороду и Харькову. Двигавшееся параллельно шведскому русское войско, не давая генеральной битвы, непрестанными мелкими боями отбрасывало шведов в сторону от желательного для них пути. Холодной суровой зимой 1708/09 года Карл бродил со своими войсками по Украине в районе Полтавы, Ромен, Гадяча и Веприка, неся потери от русских войск и умело действовавших украинских партизан из казаков, крестьян и мещан. «Мы неожиданно вынуждены были все время воевать с жителями того края, куда мы вошли», — признавал шведский генерал Адлерфельд. «Вреднее всего шведам, — писал этот историк Карла XII, — враждебность жителей, которые прятались за деревьями и кустами и подстреливали солдат».
В боях под Пирятином, Мглином, Недригайловым, Рашевкой местные жители-партизаны нанесли большой урон шведам.
Весной 1709 года отряд регулярных войск и украинских казаков под командованием полковника Яковлева разгромил перешедших на сторону Мазепы запорожцев кошевого атамана Гордиенко.
Чтобы запугать украинский народ, шведы жгли села и деревни, истребляли население, не щадя детей, стариков и женщин. Однако жестокость врага вызывала в народе не страх, а ненависть. Народная «малая война» разгоралась и весной 1709 года достигла апогея.
Нуждаясь в продовольствии и боеприпасах, потерпев неудачу во всех попытках открыть себе путь на Москву, шведы решили осадить Полтаву, где имелись и боеприпасы, и продовольствие, и откуда шли незащищенные дороги на Москву, на восток, к Воронежу.
3 апреля 1709 года шведы уже стояли под стенами Полтавы. Город был слабо укреплен земляным валом и ветхим деревянным частоколом, в котором имелись бойницы. Карлу казалось, что при таком состоянии обороны Полтава падет после первого же выстрела. Но он ошибся и на этот раз. Четырехтысячный гарнизон города, усиленный вооруженными горожанами, выдержал трехмесячную осаду. Командир гарнизона полковник А. С. Келин показал себя даровитым военачальником. Шведы рыли подкопы и закладывали в них мины, но русские делали контрподкопы и вынимали заложенный шведами порох. Не раз осажденные отчаянными вылазками отбрасывали врага от городских стен, нанося ему большой урон.
Вскоре к Полтаве подошли свежие войска под командованием Меншикова. На заре 7 мая русская пехота перешла мост через Ворсклу, а конница переправилась через нее вплавь. Русские выбили шведов из полевых укреплений и взяли в плен 300 солдат и несколько офицеров. 15 мая русскому отряду под командованием бригадира Головина удалось прорваться в город на помощь гарнизону.
Шведские войска 15, 24 и 29 мая штурмовали Полтаву, но каждый раз, понеся большие потери, откатывались назад. В ответ на предложение сдаться полтавчане предприняли еще две успешные вылазки.
А в это время из Азова через степи спешил в Полтаву Петр I. Чутье полководца подсказывало ему, что подошло время для перехода в наступление. «Объявляем вам, — писал он Долгорукому и гетману Скоропадскому, — что мы здесь намерены неприятеля всеми силами атаковать». Из Харькова царь писал Меншикову, что будет «как возможно поспешать», и требовал от него решительных действий.
Готовилась «генеральная баталия».
4 июня Петр I прибыл в армию, действовавшую под Полтавой. Теперь русское войско совсем не походило на то, которое беспорядочно отступало от Нарвы осенью 1700 года. Лицом к лицу с врагом стояли солдаты, закаленные в боях, хорошо вооруженные и обмундированные, и начальствовали над ними не наемники-иноземцы, готовые при случае изменить России, а преданные родине русские офицеры.