С началом войны со Швецией главным местом военных действий должна была стать Ингрия — побережье Финского залива. Чтобы уберечь армию от вражеского удара с фланга, решено было овладеть ключевой крепостью Нарвой и всем течением реки Наровы. Шереметеву же в это время было поручено формирование полков дворянского ополчения. Петр спешил с открытием военных действий: «Полно отговариваться, пора делать, — пишет он, — воистину мы не под лапу, но в самый рот неприятеля идем, однакож за помощию Божиею не боимся». В конце сентября Шереметев с 6-тысячным отрядом дошел до Везенберга, но, не вступая в сражение, отступил к главным русским силам под Нарву. Во время Нарвского сражения дворянская конница первой бежала с поля боя. Борис Петрович оправдывался перед царем: «Бог видит мое намерение сердечное, сколько есть во мне ума и силы, с великою охотою хочу служить, а себя я не жалел и не жалею».
Оставшись за главного начальника в руководстве военными действиями в Лифляндии, Шереметев с июня 1701 г. начал именоваться в официальных документах генерал-фельдмаршалом. В декабре русские войска одержали первую победу над шведами при Эрестфере. Против 7-тысячного отряда генерала Шлиппенбаха действовало 10 тысяч конницы и 8 тысяч пехоты при 16 орудиях. Был момент, когда исход сражения казался сомнительным; неприятель опрокинул русскую кавалерию, но вовремя подошедший генерал Чамберс ударил шведам в тыл, и фельдмаршал получил возможность перейти всеми силами в наступление и разбить врага. Оценивая значение этой победы, Петр писал: «Мы дошли до того, что шведов побеждать можем; пока сражались двое против одного, но скоро начнем побеждать их и равным числом». За эту победу царь наградил Шереметева орденом св. Андрея Первозванного.
В начале 1702 г. новая стычка со Шлиппенбахом опять принесла успех русским, у которых было около 30 тысяч войска, шведов же насчитывалось всего около 13 тысяч. Шведский корпус неожиданно настигла легкая русская конница, а подошедшая позднее пехота довершила разгром. В том же году были взяты крепости Мариснбург и Нотебург, а в следующем — Ниеншанц, Ямбург и др. Лифляндия и Ингрия полностью оказались в руках русских. В Эстляндии был взят штурмом Везенберг.
По военное счастье фельдмаршала не было постоянным. При осаде Дернта царь вынужден был отменить некоторые его распоряжения, касающиеся осады, и город удержать не удалось. В июле 1705 г. из-за несогласованности действий русские потерпели поражение в Курляндии у деревни Мур-Мыза от генерала Левенгаупта.
Летом 1705 г. вспыхнуло восстание на юге России, в Астрахани, во главе которого стали стрельцы, высланные в большинстве сюда после стрелецких бунтов в Москве и других городах. Для подавления бунта царем был выбран Шереметев. С одной стороны, популярность фельдмаршала, с другой — его осторожность и рассудительность делали его наиболее подходящим человеком для выполнения такой задачи. В марте 1706 г. царские войска подошли к городу. После бомбардировок Кремля мятежники не выдержали и быстро сдались. Уже к июлю последствия бунта были окончательно ликвидированы. «За который ваш труд, — писал царь, — Господь Бог вам заплатит и мы не оставим». Шереметев первым в России был пожалован графским российским титулом, получив еще и 2400 дворов, а его сын Михаил был из стольников произведен в полковники.
В 1707–1708 гг. фельдмаршал провел большую работу по укреплению армии, особенно на западном театре военных действий, в Польше и Литве, о чем свидетельствует его обширная деловая переписка с царем, вельможами и высшим генералитетом. Весь 1708-й и весна 1709 г. прошли в подготовке русских и шведов к генеральному сражению, но шведские войска, оторванные от баз снабжения и растрачивавшие свои силы на второстепенных участках военных действий и при штурмах небольших крепостей, постепенно теряли солдат, артиллерию и запасы. Русская же армия, день ото дня пополнявшаяся резервами, получавшая опыт в боях и стычках с противником, крепла и повышала боевое мастерство.
В конце мая 1709 г. Шереметев прибыл под Полтаву и здесь сразу же вступил в обязанности главнокомандующего. Между ним и шведским фельдмаршалом Ренншильдом было заключено соглашение о начале генеральной баталии 29 июня, по слух о подходе к русской армии подкреплений заставил Карла XII нарушить договор и перенести начало сражения на утро 27 июня. Во время Полтавского сражения Шереметев считался главнокомандующим лишь формально, руководил же всеми действиями сам Петр. Объезжая перед боем войска, царь обратился к Шереметеву: «Господин фельдмаршал! Поручаю вам мою армию и надеюсь, что в начальствовании оною вы поступите согласно предписанию, вам данному, а в случае непредвиденном, как искусный полководец. Моя же должность — надзирать за всем вашим начальствованием и быть готовым на сикурс во всех местах, где требовать будет опасность и нужда».
В восемь утра шведы пошли в атаку. Русские войска двинулись навстречу с артиллерийским и ружейным огнем. Враги сошлись в рукопашной схватке, но русская кавалерия стала охватывать шведов с флангов, и они, смятые и разбитые, вынуждены были спасаться бегством. Через несколько дней от армии Карла XII ничего не осталось. После победы в наградном списке имя фельдмаршала стояло первым. Он получил в награду село Черная Грязь, но остался недоволен, считая себя обойденным.
Спустя всего несколько дней после Полтавской победы царь отправил Шереметева с частью войск под Ригу. Когда началась осада, Петр запретил штурмовать крепость, стараясь сохранить солдат, но эпидемия чумы и голод одинаково действовали и на осаждавших, и на осажденных. 4 июля 1710 г. капитуляция Риги была подписана и русские войска вступили в город. Петр I писал фельдмаршалу: «Письмо ваше о сдаче Риги я с великою радостию получил».
В конце осени Турция объявила войну России, и Петр распорядился отослать на юг войска из Прибалтики. С весны начался неудачный для России Прутский поход. Слабая подготовленность к этой войне сказалась, когда армия в начале июля была окружена у реки Прут турецко-татарскими войсками. Противник безуспешно штурмовал укрепленный лагерь, но петровская армия ружейным и пушечным огнем всякий раз отбрасывала атакующих. На военном совете решено было отказаться от капитуляции и прорываться с боем, однако 10 июля начались переговоры, завершившиеся подписанием мира, достаточно тяжелого для России, но необходимого в этих условиях. 12 июля русские полки двинулись из Прутского лагеря в обратный путь.
По возвращении Шереметев командовал войсками на Украине и в Польше, но активных военных действий не вел. С 1714 г. Петр I послал фельдмаршала в Померанию, но постепенно стал терять к нему доверие. Царь подозревал Шереметева в сочувствии к царевичу Алексею, поскольку его имя служило в некоторой степени знаменем в руках противников нового порядка. К тому же фельдмаршал чувствовал себя физически все хуже. Еще в декабре 1716 г. он был освобожден от командования армией и получил возможность уехать в Москву. Он просил Петра дать ему другую должность, более подходящую к его летам и силам, и царь думал назначить его генерал-губернатором им же завоеванных земель в Эстляндни, Лифляндии и Ингрии. Но назначение не состоялось: 17 февраля 1719 г. Борис Петрович умер. Вопреки завещанию похоронить его в Киево-Печорской лавре, останки его были преданы земле в Александро-Невской лавре Санкт-Петербурга.