Французы занимали более выгодную позицию, которую с правого фланга прикрывала река Полота. Здесь стоял 6-й армейский корпус Сен-Сира с большей частью бригады Корбино. На левом фланге располагалась дивизия генерала К. Леграна с полком дивизии генерала Ж. Вердье; справа, на противоположном берегу р. Полоты, – остальные части дивизии Вердье и дивизия генерала П. Мерля, бригада генерала Б. Кастекса и тяжелая кавалерийская дивизия генерала Ж. Думерка.
Утром 5 (17) августа Витгенштейн начал атаку неприятеля, избрав главным пунктом атаки усадьбу Спас, которая была прикрыта болотистым оврагом. Удар пришелся между центром и правым крылом французской позиции. Витгенштейн, не рассчитывая вести широкомасштабную наступательную операцию, намеревался заставить противника отступить за Западную Двину.
В начале сражения авангард русских войск, наступая на Спас, потеснил французов, но не смог развить успех, поскольку Удино перебросил сюда дополнительные части. Учитывая изменение обстановки, Витгенштейн направил на помощь 8 батальонов генерал-майора Г. Берга, что в некоторой мере ослабило центр. После этого именно в центр последовало несколько атак Удино (во время одной из них он был тяжело ранен в плечо). Наступление французов продолжалось, однако оборона была усилена дополнительным пехотным полком, и к наступлению ночи русские войска остались на своих позициях. Это и было фактическим результатом боевых действий этого дня. При этом на правом фланге русские войска не вели активных действий, ограничиваясь вялой перестрелкой.
В ночь с 5-го на 6 августа Сен-Сир, который заменил выбывшего из строя Удино, собрал командиров на совет и предложил атаковать российские войска всеми силами обоих корпусов. Согласившись, генералы скорректировали план, поскольку солдаты были изнурены и не могли биться весь день. В связи с этим начало наступления отложили до послеобеденного времени. Необходимо учитывать, что войска Сен-Сира были более многочисленны, чем российские, но ряд обстоятельств в определенной мере уравнивал силы. В частности, российский корпус был лучше снабжен, а французским войскам приходилось выделять значительные силы для добывания припасов.
Перед боем Сен-Сир начал передвижения войск на левом берегу реки Западная Двина, что в какой-то мере отвлекло Витгенштейна от скрытой перегруппировки войск на правом берегу. Когда начался бой, французы, сломив сопротивление русских войск, вынудили их левый фланг отойти. Последние явно не ожидали атаки и первоначально были полностью дезорганизованы, но вскоре стали яростно отбиваться. Сен-Сир вспоминал: «Русские выказали в этом деле непоколебимую храбрость и бесстрашие, каких мало найдем примеров в войсках других народов. Их батальоны, застигнутые врасплох, разобщенные одни от других, при первой нашей атаке, не расстроились и продолжали сражаться, отступая чрезвычайно медленно и обороняясь со всех сторон с таким мужеством, какое, повторяюсь, свойственно только одним русским. Они совершали чудеса храбрости, но не могли удержать одновременного напора четырех дивизий…»
В таких условиях французы атаковали центр, где удалось захватить несколько орудий. Началось отступление дивизии Берга и авангарда Властова. Но на правом фланге наступление французов было приостановлено. При этом чуть не попал в плен сам Сен-Сир, а генерал Деруа был убит. К вечеру сражение прекратилось.
7 (19) августа войска Сен-Сира оставались в Полоцке. После боев 9 августа Витгенштейн отступил на позиции за рекой Дрисса.
Упоминавшийся выше военный медик Франсуа Мерсье следующим образом оценивал действия Сен-Сира в событиях Первого полоцкого сражения: «Благоразумие подсказало Удино очистить Полоцк и переправить свой отряд на противоположный берег Западной Двины; он уже отдал приказ об отступлении и начал его осуществлять под покровом ночной темноты, когда усилившаяся от полученной раны боль принудила его передать командование отрядом генералу Гувион Сен-Сиру. Обозы, кавалерия и артиллерия успели к этому моменту уже перейти реку; эти передвижения не могли, разумеется, укрыться от внимания неприятеля, который ожидал, что и остальная часть французского отряда отступит в том же направлении. Когда Гувион Сен-Сир принял на себя командование корпусом, он постарался укрепить неприятеля в этом заблуждении; с этой целью уже с наступлением дня он заставил продефилировать обозы в сопровождении небольших отрядов войска по таким дорогам, чтобы русские могли их ясно различить с правого берега реки. А в то же время французская артиллерия и кавалерия переправилась обратно через Двину в другом пункте. Эти войска приблизились с разных сторон, чтобы снова занять позиции, покинутые в виду неприятеля. В мгновение ока русские были сильно атакованы как раз в тот момент, когда они уже не сомневались более в успехе; они защищались с упорством и самоотверженностью, вообще им свойственной, но в конце концов, будучи выбиты из позиций и теснимые со всех сторон, они должны были отступить за Дриссу, где с трудом могли найти для себя убежище. Это блестящее военное дело дало Гувион Сен-Сиру звание французского маршала».