Разбойники ничего не знали об этих приготовлениях. Они доставили пленных на корабль и присоединили к тем рабам, которых захватили в Маракайбо. Так они вошли в Гибралтар. Однако, приблизившись, они увидели развевающиеся повсюду флаги и множество народа. Олоне, как вожак всех пиратов, посоветовался с другими командирами, потом со всеми, кто его окружал, и дал понять, что отступать не намерен, хотя испанцы и узнали об их приближении и собрали большие силы. Его мнение было таково: "Они сильны, так тем больше мы захватим добычи, если победим их". Все единодушно поддержали его и сказали, что лучше биться, надеясь на добрую добычу, чем скитаться неведомо сколько без неё. Олоне закончил так: "Я хочу предупредить вас, что того, кто струсит, я тотчас же зарублю собственной рукой".
Приняв решение драться, пираты подвели корабли к берегу и стали на якорь примерно в четырёх милях от города. На следующее утро задолго до восхода солнца Олоне высадил людей на берег. Пиратов было триста восемьдесят человек. У каждого было доброе ружье, а на боку патронташ с порохом на тридцать зарядов, и, кроме того, у всех было по два пистолета и по острому палашу. Все взяли друг друга за руки и поклялись стоять друг за друга до самой смерти. Затем Олоне рванулся и закричал: "Allons mes frairs — suivez moi, et ne faites point des lashes!" (Вперёд, мои братья, за мной, и не трусьте!) И пираты бросились в атаку. Но путь, который им указал начальник, привёл к завалу, а другая дорога — к болоту, на которое так надеялись испанцы. Пираты же не растерялись и принялись рубить саблями сучья и устилать ими дорогу, чтобы не завязнуть в трясине. Тем временем испанцы открыли огонь из пушек, и поднялся такой дым и такой грохот, что пираты на какое-то время совсем ослепли и оглохли. Наконец они выбрались на твёрдую землю как раз там, где стояло шесть пушек, и пушки эти ударили по ним дробью и картечью.
Затем, на миг прекратив огонь, испанцы сделали вылазку, но пираты их встретили так, что мало кто из испанцев вернулся назад. А пушки снова стали без передышки бить по пиратам, среди которых было уже много мёртвых и раненых. Поэтому пираты решили прорываться через лес, но и это им не удалось. Испанцы повалили большие деревья и загородили путь. Но, несмотря на все трудности, мужество не покидало пиратов, и они отвечали сильным оружейным огнём.
Испанцы не могли сделать больше ни одной вылазки, но и пираты не могли перейти через туры. Олоне учёл это и, решив перехитрить испанцев, приказал отходить. Заметив, что пираты отходят, испанцы вышли за туры и погнались за врагами, и было их человек двести. Но пираты неожиданно повернули, дали залп, а затем схватились за палаши и набросились на испанцев, сразу же перебив большинство из них. В бешенстве перепрыгнув через туры, пираты тут же овладели укреплениями и обратили тех, кто за ними скрывался, в бегство. Они оттеснили испанцев к зарослям и перебили всех до одного. Часть испанцев бежала на редуты, и они заранее готовы были сдаться в плен».
Дю Тертр, беседовавший на Тортуге с некоторыми из участников этого похода, позже писал, что пираты «весьма приукрасили эту историю; но всё, что мне удалось узнать, так это то, что битва была великой и весьма упорной, с резнёй друг друга, и что испанцы уступили».
По испанским данным, в бою погибло 400 защитников Гибралтара, включая Сандоваля и почти всех его офицеров; ещё 100 солдат сдались в плен. Шарлевуа сообщает, что из 600 испанцев, оказывавших сопротивление флибустьерам, 200 человек погибло и ещё 100 получили ранения. Потери французов составили примерно 100 человек убитыми и ранеными.
Овладев Гибралтаром, флибустьеры сорвали неприятельские флаги, разграбили всё, что смогли найти в селении, и перетащили добычу в собор.
«Перед ним выставили орудия и насыпали бруствер, чтобы предохранить себя от внезапного нападения, — продолжает свой рассказ Эксквемелин. — Пираты… полагали, что испанцы призовут всех окрестных жителей. Однако следующий день принёс им другие заботы — надо было избавиться от зловония, которое издавали трупы: ведь они перебили не менее пятисот испанцев, и много раненых испанцев укрылось в зарослях и там, вероятно, отдало богу душу. Кроме этого пираты захватили в плен сто пятьдесят мужчин и не меньше пятисот женщин, рабов и детей. Когда всё стихло, пираты подсчитали свои потери, и оказалось, что убито всего сорок человек, а ранено тридцать, но почти все смертельно; сырой воздух вызывал лихорадку, раны гноились. Пираты швырнули трупы испанцев на две старые барки, которые они нашли на берегу, и, отъехав за четверть мили, выбросили все тела за борт. Забрав все деньги и имущество, которое удалось собрать в городе, пираты расположились на отдых и четыре-пять дней никуда не показывались.