Буканьеры были недовольны Шарпом. Он обещал дать каждому по 1 тыс. ф. ст. и не сдержал своего слова. Поэтому, когда все вино было выпито и закончилась мушкетная пальба в честь Рождества, буканьеры переизбрали предводителя. Им стал Джон Уотлинг.
Буканьеры решили повернуть на север и попытаться захватить Арику. Но их опять ждала неудача. В стычке с испанцами погиб Уотлинг. Большинству казалось, что в создавшейся обстановке единственно разумным было бы возвращение Шарпа к руководству отрядом. Он по крайней мере мог управлять «Тринити». Но меньшинство, состоявшее из 44 человек, включая Дампира и Уофера, заявили, что это «неправильный выбор», ибо Шарп не может быть предводителем «ни с точки зрения его отваги, ни манеры поведения». Они забрали три лодки и решили идти на них к Панамскому перешейку, для чего надо было преодолеть 600 миль морского пространства. Руководителем группы стал Джон Кук, по словам Дампира, «разумный, очень интеллигентный человек, несколько лет пробывший приватиром».
Шарп и оставшиеся буканьеры, включая Рингроуза, пошли на юг, намереваясь обогнуть Южную Америку у мыса Горн. По пути они захватили испанский корабль, где обнаружили многочисленные карты Тихого океана. Увидев их, Шарп сразу же сообразил, что в его руки попала большая ценность, ибо подобные карты хранились испанцами в строгом секрете. Отряд Шарпа опять побывал на острове Хуан-Фернандес, где запасся провизией и пресной водой. Шарп решил проделать долгий путь к Барбадосу, не делая остановок.
С Барбадоса Шарп направился в Англию. Он понимал, что будет привлечен к суду за пиратство по требованию испанского посла в Лондоне, но рассчитывал получить прошение, передав британскому правительству захваченные им на испанском корабле карты Тихого океана, с которых он сделал две великолепные копии.
По прибытии в Лондон Шарп передал копии карт королю и первому лорду адмиралтейства. Результат превзошел все его ожидания. Шарп не только не был привлечен к суду, но его сделали капитаном корабля королевского военно-морского флота. На королевской службе, однако, Шарп был очень недолго и опять занялся буканьерством. Жизненные пути Шарпа и Дампира больше никогда не пересекались.
Расставшись с Шарпом, Дампир, Уофер и 42 их товарища, включая пятерых негров-рабов и двух американских индейцев, на большой лодке и двух каноэ отправились на север. Это произошло 17 апреля 1681 г. С этой даты Дампир начал вести регулярные дневниковые записи.
Плавание к Панамскому перешейку было тяжелым, но главные трудности начались на суше. 150 испанских солдат и матросов поджидали англичан на побережье, в районе, наиболее подходящем для высадки. Но буканьеры сумели ускользнуть. Они уничтожили свои лодки и быстро скрылись в прибрежном лесу. Но и там их на каждом шагу подстерегала опасность. Любая встреча с испанцами грозила буканьерам гибелью, ибо если в первый раз, пересекая перешеек с востока на запад, они имели в своих рядах почти 350 человек, то сейчас их было всего 44. Страх перед испанцами постоянно преследовал их. Они даже условились между собой, что сзади идущий убьет своего товарища, если увидит, что тому грозит плен. Начался мучительный переход к восточному побережью перешейка. Предвидя ожидавшие его опасности, Дампир, и это очень характерно для него, позаботился в первую очередь о сохранении своих записей: «Я достал толстый ствол бамбука, залепил его с обеих концов воском, чтобы вода не проникла внутрь. Так я сохранил мой журнал и другие записи, хотя мне часто приходилось перебираться вплавь».
Идя по компасу через тропические джунгли, буканьеры должны были прорубать себе путь в дремучей чаще. Беспрерывно шли ливневые дожди. Сокращая путь, буканьеры преодолевали бесчисленные речки и ручьи. Они бы умерли с голоду, если бы не доброе отношение местных индейцев, которые кормили их и показывали путь.
На шестой день пути случилось несчастье с Уофером.
Тот сушил порох. В это время искра из трубки стоявшего рядом буканьера упала на кучку пороха и воспламенила его. Уофер получил такой сильный ожог колена, что не смог дальше идти, несмотря на все усилия. Он решил остаться у индейцев. К нему присоединились еще двое пожилых буканьеров, совершенно выбившихся из сил. Они прожили среди индейцев четыре месяца и так «акклиматизировались» среди них, что стали даже раскрашивать и татуировать себя в индейском стиле.