Мартин согласился, и 6 марта 1742 г. они вместе с другими чоно отправились в путь, держась берега, гребя на север. Вскоре, когда многие из них искали на берегу пищу, шестеро из них скрылись с баржи, и о них больше никогда не было слышно. " Что могло спровоцировать злодеев на столь подлый поступок, я сказать не могу, разве что их трусость", - вспоминал в своем отчете Чип. Однако мичман Кэмпбелл подслушал, как дезертиры шептались о своем желании освободиться от капитана-мономаньяка.
Чоно продолжил переправлять группу через Гольфо-де-Пенас к острову Чилоэ. Без баржи они шли на каноэ чоно, периодически останавливаясь, чтобы собрать еду на берегу. Во время путешествия один из каставаров умер, и остались только " пять бедных душ", как выразился один из них: Чип, Байрон, Кэмпбелл, Гамильтон и Эллиот.
Байрон всегда считал, что Эллиот, скорее всего, выживет, но этот некогда несгибаемый человек становился все слабее и слабее, пока не лег на бесплодный участок берега. Его тело сморщилось до костей, а голос угас. Он нащупал свою единственную ценную вещь - карманные часы - и протянул их Кэмпбеллу. Затем, как отметил Кэмпбелл, он " покинул эту жалкую жизнь". Байрон, сетуя на то, как они " выскребли для него яму в песке", кажется, тяготился произвольностью своей судьбы. Почему так много его товарищей умерло, а он должен жить?
Пересекая залив, четверо путешественников следовали советам своих проводников-чоно о том, когда грести, когда отдыхать, как найти укрытие и лимпий. Но даже в этом случае рассказы путешественников свидетельствовали о присущем им расизме. Байрон постоянно называл патагонцев "дикарями", а Кэмпбелл жаловался: " Мы не могли найти ни малейшего недостатка в их поведении: они считали себя нашими хозяевами, а мы - обязанными подчиняться им во всем". Однако чувство превосходства кастамайзеров ежедневно разрушалось. Когда Байрон сорвал несколько ягод, чтобы поесть, один из чоно выхватил их у него из рук, указав, что они ядовиты. " Таким образом, по всей вероятности, эти люди спасли мне жизнь", - писал Байрон.
Пройдя около семидесяти миль, путешественники увидели на северо-западе мыс залива, который им ранее не удалось обогнуть. К их удивлению, проводники не стали вести их в том направлении. Вместо этого они вытащили каноэ на сушу и принялись разбирать лодки на части, каждая из которых была разделена на пять отдельных компонентов, что облегчало их транспортировку. Каждому достался свой кусок, который он должен был тащить, кроме Дешевого. Не имея больше мечты, которая могла бы поддержать его, он, казалось, распадался не только физически, но и психически. Набирая понемногу еду и бормоча себе под нос, он потребовал помощи, как только начался поход.
Они последовали за Мартином и его отрядом по тайной тропе - восьмимильному портовому маршруту через дикую местность, который позволил им избежать опасного моря вокруг мыса. Они пробирались через болото, погружаясь в воду по колено, а иногда и по пояс. Байрон понял, что кража баржи облегчила им задачу: они никак не смогли бы протащить ее по суше. Но даже без нее Байрон выбился из сил и через несколько миль рухнул под деревом, где, по его словам, " предался меланхоличным размышлениям". Он видел, как другие в конце концов поддавались заманчивой перспективе раствориться в другом мире. По крайней мере, для того, чтобы попасть туда, не потребуется больше труда. Но Байрон заставил себя встать: "Этим размышлениям не будет конца".
По окончании перехода чоно собрали каноэ и спустили их на воду в канале, проложенном между раздробленными островами у берегов Чили. В течение нескольких недель корабль продвигался на север, переплывая из канала в канал, из фьорда в фьорд, пока однажды в июне 1742 г. вдали не показался мыс. Мартин объявил, что это остров Чилоэ.
Чтобы добраться до него, им еще предстояло пересечь залив, выходящий в беспрепятственный Тихий океан, который был настолько опасен, что служил естественным барьером для вторжения испанцев дальше на юг. " Там было самое страшное пологое море, опасное, конечно, для любой открытой лодки, - отмечал Байрон, - но "в тысячу раз больше" для их крошечных каноэ". Гамильтон решил подождать несколько дней с одним из чоно, прежде чем отважиться на попытку. Но трое других путешественников отправились в каноэ вместе с Мартином, который соорудил из кусков одеял небольшой парус для движения. Начался снегопад, и лодка дала течь. Байрон стал судорожно спускать парус, а Дешевый бормотал что-то на ветру. Они продержались всю ночь, и лодка зашаталась. Но когда взошло солнце, путешественники преодолели проход и коснулись южной оконечности острова Чилоэ. Прошло три месяца с тех пор, как они покинули остров Вэйджер, и почти год с тех пор, как они потерпели кораблекрушение. Как писал Байрон, он сам и другие потерпевшие кораблекрушение " едва ли были похожи на людей". Дешели был в тяжелейшем состоянии. " Я могу сравнить его тело не с чем иным, как с муравейником, по которому ползают тысячи этих насекомых", - отмечал Байрон. "Теперь он уже не пытался хоть как-то избавиться от этих мучений, так как совсем потерял себя, не помнил ни наших имен, которые были рядом с ним, ни даже своего собственного. Борода у него была длинная, как у отшельника, ноги - огромные, как мельничные столбы, а тело - сплошная кожа да кости".