В колониальном управлении полковник передал Флиндерсу сундук с бумагами. Шпага и подзорная труба, сообщил он, будут возвращены при отплытии с острова, так же как и деньги, вырученные от продажи «Камберленда». Флиндерс, просмотрев содержимое переданного ему сундука, обнаружил, что некоторых материалов, относившихся к его плаванию, там нет. Кроме того, многие бумаги и письма из-за небрежного хранения были так испорчены, что прочитать их не представлялось возможным.
Флиндерс тут же передал через Монистроля письменный протест, в котором обращал внимание Декана на то, что: «1. Различные письма и бумаги либо полностью, либо частично уничтожены крысами, клочки этих материалов находятся в сундуке. 2. Отсутствует третий том моего дневника, содержащий описания наблюдений, сделанных на борту «Исследователя», «Морской свинки» и шхуны «Камберленд» за период с июня по 17 декабря 1803 г., дубликата которого я не имею. 3. Отсутствуют два ящика с официальными письмами. В одном из них находились письма от его превосходительства губернатора Нового Южного Уэльса Кинга, адресованные секретарю министерства колоний, а в другом — письма полковника Патерсона, помощника губернатора Нового Южного Уэльса, не помню, кому адресованные».
В Порт-Луи Флиндерс встретился с капитаном «Маркиза Уэллсли» Стоком, и они договорились, что в случае, если губернатор отпустит Флиндерса, он покинет остров на борту этого судна. Но поскольку у Флиндерса было сильное подозрение, что Декан и на этот раз постарается его задержать, он переправил большую часть своих книг и материалов на корабль «Маркиз Уэллсли», а также написал адмиралу Пеллю, что сомневается, выполнит ли губернатор распоряжение морского министра.
Подозрения Флиндерса полностью оправдались. Декан не разрешил ему уехать с острова. Простояв в порту три месяца, «Маркиз Уэллсли» покинул его, не взяв на борт ни одного англичанина.
Перед отплытием капитан Сток послал Декану письмо с просьбой отпустить Флиндерса. Секретарь губернатора устно передал Флиндерсу ответ на него. Губернатор очень сожалеет, сказал он, что не имеет возможности отправить капитана Флиндерса на корабле «Маркиз Уэллсли». Но как только обстоятельства позволят, капитан Мэтью Флиндерс будет освобожден и отправлен в Лондон.
Прошло восемь месяцев, а Флиндерс продолжал томиться в плену. В течение этого времени он неоднократно обращался с просьбой объяснить ему причины задержки на острове, несмотря на распоряжение французского правительства, но ответа не получал.
В июле 1808 г. из Франции пришли два судна, Флиндерс надеялся, что они привезли повторный приказ о его освобождении, и послал письмо губернатору. Но последний ответил, что никаких указаний относительно его освобождения не получено.
В сентябре во Францию отправился фрегат «Резвый». Два французских морских офицера согласились взять у Флиндерса письма в морское министерство, сенат, государственный совет, а также видным ученым. Флиндерс настойчиво использовал любую возможность связаться с французскими и британскими властями, обратить их внимание на свое положение, но его надежды на освобождение постепенно угасали. «Используя эту и другие возможности, — писал он впоследствии, — я сообщал Адмиралтейству и президенту Королевского общества относительно задержки выполнения приказа о моем освобождении. Мои друзья на Маврикии, зная о всех предпринятых мною шагах, выражали уверенность в успехе, но я, будучи столь часто обманут, был менее оптимистичен. Мои обращения и письма ни к чему не приводили, и оставалось мало надежды быть освобожденным до призрачного времени заключения мира».
Но Флиндерс не сдавался. «Постоянные занятия были для меня, как обычно, средством заполнить время ожидания… Получив от друзей несколько рукописей, содержавших описания исследований внутренних районов и побережья Мадагаскара, я начертил карту северного побережья этого обширного острова, которую сопроводил запиской, анализировавшей имевшийся у меня материал. В этих занятиях, а также в чтении французских авторов, математических исследованиях и встречах с многочисленными друзьями из местных жителей время тревожного ожидания прошло небесполезно».
В марте 1809 г. в Порт-Луи прибыл фрегат «Венера», капитаном которого были Гамелен, в свое время командовавший «Натуралистом», одним из кораблей, участвовавших в экспедиции Бодена. Он не мог встретиться с Флиндерсом, но просил ему передать, что несколько офицеров, принимавших участие в указанной экспедиции, обращались к морскому министру по поводу освобождения Флиндерса и получили ответ, что на Иль-де-Франс был послан приказ о его освобождении и передаче ему «Камберленда». Было ли во Франции известно до ухода в плавание «Венеры», что Декан не выполнил приказ министра, Флиндерс не знал.