«Мы, заточенные в центре города, — писал впоследствии Флиндерс, — а до этого три месяца находившиеся в крайней тесноте на двадцатидевятитонном суденышке, особенно остро ощущали все неудобства нашего положения, да и тягостное чувство, вызванное столь плохим обращением, пагубно отражалось на нашем здоровье. Но жара и недостаток свежего воздуха были еще не самыми страшными бедами. Наши незавешенные кровати осаждали полчища клопов и рои москитов, и укусы этих насекомых… были значительно болезненнее, чем обычно. Почти весь покрытый зудящими ранкам, которые на ногах и руках превращались в язвы, я написал губернатору, прося его прислать ко мне врача, а также сообщить, каким образом я могу послать письма в Адмиралтейство Великобритании, а также своей семье и друзьям. Основной вопрос я не затрагивал, ожидая ответа на ранее посланное письмо».
В полдень один из офицеров сообщил Флиндерсу, что губернатор разрешает ему писать письма, но они должны передаваться мэру города незапечатанными, а тот уж будет посылать их адресатам. Вечером к Флиндерсу пришел врач и затем посещал его ежедневно.
Ответа на свое первое письмо губернатору Флиндерс не получил. Поэтому 25 декабря он написал новое письмо, в котором вновь отвергал домыслы о его шпионских действиях, указывал, что поражен «неджентльменскими и неосмотрительными» действиями офицера столь высокого ранга. Он настаивал на освобождении и разрешении продолжать плавание, ссылаясь на охранное письмо французского правительства.
Вечером того же дня солдат принес Флиндерсу ответ губернатора, написанный по-французски. Флиндерс, сгоравший от нетерпения узнать его содержание, не стал дожидаться утра, когда должен был прийти переводчик, a, взяв словарь, кое-как прочитал текст.
Губернатор отчитывал Флиндерса за непочтительный тон его писем и заявлял, что прекращает с ним всякую переписку, поскольку Флиндерс «мало знаком с правилами приличия». Ответ губернатора привел Флиндерса в ярость. «Обвинение в несоблюдении правил приличия, — писал он много лет спустя, — звучало странно в устах того, кто продержал меня около двух часов на улице, когда я пришел по его приглашению, и кто назвал меня обманщиком без всякой проверки».
Видя, что добиться освобождения пока не удается, Флиндерс решил просить губернатора вернуть хотя бы бумаги, книги, карты, взятые французами с «Камберленда». На следующее утро, после того как переводчик прочитал письмо губернатора, Флиндерс письменно изложил ему свою просьбу: вернуть книги, рукописи и карты, с тем чтобы закончить составление карты залива Карпентария. Одновременно Флиндерс обращал внимание губернатора на то, что команду «Камберленда» содержат в плохих условиях и отвратительно кормят. «Я представил жалобу моих матросов на то, что их поместили в месте, лишенном доступа свежего воздуха, что в климате, подобном этому… является губительным для организма европейцев», — писал Флиндерс в книге «Путешествие к Terra Australis».
Ответ губернатора Флиндерсу принес один из офицеров, который передал ему также бумаги и книги. Жалоба на плохое содержание команды была отвергнута.
Флиндерс находился, в сущности, в тюремных условиях, хоть и был помещен в таверне. У двери в его комнату постоянно дежурил часовой. Посещать Флиндерса могли только врач и переводчик, да и последние, проходя к нему, предъявляли часовому письменное разрешение губернатора. Местному слуге, который приносил Флиндерсу еду, запрещалось с ним разговаривать. На просьбы врача разрешить Флиндерсу небольшие прогулки, что было необходимо для восстановления его здоровья, Декан всякий раз отвечал отказом.
Флиндерсу так и не были возвращены наиболее ценные из взятых с «Камберленда» материалов, его судовой журнал, дневники.
3 февраля 1804 г. Флиндерс послал губернатору новое письмо, в котором выражал протест против действий французских властей и просил Декана принять его. Через пять дней переводчик передал ему ответ губернатора: «Капитан Флиндерс должен знать, что я не желаю его видеть и не хочу отвечать на его письма. Мне бесполезно с ним встречаться, ибо разговор, вероятно, будет таков, что вынудит меня отправить его в тюрьму».