Существовавшая модель расселения на реке Хоксбери привязывала и солдат, и бывших каторжников к земле. Это старый прием, который римляне и китайцы применяли задолго до того, как его взяли на вооружение англичане для обеспечения безопасности на неспокойных границах. Набеги на колонистов у Хоксбери начались почти сразу же, как только аборигены из народа даругу попытались собрать новый урожай с участков, где у них раньше рос батат. Конфликт из-за скудных ресурсов быстро перерос в серьезные столкновения, и уже в 1795 г. из Сиднея была направлена военная экспедиция, перед которой поставили задачу убить туземцев и их повесить на виселицах, — прежний приказ о проявлении дружелюбия и доброты остался в прошлом. К 1800 г. в войне на Хоксбери пострадало 26 белых и много больше аборигенов. Тем временем человек из народа эора Пемулвуй, метнувший копье в Джона Макинтайра в 1790 г., организовал сопротивление колониальному вторжению, в том числе предприняв нападения на колонистов Парраматты, которые прекратились лишь в 1802 г., когда его застрелили, а голову заспиртовали в бочке и отправили в Англию Джозефу Банксу.
В Австралийском словаре биографий нет статьи о Пемулвуе. В 1960-х годах, когда редакторы этого авторитетного справочного издания готовили к печати том, в который она должна была войти, аборигены считались чем-то вроде мелкой помехи на пути колонизации и упоминались в лучшем случае как трагический след в истории Австралии. Теперь Пемулвуй возвышен до положения героя: в 1987 г. вышел роман, прославлявший его как «Воина радуги» (Rainbow Warrior), а в 1991 г. его именем была даже названа школа для аборигенов в старой части Сиднея. Сейчас Пемулвуй считается первым великим лидером сопротивления, пытавшимся отразить британское вторжение и положившим начало непрерывной борьбе за выживание аборигенов. Сопротивление вторжению, безусловно, было всеобщим, и последующее его отрицание в колониальной истории свидетельствует только о том, какой страх оно вызывало в то время, но оно не было единственным проявлением ответной реакции. Аборигены, кроме всего прочего, передавали свои знания о земле; они обменивали продовольствие и сырье на английские товары; они адаптировались к присутствию пришельцев на приграничных пастбищах. Но для установления более стабильных экономических отношений требовалось, чтобы аборигены отказались от своего особого образа жизни, а захватчики — признали их права собственности на ресурсы или инкорпорировали их в трудовой процесс. Ни одна из сторон не была готова к такому компромиссу.
Одной из причин регулярных конфликтов были сексуальные отношения. С самого начала среди колонистов существовало огромное несоответствие в численности мужчин и женщин — в соотношении примерно четыре к одному до конца 1820 г. Основатели колонии понимали, что в такой ситуации будут возникать беспорядки, и сообщили Филлипу, что его мужчины могут брать женщин с тихоокеанских островов. Во время плавания Первого флота Филлипу и офицерам с огромным трудом удалось изолировать заключенных женщин от мужчин, а поддержка, которую он оказывал прибывающим парам, должна была означать поощрение цивилизующей роли семейных отношений. Губернатор при этом особо опасался распространения гомосексуализма среди мужчин и считал, что наказание за содомию должно быть чрезвычайно жестким. «Я хотел бы, чтобы такой преступник содержался под стражей, пока не появится возможность передать его туземцам Новой Зеландии и позволить им съесть его». Поскольку эти варианты тихоокеанского сожительства и наказания были изначально обречены, физическое влечение и беспорядочные сексуальные отношения создавали тяжелую проблему для начальства исправительной колонии.
Филлип также считал, что со временем аборигены, возможно, «позволят своим женщинам выходить замуж и жить» с каторжниками. Как только взоры колонистов обратились к местным женщинам, они стали воспринимать их как свою собственность. Сначала отчеты офицеров о встречах в окрестностях Сиднея излагались изящным языком цивилизованных мужчин, встретивших женщин, живших в природной среде, «лесных нимф» и «черных, как сажа, сирен», невинных в своем обнаженном бесстыдстве. В тщательно составленных повествованиях эти образованные англичане подчеркивали, что туземки находятся в полном подчинении у своих спутников жизни, и, исполненные нравственного отвращения, порицали аборигенов, которые предлагали им женщин. Сексуальные контакты между солдатами, каторжниками и аборигенками были обычным явлением и отмечены распространением венерических болезней. Тем не менее длительные отношения устанавливались нечасто, а отсутствие взаимопонимания относительно характера этих контактов обычно вызывало трения. Созданию семьи мешало то, что слишком часто страсть и любовь пересиливали позор и презрение, которые вызывали смешанные браки.