Первый флот, включавший два военных корабля, шесть транспортных судов и три судна с запасами, вез с собой семена и рассаду, плуги и упряжь, лошадей, скот, овец, свиней, коз и домашнюю птицу, а также запас продовольствия на два года. Первоначальное обследование залива Ботани показало, что эта песчаная, болотистая местность непригодна для заселения; Кук и Банкс осматривали ее поздней осенью, а Филлип прибыл туда в разгар лета, когда зеленый покров уже был выжжен солнцем, и было видно, насколько он скуден. К северу располагалась превосходная гавань — Порт-Джексон — обширное защищенное водное пространство, имевшее небольшие бухты; залив окружал великолепный амфитеатр лесистых склонов. Сиднейская бухта имела источники пресной воды. Однако даже здесь почва была бедной, и впервые посеянные овощные культуры в скором времени завяли и погибли. Топоры тупились о сучковатые, искривленные стволы шарикового и приречного эвкалиптов, лопаты ломались о песчаник, скрытый под тонким слоем земли, скот отбивался от стада, животные умирали или были съедены. Моряки отказывались охранять заключенных, большинство из которых не брали земельные участки, а трудились на государственных фермах за питание. Для женщин, которых призывали создавать супружеские пары, было большим везением найти надежного спутника жизни. Тем временем экспедиция, направленная на остров Норфолк, обнаружила, что местный лен не помается обработке, а сосны оказались пустотелыми.
В октябре 1788 г. Филлип отправил корабль к мысу Доброй Надежды за дополнительными запасами и сократил рацион питания; корабль вернулся в мае 1789 г. с провизией, а большое судно снабжения, отправленное из Англии, так и не прибыло. Рацион питания все сокращался и сокращался, пока в апреле 1790 г. недельный паек не был доведен до килограмма крошащейся соленой свинины, килограмма кишащего долгоносиками риса и килограмма старой муки, которую ссыльные кипятили с местной зеленью. Это были голодные годы — люди боролись за пищу, вялая апатия охватывала даже самых энергичных. Ситуацию облегчало то, что продовольствие распределялось поровну, без каких-либо привилегий, без различия чинов. И тем не менее хирург колонии писал о «стране и местности настолько страшной и омерзительной, что она заслуживает лишь отвращения и проклятий».
Прибытие в середине 1790 г. Второго флота с новыми запасами и в следующем году — Третьего флота облегчили кризис, хотя к тому времени четверть бывших на борту заключенных умерли во время плавания, а те, кто выжил, были не способны работать. Возделывание плодородной почвы в районе Парраматта в верхней части залива гарантировало выживание. К концу 1792 г., когда Филлип вернулся в Англию, посевы зерновых, огороды и фруктовые сады занимали 600 га. В гавани была рыба, на равнине Камберленд — пастбища. Стоило колонистам приспособиться к палящей летней жаре — в декабре 1788 г. температура достигала 44 °C, — климат смягчился. Организм британцев, настроенный на более высокие широты, суровую зиму и влажную, плодородную землю с обилием растительности, привыкал к пьянящим запахам раскаленного, сухого и скудного растительного покрова, приглушающего ослепительную яркость солнечных лучей. Командующий полком Нового Южного Уэльса, направленным туда в 1792 г., к своему огромному удивлению, обнаружил «вместо камней, которые я ожидал увидеть… цветущие и приносящие всевозможные плоды сады».
Филлип руководил всей колонией в течение отчаянных первых лет, пока обострение почечнокаменной болезни не вынудило его вернуться в Англию. В декабре 1792 г. он забрал с собой кенгуру, собак динго, растения, геологические образцы, рисунки и двух аборигенов — Беннелонга и Йеммерраванни. Главная неудача постигла его в отношениях с коренным населением района. Ему было поручено «наладить контакт с коренными жителями и добиться их расположения, обязав всех наших подданных жить с ними в мире и дружбе». Филлип попытался выполнить задание, предлагая в знак доброй воли подарки и наказывая любого из своих, кто докучал местным жителям. В 1790 г., даже когда в него самого было пущено копье, он запретил применять карательные меры. Убедившись в безуспешности своих усилий по установлению близких отношений, Филлип захватил несколько коренных жителей. Первый — Арабану умер во время эпидемии оспы, охватившей местное население через год после прибытия европейцев. Другой — Беннелонг бежал, но после ранения Филлипа вернулся, чтобы вновь наладить отношения. Только когда копье было пущено в британского охотника Джона Макинтайра, губернатор решил прибегнуть к беспощадному возмездию, приказав солдатам принести шесть голов аборигенов.