Сиропиталището беше разположено на ъгъла на "Джордж стрийт" и "Бридж стрийт" и се издържаше от глоби, такси, конфискации. В него работеха възрастни жени, избрани измежду осъдените, както и две вдовици, и се ръководеше от пастор, назначен от губернатора, а животът в него се характеризираше с набожност, усърдно трудолюбие и дисциплина. Имаше и няколко деца на свободни заселници, осиротели след смъртта на родителите си.
Първите спомени на Гарити бяха за стриктната дисциплина и жестоките наказания, които незабавно следваха всяко неспазване на разписанието и нарушаване на правилата за вътрешния ред. След ставането сутрин децата, които бяха проходили, се обличаха и измиваха набързо, сгъваха одеялата си и се събираха за утринна молитва, след това в колона по един влизаха в столовата за закуска. След закуска групите се разделяха и по-малките деца отиваха в работилниците, където се чепкаше вълната за предене, по-големите — в работилницата за предене, а най-големите помагаха в грижите за онези, които бяха още твърде малки, за да се грижат за себе си сами. По пладне имаше още едно събиране за молитва, след това обяд. След обяд по-големите деца посещаваха уроци по елементарно четене, писане и смятане, след това отново се връщаха на работа. Привечер оставаше малко време за игри в големия двор зад сиропиталището. По-големите наблюдаваха игрите на по-малките, следваше вечерна молитва и вечеря. След вечеря някои от по-големите деца или жените четяха на глас откъси от някоя книга или от Библията, докато стане време за лягане. Рутинното разписание се нарушаваше в неделите, посветени на религиозни учения и литургия, задължителна за всички. На път за църквата за специалното богослужение за сираци, групата маршируваше по улиците на Сидней и към нея се присъединяваше групата на момичетата от девическото сиропиталище в Парамата. В продължение на няколко години Шийла посещаваше Гарити и от време на време му донасяше по някоя дреболия — бонбон или дреха, износена и захвърлена от децата на работодателя й или пък открадната от тях. След това посещенията станаха по-редки и накрая съвсем престанаха.
За малкия Патрик Гарити историите в книгите за Англия бяха точно толкова реални, колкото историите от Библията. И едните, и другите бяха основани на предварителни условия и предположения, които ги обезсмисляха от гледна точка на действителността. В Австралия нямаше дъб или хикория, а да подложиш и другата си буза означаваше да си изпросиш още един шамар. Той беше тих, затворен и прилежен в работата си и стриктно изпълняваше онова, което му биваше нареждано. Заедно със солидното телосложение на баща си беше наследил или характера, задържал баща му на войнишка служба в продължение на двадесет години, или нрава, изпратил дядо му в затвора за убийство. На петнадесет години Гарити беше с ръст на възрастен. Пасторът го беше кастрил безброй пъти за това, че налага останалите момчета без видима причина, защото той винаги запазваше твърдо мълчание по въпроса с какво и как са го предизвикали. Жените се отнасяха към него с мрачно недоверие и подозрителност заради ръста и мълчаливия му нрав и заедно с друго едно едро момче ги изпращаха на работа извън къщата — да цепят дърва и да носят вода. Другото момче беше кръшкач и предпочиташе кратката болка на наказанията пред часовете усилен труд. Когато дървата и водата бяха недостатъчни, наказваха и Гарити. Несправедливостта на това положение не тревожеше Гарити. Още преди години той беше разбрал, че в по-голямата си част животът е нещо несправедливо, но наказанията засягаха неговото достойнство. Той се сби с момчето и го нашиба с колана си, което му докара още едно наказание, но впоследствие то започна да върши своя дял от работата.
На седемнадесетгодишна възраст в живота му настъпи коренна промяна. Той и пет други момчета бяха извикани да се съберат в двора — обичайното строяване в редица, когато някой дърворезач, ковач или друг някакъв занаятчия си търсеше чирак. Откакто навърши петнадесет, Гарити се строяваше редовно всеки път, когато в сиропиталището дойдеше работодател, но репутацията на груб и опърничав човек, която му бяха прикачили, беше станала общоизвестна сред занаятчиите в Сидней и Парамата и никога не го бяха избирали дори за пробен срок.