Один из ровесников Балджера, бывший морпех, выросший в Саути и ставший впоследствии полицейским, гонял по воскресеньям в футбол с другими мальчишками. Играли грубо, без защитных щитков и шлемов. Он вспоминает Балджера как посредственного игрока, но дьявольски упорного противника, готового стоять насмерть: «Он не был задирой, но так и напрашивался на неприятности. Балджер только и ждал, когда начнется заварушка. Надо признать, держался он отменно. Уже тогда было ясно, что этот парень готов на все ради друзей. Таков был дух времени. Люди сбивались в стаи. Для бедного городского паренька войти в уличную банду дорогого стоило».
Балджер грабил грузовики вместе с приятелями из банды «Трилистники», возникшей после раскола знаменитой шайки «Гастин», самой крупной и влиятельной преступной группировки в Бостоне времен сухого закона. В 1931 году главари «Гастин» зашли слишком далеко, попытавшись прибрать к рукам всю подпольную торговлю спиртным в Бостоне и захватить побережье. Двух гангстеров из Южного Бостона убили, когда те явились предъявить свои условия итальянской мафии Норт-Энда. В порту на них напали из засады и расстреляли. Спецслужбы и по сей день считают печальный конец банды «Гастин» водоразделом в истории бостонской преступности. Маленькая мафия в итальянской части города выстояла, а более сильные ирландские банды отступили в Южный Бостон, обозначив границы между этническими анклавами раздробленного преступного мира. Временами, когда речь шла о больших прибылях, итальянцы и ирландцы работали сообща. Но Бостон, наряду с Филадельфией и Нью-Йорком, принадлежал к числу тех немногих городов, где могущественные ирландские банды пускали в оборот деньги итальянской мафии, нажитые ростовщичеством.
Раздел территории, ставший итогом столкновения банды «Гастин» с коза ностра, позволил Уайти Балджеру свободно промышлять в ирландской зоне. Начав с нападений на грузовики, он перешел к ограблению банков и, в двадцать семь лет оказавшись за решеткой, отбывал срок в самых страшных тюрьмах страны. Тюремное досье описывает его, как закоренелого преступника, который постоянно лез в драку и проводил бо́льшую часть времени в одиночной камере. Как-то раз в Атланте тюремное начальство заподозрило, что он затевает побег, и Балджер просидел три месяца в карцере, прежде чем его перевели в Алькатрас, неприступную крепость, предназначенную для особо опасных заключенных. Он и там оказался в одиночке, оттого что саботировал работу, однако потом образумился, присмирел и до конца заключения не привлекал к себе внимания. Позднее его перевели на восток, в форт Левенуэрт, штат Канзас, а затем в менее строгую тюрьму Луисбурга, ставшую его последним пристанищем перед возвращением в Бостон. Балджер попал в заключение в 1956 году, когда Эйзенхауэр в первый раз занял президентское кресло, а вышел в 1965-м, когда действия Линдона Джонсона привели к разжиганию войны во Вьетнаме. Отец Уайти не дожил до возвращения старшего сына, хотя успел увидеть Билли сенатором.
Пройдя все круги ада и вернувшись домой матерым уголовником, Балджер поселился вместе с матерью в старом квартале Олд-Харбор. Некоторое время он проработал охранником в здании суда округа Суффолк в Бостоне, куда устроил его Билли. Этот эпизод наглядно иллюстрирует политику Саути – старинную бостонскую традицию, представленную в гротескной форме: сильные мира сего укрепляют свою власть, раздавая рабочие места в государственных учреждениях. В былые дни эта система стала спасительным якорем для беспомощных необученных иммигрантов с большими семьями, а в шестидесятые годы помогла бывшему заключенному получить работу охранника. Несколько лет, пока не истек испытательный срок, предусмотренный условиями освобождения, Уайти вел себя тихо, ни во что не ввязываясь, но, получив наконец долгожданную свободу, набрал воздуху в грудь и нырнул на самое дно преступного мира. Действуя жестко и решительно, он мгновенно забрал в свои руки власть в городе, его первенство признавали все. Балджера боялись. Владельцы закусочных и баров в Саути, платившие ему дань с игорного бизнеса и ростовщичества, никогда не задерживали выплат, одной попытки оказалось достаточно.