Отступление «Бирмингемской банды» было столь же организовано, как и нападение. Хулиганы будто растворились в воздухе. Никто из них не сел на поезд из Скарборо и не прибыл на вокзал Бирмингема, где их караулила полиция. Автотранспорта тогда не было, поэтому считается, что гангстеры своим ходом добрались до Дерби, где через несколько дней должны были состояться скачки. Там они поделили трофеи.
Этот «рейд» привел к закрытию скачек в Скарборо – из-за налетов «Бирмингемских парней» такая же судьба постигла ипподромы Холл-Грин и Саттон-Колдфилд. Через пять лет об их дурном поведении узнала вся страна. «Грубияны с ипподромов» беспокоили все больше людей, и 13 августа 1898 года репортер «Дейли Телеграф» привел слова чиновника, которому по долгу службы приходилось иметь дело с хулиганством. Он заметил «любопытный факт, что, хотя общий уровень преступности по всей стране снизился, ситуация на скачках не изменилась».
Больше всего грубиянов и воров «происходило из Бирмингема, и некоторые из них были совсем опустившимися людьми. Бирмингемцы, как и вся их братия, работали группами по шесть, семь и восемь человек и никогда не разделялись». С этим организованным хулиганством было сложно бороться. В частности, преступники окружали своих жертв и ставили им подножки, а затем грабили их, хватая сумочки, цепочки и часы. А по дороге на ипподром и обратно они обманывали легковерных попутчиков, играя с ними в карты.
Грабежи и разбои мелких шаек, известных под общим названием «Бирмингемские парни», продолжались много лет, хотя они редко собирались такими большими группами, как при нападении на Скарборо. В 1856 году местная газета сообщила, что бирмингемские скачки с препятствиями перемещены из Астона из-за «буйного и неподобающего поведения огромного числа бирмингемцев, которых метко называют “грубиянами”». Новой площадкой стал город Ноул, куда, как считалось, добираться было гораздо сложнее. Это предположение было ошибочным.
Бирмингемский букмекер Билл Эшби младший собирает ставки на скачки в Портленде и Донкастере вскоре после окончания Первой мировой войны; спасибо Маку Джозефу. Уважаемым букмекерам вроде него во многих местах приходилось платить деньги за «крышу», чтобы их не побили.
Тысячи людей гигантскими группами приезжали из Бирмингема на поездах по Главной западной ветке, на запряженных лошадьми омнибусах и всяческих других транспортных средствах. Среди них были «наперсточники, шулера и другие “профессионалы” подобного сорта, которые наводняли ипподром». В округе не было ни одного полицейского, и «порядок поддерживался исключительно силами горстки миролюбивых зрителей, а огромное количество карманников каждый раз срывало куш».
«Бирмингемские парни» не ограничивали свою криминальную активность лишь местными ипподромами: очень скоро они начали орудовать по всему региону. Через год после бесславных событий в Ноуле газета «Дерби Меркьюри» от 16 сентября 1857 года упомянула, что Майкл Доулинг и Майкл Лоури накануне скачек прибыли в Дерби на дополнительном поезде из Бирмингема. Их арестовали за карманные кражи на ипподроме, и каждого приговорили к месяцу каторжных работ.
К лету 1871 года «Парни» из Бирмингема пользовались такой дурной славой, что газета «Ист Лондон Обсервер» заметила, что недавние скачки в Оксфорде предоставили «ворам и мошенникам из столицы, Бирмингема и других городов прекрасную возможность обогатиться за счет публики, так как на трибунах и за их пределами произошло бесчисленное количество краж».
Через четыре года, 6 апреля 1875 года, газета «Челтнхем Кроникл» написала, что двоим бирмингемцам было предъявлено обвинение в попытке совершения карманных краж на местом ипподроме. Городской детектив сообщил суду, что Чарльз Хеммингс из Файв-Уэйс и Джордж Уоллес из Дейл-Энда «часто посещали различные скачки и обворовывали зрителей и несколько раз были арестованы на месте преступления».
Каждого из них приговорили к тюремному заключению сроком на три месяца. В том же самом суде Джордж Уилсон с Личфилд-роуд из Астона обвинялся в том, что он слонялся с намерением совершить преступление на железнодорожной станции Мидленд. Похожий на попрошайку, он был «членом банды воров из Бирмингема». Судьи оправдали Уилсона, но предупредили его, что, если его еще раз заметят шатающимся без дела по городу, его будет ждать суровое наказание.