Его старшая сестра Мэри вела себя гораздо менее осмотрительно: «Он родился в доме тётки моей матери — там, рядом с железнодорожной станцией… Я знаю, потому что я встала на колени и подглядела в замочную скважину. Он не с Марса.» Кэри и Айда Блаунт вместе со своим первенцем Робертом переехали в Бирмингем из Демополиса, торгового центра в крупном районе плантаций на западе Алабамы рядом с Миссисипи; этот город когда-то был коммуной французов-утопистов. У Кэри Блаунта было четверо детей от первого брака — когда он забрал с собой Айду и перешёл работать на железную дорогу, Маргарет, Делла и Джордж остались дома, а Кэри-младший поехал с ними. Айда развелась с мужем, когда Герман был ещё ребёнком, а когда её дом сгорел, она вместе со своей дочерью Мэри, Робертом и Кэри-младшим перебралась в другой дом в северной части города. Германа вырастили его бабушка по матери Маргарет Джонс и двоюродная бабушка Айда Ховард — они жили в большом двухэтажном доме по адресу 2508, 4-я Северная Авеню (это была торговая часть города). Через квартал находилась Конечная Станция — огромная изящная постройка с куполом и громадными крыльями; в одном из них было багажное отделение, а в другом — зал ожидания для цветных. Это была крупнейшая железнодорожная станция Юга — узел одиннадцати линий, через который люди пересекали штат и ехали в Чикаго (ближайший город севера) или из него. Все они проходили под огромной вывеской на фасаде вокзала, на которой тысячами огней было написано: «Добро пожаловать в Волшебный Город».
Лайонел Хэмптон вспоминал эту станцию как крупный развлекательный центр Бирмингема — люди сидели на путях и смотрели на проходящие мимо поезда — «Экспресс Чёрный Алмаз», «Город Новый Орлеан», «Закат-Лимитед» (все они потом были увековечены в песнях); толпы народа аплодировали официантам, которые накрывали столы в вагонах-ресторанах, портье, застилающим постели, приветствовали машинистов, подающих свистки и кочегаров, звонивших в колокол. Когда поезд начинал медленно отходить от станции, кочегар бросал направо-налево несколько лопат лишнего угля (зрители могли забрать его с собой), а повара разбрасывали еду.
Мать и двоюродная бабушка Германа работали в вокзальном ресторане, и когда они были на работе, за ним присматривала бабушка. Ему никогда не нравилась её стряпня, так что при каждом удобном случае он шёл на вокзал, где мать и двоюродная бабка кормили его на кухне большого станционного ресторана. После этого он шёл в столовую и слушал, как механическое пианино играет последние записи — типа "Haitian Blues" и "Snake Hips" Фэтса Уоллера.
В детстве его называли «Снокам»[5], и это имя так и осталось в семье, так что спустя много лет его племянники и племянницы звали его «Дядя Снокам». Он был милым сообразительным ребёнком с приятной улыбкой, но тихим и сдержанным. От матери у него осталось мало воспоминаний, но её характер всё же хорошо запечатлелся в его памяти: он вспоминал, как в детстве ездил с ней в Демополис, и как она делилась с ним виски на вечеринке, в результате чего он начинал спотыкаться. Когда другие взрослые начинали её критиковать, она говорила, что с её стороны было бы ханжеством не давать ему того, что пьёт она сама… кроме того, по её словам, это отвадит его от спиртного, когда он вырастет. Сильнее всего ему запомнилось то, что мать была не особенно религиозна («она говорила, что мы сами создаём себе рай и ад») и никогда не ходила в церковь, что очень раздражало бабушку, очень строгую и набожную женщину, которая следила за тем, чтобы он ходил в воскресную школу и вместе с ним и двоюродной бабушкой посещала службы в баптистской церкви. Он относился к этим службам весьма серьёзно — на него производили впечатление мрачные молитвы священников во время церемоний, богатая аргументация проповедей, экстаз женщин на службе, мощь и страх идеи Старого Ковчега Сиона. Но к семи годам он уже начал тайком задавать себе вопросы: «Я никогда не мог понять — если Иисус умер ради спасения людей, зачем люди должны умирать. Мне это казалось безграмотным. Ребёнком я не мог найти в этом никакого смысла.» Когда прихожане начинали подпевать гимнам, он тщательно следил за тем, что поёт, и в частности, никак не хотел петь строчку «Я помогу Иисусу нести крест»: «От тебя требовалось сделать некое заявление, но ты не мог узнать, кто его записывает.» Не то чтобы он был неверующим — его мучил вопрос, во что ему следует верить.
Когда он пошёл в первый класс Начальной Школы Св. Фомы, учителя не могли им нахвалиться: он был вежливым, прилежным мальчиком, уже умел читать и с первого дня полностью отдавался занятиям. Часто во время перемены бывало, что пока другие дети играли на поле, служившем школьным двором, он читал — и учителя говорили, что скоро он перечитает все книги в школе. Так и продолжалось все три первых года, и весь остальной срок учёбы (уже в Школе Линкольна) он оставался ребёнком, которого никто хорошо не знал, но все понимали, что он исключительно перспективен.