Вначале маленький Луи жил с бабушкой. В книге Армстронга «Свингуй эту музыку», одной из первых и не очень достоверных биографий звезды эстрады, и в другой его автобиографической книге «Сэчмо» даны различные версии того, как складывались отношения между его родителями, как они сходились и расходились. Ясно, однако, что Уилли Армстронг ко времени рождения Луи уже жил с другой женщиной и содержал другую семью. Луи был еще совсем младенцем, когда исчезла и его мать, оставив мальчика на попечение бабушки Джозефины. Мэйенн переехала жить на Пердидо-стрит, расположенную в самом центре черного Сторивилла. Произошло это в тот год, когда вышел указ, запретивший негритянским проституткам заниматься своим ремеслом где-либо в другом месте. Напрашивается вывод, что Мэйенн сделала это именно для того, чтобы не бросать свою профессию. Видимо, она занималась ею и раньше. Возможно также, что Уилли Армстронг подозревал или даже знал наверняка, что Луи — не его сын. Тогда становится понятным его полное безразличие к ребенку. Конечно, все вышесказанное — всего лишь предположение, но, если его принять, многое проясняется. Армстронг как-то признался, что его мать занималась проституцией, хотя сам он никогда не был свидетелем этого. Можно предположить, что для Мэйенн это был единственный способ прокормить себя и своего ребенка и что для этого ей приходилось оставлять его на попечение свекрови.
Факт остается фактом: первые годы своей жизни Армстронг рос преимущественно, а может быть, и целиком на руках у Джозефины. Дом, где обитала бабушка, был одноэтажной хижиной с деревянным каркасом, обшитым некрашеными досками. Его площадь не превышала двадцати шести на двадцать четыре фута, то есть равнялась площади современной гостиной. Возможно, внутри дом был поделен на две-три комнаты. Во дворе стояли традиционный бак для воды и уборная. Джозефина жила стиркой, забирая белье домой или стирая у заказчиков. Луи сохранил воспоминание о том, как бабушка брала его с собой к клиентам, дома которых казались ему дворцами.
По всей вероятности, Джозефина Армстронг была строже с Луи, чем Мэйенн. Когда ребенок озорничал, она отправляла его во двор срезать прут тунгового дерева для порки. Вместе с бабушкой Луи регулярно ходил в церковь. Когда он стал постарше, она отдала его в начальную школу. Одновременно мальчик посещал и воскресную церковную школу.
Луи было около двух лет, когда Мэйенн родила второго ребенка, девочку, которой дали имя Беатрис. Впрочем, все звали ее Мама Люси. В своей автобиографической книге «Сэчмо» Армстронг вспоминает, что однажды к бабушке пришла соседка матери и забрала его домой. Мэйенн заболела и хотела, чтобы Луи ухаживал за ней и помогал следить за малышкой. Армстронг утверждает, что ему тогда было всего пять лет. Как только он пришел, мать послала его за продуктами в магазин, расположенный в нескольких кварталах от дома на Рэмпарт-стрит. По дороге на Луи напала компания уличных мальчишек и забросала его грязью. Не растерявшись, он дал им сдачи и даже преследовал их, когда те бросились бежать. Домой Армстронг явился весь перемазанный, но торжествующий.
Вся эта история выглядит слишком фантастической. Трудно представить, чтобы пятилетнему Луи доверили уход за трехлетней сестренкой и прикованной к постели матерью. Сомнительно также, чтобы такого маленького ребенка отправили в опасное место, которого он к тому же совершенно не знал. Странно и то, что на него якобы напала компания сверстников, то есть пятилетних. Да и бывают ли такие компании? Весь этот эпизод приобретает смысл только в том случае, если предположить, что Армстронг на самом деле был старше. Но тогда становится ясно, что, вспоминая о детстве, он все время вынужден подгонять свой действительный возраст к вымышленной дате рождения. Познакомившись позднее с другой рассказанной им самим историей, мы опять увидим, что Армстронг спрессовывает время.
В 1905 году, когда Луи было семь лет или около того, он вместе с матерью переехал с улицы Джейн-Элли в черный Сторивилл. Тринадцать лет спустя, регистрируясь на призывном пункте, он в графе «место жительство» написал: 1233, Пердидо-стрит. Вероятно, он вырос в доме по этому адресу, так как позднее в своих воспоминаниях Армстронг нигде не упоминает о переездах семьи. Этот квартал давно уже разрушен, но известно, что дом Луи находился около того места, где сейчас стоит здание Верховного суда Луизианы. По словам Армстронга, «это место называлось Брик-роу. Внутри дома находилось множество сдаваемых внаем квартир, а в целом он чем-то напоминал мотель» . Это было длинное, двухэтажное здание, построенное из цементных блоков. В квартиры первого этажа входили прямо с улицы. В комнаты наверху можно было попасть через проходившую вдоль фасада балконную галерею, куда вели лестницы без навеса. Наверное, именно из-за этой галереи дом и казался Армстронгу похожим на мотель. Его квартира состояла, видимо, из двух-трех комнат.