Совсем рядом, вдоль Атлантического побережья, к северу и востоку от Нового Орлеана располагались американские колонии. Но политические, культурные и экономические связи Новый Орлеан развивал не с ними, а с близкими ему по духу французскими колониями района Карибского моря. Скорее католический, чем протестантский, с населением, говорящим преимущественно на французском, а не на английском языке, Новый Орлеан во всем, что касалось нравственности и морали, подражал не Лондону, а Парижу, где в те годы господствующее влияние на умы оказывали свободомыслящие философы-просветители. В то время как в северных колониях континента, заселенных пуританами, только-только начинало ослабевать господство кальвинизма с его суровыми заповедями, требованием к каждому неуклонно соблюдать свой долг, новоорлеанцы вдохновлялись идеями французских вольнодумцев, сторонников предоставления гражданам широких прав. Французские поселенцы в Луизиане считали само собой разумеющимся то, что жизнью надо уметь наслаждаться и что удовольствий никогда не может быть слишком много. Они знали толк в хорошей кухне и вине, любили танцевать и петь. Их отношение к проституции с самого начала отличалось большой терпимостью, а тяжкий труд рассматривался не как дорога в рай, каким его считали колонисты Новой Англии, а как неизбежное зло. Один из современников называл поселенцев Луизианы, многие из которых приехали из французской Канады, «подонками». По его словам, для них характерны были праздность и отсутствие какого-либо честолюбия.
В итоге благодаря либерализму верхов Нового Орлеана и «распущенности» его рядовых граждан в городе создалась та атмосфера терпимости, которую в любом другом североамериканском городе сочли бы аморальной.
Господство подобных нравов, разумеется, мешало развитию колонии. Но гораздо в большей степени оно сдерживалось нехваткой рабов. Поскольку Карибские острова были ближе к источникам пополнения рабочих рук, чем Луизиана, их обитатели перехватывали прибывающих из Африки невольников. Как считает известный историк и исследователь джаза Куртис Джерд, основной наплыв черных рабов в Луизиану произошел в самом конце Гражданской войны, когда плантаторы-тори, опасаясь расправы со стороны победителей-северян, бежали на Юг в надежде обрести там безопасность. При этом они прихватывали с собой и рабов. Поэтому вполне возможно, что предки Армстронга прибыли в Новый Орлеан пешком из Джорджии или Каролины, а не на работорговом судне со стороны Карибского моря.
Когда в 1803 году Соединенные Штаты приобрели у Франции Луизиану, а вместе с ней и Новый Орлеан, начался процесс американизации. В город стали прибывать азартные дельцы, чтобы найти применение своим капиталам, охотники за пушным зверем, лесорубы и барочники, чтобы продать свои товары и потратить заработанные деньги. Многие из них настолько ассимилировались, что перешли с английского языка на французский. Еще охотнее они восприняли господствовавшие в городе либеральные нравы, которые, по всей вероятности, пришлись им больше по душе, чем суровая мораль кальвинизма, еще сохранявшего свое влияние на Севере. Во всяком случае, и после присоединения Луизианы к Соединенным Штатам новоорлеанцы продолжали пить вино, развлекаться на балах и содержать любовниц.
К началу XIX века город, вставший на месте соединения великого американского речного пути с морем, превратился в крупный порт, где процветала посредническая торговля хлопком, живым скотом и сахаром. Наиболее удачливые сколачивали целые состояния, в городе строились огромные здания. Благодаря выгодному расположению Нового Орлеана дела в нем шли хорошо и после окончания Гражданской войны. Лишь в конце XIX века, когда вместо каналов и рек главными транспортными артериями стали железные дороги, благоденствие Нового Орлеана оказалось подорванным. Ко времени рождения Армстронга жизнь в городе стала тяжелее. Новый Орлеан оказался как бы на обочине экономического развития, в стороне от тех дорог, которые связывали богатые равнины Запада с рынками городов на Востоке страны. Он становился все более провинциальным и отсталым. Так же как в других американских городах, возникали всевозможные проблемы, связанные с иммиграцией населения, хаотической застройкой и плохим управлением.
Новый Орлеан строился на болоте, и во многих местах почвенные воды находились всего лишь в тридцати сантиметрах от поверхности. Поэтому было очень трудно, а в некоторых районах просто невозможно прокладывать подземные коммуникации — газопровод, канализацию, линии метро, то есть то, что имелось в других больших городах Соединенных Штатов. В свое время Новый Орлеан был известен как «единственный крупный населенный пункт в Западном полушарии, не имеющий канализационной системы» . Первая очередь канализации была сооружена лишь в 1892 году, и кларнетист Джордж Льюис утверждал, что он еще помнит сточные канавы Французского квартала, заполненные по щиколотку нечистотами. А во времена Армстронга в беднейших кварталах уборные, как правило, располагались во дворе.