Селигманы продолжили путь в Сельму, о которой Джеймс рассказывал во время своего предыдущего путешествия. Этот населенный пункт с населением около двенадцати сотен человек был популярным торговым центром, и братья открыли там импровизированный магазин, разместив свои товары под тентом, а затем арендовали помещение под магазин. Джозеф остался в Сельме, чтобы управлять магазином, в то время как его братья отправились в то, что Джесси описывал как месячное «путешествие с целью осмотра окрестностей».
Возможно, причиной послужили насмешки по поводу его иностранности или еврейства, а может, спор из-за товара, но пока братья были в пути, Иосиф поссорился с местным жителем. Их спор перерос в жестокую ссору, и Иосифа посадили в тюрьму как зачинщика драки. Местный судья уже готов был вынести приговор, как вдруг свидетель — сын видного горожанина — указал на другого человека как на зачинщика.
В семье Селигманов рассказывают, что спустя десятилетия, когда Алабама боролась с непосильным бременем долгов времен Гражданской войны, Джозеф нашел способ отплатить за услугу. Свидетель, оправдавший его, ныне судья из Алабамы, отправился в Нью-Йорк в поисках финансирования для нуждающегося в деньгах штата. Один за другим банкиры отказывали Алабаме. Наконец судья навестил Джозефа, не подозревая, что среброволосый банкир — это тот самый молодой, избитый торговец, которому он когда-то помогал. Но Джозеф сразу же узнал алабамца. Не взяв на себя обязательств по кредиту, он пригласил судью в тот же вечер к себе домой на званый ужин по случаю помолвки одной из его дочерей. В середине вечера Джозеф заставил гостей замолчать и рассказал историю о несправедливо обвиненном еврейском торговце, который избежал тюрьмы благодаря непрошеному свидетельству одного молодого человека. Наконец он резко объявил: «Этот юноша — не кто иной, как прославленный алабамский судья, который сегодня почтил своим присутствием наш стол, а безродный еврей — не кто иной, как моя скромная персона». Обращаясь к удивленному судье, Джозеф сказал ему, что братья Селигман с удовольствием предоставят Алабаме заем в размере 1 миллиона долларов.
Вскоре после того, как братья Селигманы переехали на юг, из Баварии пришло известие о смерти Фанни Селигман. Ей было сорок два года. В течение следующих двух лет оставшиеся Селигманы — сестры Бабетта, Розали и Сара, а также братья Генри (урожденный Герман), Леопольд (Липпман), Авраам и Исаак — иммигрировали в Соединенные Штаты. В 1842 году Джеймс ненадолго вернулся в Нью-Йорк, чтобы встретиться с первой волной братьев и сестер Селигман, возраст которых варьировался от трех лет (Сара) до двадцати одного года (Бабетта), и поселить их в доме на углу улиц Питт и Гранд. Дэвид Селигман, чей бизнес рухнул после смерти Фанни, неохотно покинул Байерсдорф в 1843 году. Он умер всего через два года после того, как добрался до Нью-Йорка.
Тем временем братья продолжали развивать свой бизнес на Юге, открыв магазины в Ютау, Клинтоне и Гринсборо. В их магазинах был представлен огромный ассортимент товаров: ювелирные изделия, ткани, одежда, посуда, седла, скобяные изделия, оружие, ноты и даже фортепиано.
«Дамы с уважением приглашаются рассмотреть наши красивые фасоны барегов, бальзаринов, муслинов, нитяных кружев, чулочно-носочных изделий, чепчиков и лент, а также разнообразные модные товары, которые были подобраны со вкусом и будут продаваться по ценам, соответствующим времени», — рекламировали магазин братьев в Гринсборо. Они называли этот магазин Seligman's New York Cash Store — они часто подчеркивали, что их товары были привезены из Нью-Йорка, — и хвастались «качеством и низкими ценами», которые «не может превзойти ни одно заведение на Юге».
Дела шли хорошо, но к концу 1840-х годов Джозеф и его братья начали искать новые возможности. Жизнь на юге никогда их не устраивала. Чувствуя себя неуютно в рабовладельческой среде, Селигманы тяготели к аболиционистской политике той партии, которая впоследствии стала Республиканской. Джесси стал поклонником Генри Клея, государственного деятеля из Кентукки, осуждавшего распространение рабства на новые территории США, когда тот посетил Ютау в качестве кандидата в президенты от партии вигов во время кампании 1844 года.
В 1848 году Селигманы решили закрыть свои магазины в Алабаме и вернуться на север. По словам одного из внуков Джозефа, писателя и торговца редкими книгами Джорджа С. Хеллмана (отца Джеффри Хеллмана из The New Yorker), если рабство и послужило толчком к их отъезду, то не главным. «Было бы… преувеличением предположить, что их антипатия к подчинению людей по причине расы, вероисповедания или цвета кожи была их главным мотивом при выборе Севера в качестве своего будущего дома», — пишет Хеллман в своей неопубликованной истории Джозефа и его братьев «История Селигманов». Решение переехать в Нью-Йорк было в основном экономическим. «Мы думали, что, приехав на Север, мы улучшим свое положение», — утверждал Джесси.