Самый красивый из мальчиков Селигманов, Джеймс был прирожденным продавцом, и Джозеф сделал ставку на его первую попытку заняться торговлей, как и на Уильяма. Чтобы он начал работать, Джозеф купил ему золотых и серебряных украшений на 300 долларов - "кольца, булавки, цепочки и т. д.", - вспоминал Джеймс. Он пересек Пенсильванию, затем отправился дальше на юг в поисках новых плодородных земель. Наконец он добрался до Алабамы. Возможности для бизнеса там оказались настолько широкими, что он с радостью вернулся на север, чтобы убедить своих братьев перенести торговую деятельность. Чтобы убедить братьев в своей правоте, ему не нужно было ничего делать, кроме как рассыпать перед ними свои доходы. За время своего путешествия на юг он прикарманил около 1000 долларов.
Летом 1841 года другой Селигман, Джесси (урожденный Исайя), которому тогда было около четырнадцати лет, воссоединился со своими братьями в Ланкастере, штат Пенсильвания, где они открыли небольшой магазин, служивший складом снабжения для их торговых поездок. "Я пробыл в Ланкастере несколько недель, - вспоминал Джесси, - за это время я в некоторой степени выучил английский язык и в то же время освоил науку курения грошовых сигар". Осенью того же года четверо братьев отплыли в Мобил с товарами на сумму около 5000 долларов. Они подумывали открыть там магазин, но город был дорог и полон конкурентов. "Поэтому мы сочли целесообразным отправиться в какой-нибудь внутренний город", - вспоминал Джесси.
Селигманы продолжили путь в Сельму, о которой Джеймс рассказывал во время своего предыдущего путешествия. Этот населенный пункт с населением около двенадцати сотен человек был популярным торговым центром, и братья открыли там импровизированный магазин, разместив свои товары под тентом, а затем арендовали помещение под магазин. Джозеф остался в Сельме, чтобы управлять магазином, в то время как его братья отправились в то, что Джесси описывал как месячное "путешествие с целью осмотра окрестностей".
Возможно, причиной послужили насмешки по поводу его иностранности или еврейства, а может, спор из-за товара, но пока братья были в пути, Иосиф поссорился с местным жителем. Их спор перерос в жестокую ссору, и Иосифа посадили в тюрьму как зачинщика драки. Местный судья уже готов был вынести приговор, как вдруг свидетель - сын видного горожанина - указал на другого человека как на зачинщика.
В семье Селигманов рассказывают, что спустя десятилетия, когда Алабама боролась с непосильным бременем долгов времен Гражданской войны, Джозеф нашел способ отплатить за услугу. Свидетель, оправдавший его, , ныне судья из Алабамы, отправился в Нью-Йорк в поисках финансирования для нуждающегося в деньгах штата. Один за другим банкиры отказывали Алабаме. Наконец судья навестил Джозефа, не подозревая, что среброволосый банкир - это тот самый молодой, избитый торговец, которому он когда-то помогал. Но Джозеф сразу же узнал алабамца. Не взяв на себя обязательств по кредиту, он пригласил судью в тот же вечер к себе домой на званый ужин по случаю помолвки одной из его дочерей. В середине вечера Джозеф заставил гостей замолчать и рассказал историю о несправедливо обвиненном еврейском торговце, который избежал тюрьмы благодаря непрошеному свидетельству одного молодого человека. Наконец он резко объявил: "Этот юноша - не кто иной, как прославленный алабамский судья, который сегодня почтил своим присутствием наш стол, а безродный еврей - не кто иной, как моя скромная персона". Обращаясь к удивленному судье, Джозеф сказал ему, что братья Селигман с удовольствием предоставят Алабаме заем в размере 1 миллиона долларов.
-
Вскоре после того, как братья Селигманы переехали на юг, из Баварии пришло известие о смерти Фанни Селигман. Ей было сорок два года. В течение следующих двух лет оставшиеся Селигманы - сестры Бабетта, Розали и Сара, а также братья Генри (урожденный Герман), Леопольд (Липпман), Авраам и Исаак - иммигрировали в Соединенные Штаты. В 1842 году Джеймс ненадолго вернулся в Нью-Йорк, чтобы встретиться с первой волной братьев и сестер Селигман, возраст которых варьировался от трех лет (Сара) до двадцати одного года (Бабетта), и поселить их в доме на углу улиц Питт и Гранд. Дэвид Селигман, чей бизнес рухнул после смерти Фанни, неохотно покинул Байерсдорф в 1843 году. Он умер всего через два года после того, как добрался до Нью-Йорка.