К 1852 году Джозеф Селигман, торговавший на рынке золотом из Калифорнии, был уже известной фигурой в нью-йоркском финансовом сообществе. Его имя и его кредиты были известны крупным коммерческим банкам. Он совершал логичный, почти неизбежный переход от торговца к банкиру. Этот путь вскоре проделают и другие купцы-иммигранты, но первыми его совершили Селигманы, принадлежавшие к группе немецких евреев. (Позже в еврейском обществе возникнет социальное различие между такими семьями, как Селигманы, которые перешли от торговли к банковскому делу, и такими семьями, как Штраусы из Macy's, которые «остались» в розничной торговле).
В начале 1850-х годов американская экономика раскручивалась по головокружительной спирали. Благодаря потоку золота из Калифорнии акции на Нью-Йоркской фондовой бирже поднимались все выше и выше. Начался бум на западных землях и железных дорогах, акции этих компаний использовались в качестве залога под кредиты, которые использовались для покупки еще большего количества акций, которые использовались в качестве залога под кредиты, и так далее, и так далее. Банк Англии расширялся, тарифы росли, а нью-йоркские коммерческие банки продолжали выдавать кредиты, а потом еще и еще. Фондовый рынок, казалось, не знал вершин. Никогда еще нью-йоркские женщины не были так экстравагантно одеты. Азартные игры на больших частных вечеринках внезапно стали фактором общественной жизни Нью-Йорка, и все сплетничали о том или ином большом состоянии, проигранном или выигранном в вист, покер или рулетку. Особняки поднимались вверх по склону Мюррей-Хилл, а газеты с тревогой писали о вечеринках новых богачей, которые превращались в «оргии помпейского разгула». Тем временем акции железнодорожной компании, которая не существовала нигде, кроме как в воображении промоутера, поднялись с двадцати пяти центов за акцию в понедельник до $4 000 за акцию в пятницу. Это были напряженные дни для Селигманов.
Однако в одно прекрасное утро 1857 года Джозеф, совершая обход торговых точек, услышал, как кассир одного из коммерческих банков Нью-Йорка говорит о катастрофической нехватке наличных денег. Банк собирался начать привлекать кредиты. Иосиф быстро принял меры. Он приказал своим братьям «ликвидировать все ценные бумаги, кроме первоклассных». Когда «пузырь» лопнул, серебро и золото Селигманов были упакованы в ящики и убраны на хранение под кровать Джозефа и Бабет. Во время паники 1857 года в Нью-Йорке закрылись все коммерческие банки, кроме одного. Братья Селигманы пережили ее без потерь, и тот почетный эпитет с Уолл-стрит — «прикосновение Мидаса», который, справедливо или нет, применялся к многим финансовым деятелям в последующие годы, теперь был применен к ним. Восстановление после паники 1857 года было столь же впечатляющим, как и сама паника. Пузырь не успел лопнуть, как он начал надуваться вновь. В Нью-Йорк из Калифорнии хлынуло столько золота, что стоимость золота в нью-йоркских банках выросла с восьми миллионов долларов в октябре до двадцати восьми миллионов двумя месяцами позже, а десятимиллионный кредит, предоставленный Ротшильдами через Августа Бельмонта для укрепления кредита американских банков, был погашен в тот же день. Но в этом новом подъеме селигмовцы снова имели преимущество.
В 1857 г. Джозеф поселился в своем первом манхэттенском доме, разумеется, арендованном, поскольку он не хотел связывать себя недвижимостью, на Мюррей-Хилл, лучшем в городе адресе, а через год он арендовал на лето у богатого торговца А.А. Лоу дом на фешенебельном в то время Статен-Айленде. Таким образом, в обществе немецких евреев прочно утвердилась модель многократного проживания. Каждый год после свадьбы Бабет рожала ему по ребенку — уже пять, и таким образом многодетность селигманов сохранялась. Иосиф, успешный кормилец, муж и отец, начал верить в свой собственный миф. Он начал подумывать о том, что ему пора написать свой портрет. (Из торговца Джозеф Селигман превращался в личность.
Он стал внимательно присматриваться к поведению Августа Бельмонта. «Он еврей, — комментировал Джозеф, — но ходит везде, со всеми встречается, и «общество» крутится вокруг него». Джозефу было немного неприятно «крутиться» в обществе, но он был бы не прочь иметь с ним дело. Однако он не был мелочным человеком и не стал бы ластиться и льстить, чтобы попасть в гостиные язычников. Если он был нужен кому-то в обществе, он должен был сам прийти к нему.