Мы добились того, о чем мечтали всю жизнь, а именно: достаточного достатка для всех наших больших семей, независимо от взлетов и падений американской валюты и ценностей, что больше, чем у большинства наших соседей. Кроме того, если у кого-то из нас есть амбиции не только быть богатым, но и оставить богатыми всех наших детей, я уверен, что, как только дела наладятся и станут не такими опасными, как мне кажется сейчас, мы сможем удовлетворить все наши амбиции, приумножив богатство.
Несмотря на отцовскую бдительность Джозефа, он иногда сам вступал в необдуманные сделки, в одном случае рискнув 50 000 долларов из семейного капитала на необеспеченный заем; Исаак проворчал, что его брат, должно быть, был "пьян или сумасшедший", когда выдал деньги без залога. Джозеф так переживал из-за неаккуратной сделки, что, когда обычные еженедельные письма от братьев не пришли, как ожидалось, он расценил их отсутствие как "акт мести" (что, возможно, так и было).
Внутриселигмановские разборки то разгорались, то затихали под давлением бизнеса: Джозеф попеременно то тепло спрашивал о здоровье своих братьев из Нью-Йорка, то поносил их за лень и неумелость.
Разногласия братьев усилились, когда их бизнес оказался на развилке дорог: Должны ли они продолжать заниматься торговлей? Или стать банкирами? Уильям сначала угрожал, что если семья откажется от импорта и полностью перейдет на инвестиционный банкинг, то он не захочет участвовать в бизнесе. Джеймс же утверждал, что финансовую отдачу банковского дела нельзя игнорировать. Джозеф был в противоречии. "Не думаю, что за всю свою жизнь я показал себя трусом, - писал он домой в апреле 1863 года, - но взгляды, которые я сейчас принимаю на перспективы нашей страны в нынешних безнадежных обстоятельствах, достаточны, чтобы сделать героя трусом".
Но Джозеф, осторожный, но не робкий, в конце концов выбрал смелый курс, успокоенный благоприятными событиями в войне. В начале июля 1863 года Союз одержал победу при Геттисберге, а войска Улисса Гранта захватили Виксбург, штат Миссисипи. В марте следующего года Линкольн назначил Гранта командующим армией Союза, и к маю генерал начал неустанную военную кампанию, которая в течение следующего года приведет войну к завершению. Джозеф вернулся в Нью-Йорк той весной, чтобы начать новый бизнес и новую главу в жизни семьи. 1 мая 1864 года он открыл фирму "Дж. и В. Селигман и К°, банкиры" в доме 59 по Биржевой площади, расположенном на соседней улице от Нью-Йоркской фондовой биржи. (W. означало Уильяма, который пришел к идее банковского дела, возможно, потому, что Джозеф согласился пока не сворачивать импорт).
Создавая свой банковский бизнес, Джозеф черпал вдохновение в самой известной в мире банковской семье Ротшильдов. В конце 1700-х годов Майер Амшель Ротшильд, основатель династии, служил придворным фактором (или "придворным евреем", как часто называли эту должность) у наследного принца Гессенского. Из-за христианских запретов на выдачу денег и ростовщичество европейские короли часто прибегали к услугам еврейских банкиров, которые в обмен на свои финансовые услуги пользовались привилегированным статусом и не подвергались тем же ограничениям, что и другие представители их веры. Но при всех своих преимуществах королевский банкир был также непрочным и даже опасным положением. Откажись от благосклонности или потеряй своего покровителя, и за этим может последовать изгнание, казнь или конфискация имущества. Майер Ротшильд сколотил не просто состояние, а целое наследие, создав сеть финансовых домов за пределами завидной досягаемости какого-либо одного монарха или дворянина. Его сыновья разбрелись по всей Европе, создав филиалы в Лондоне, Неаполе, Париже и Вене, а первоначальный дом находился во Франкфурте.
Джозеф жаждал престижа Ротшильдов. Ему доставляло особое удовольствие получать страховку через ту же фирму, которая страховала золотые грузы семьи Ротшильдов, и он хотел, чтобы имя Селигмана звучало в банковских кругах с таким же притяжением. Поэтому он подражал модели Ротшильдов. Он вернулся в Европу, где поздней осенью 1864 года основал первый зарубежный филиал семьи в Лондоне, мировом финансовом центре. Офисы Seligman Brothers, как называлась новая фирма, располагались по адресу 3 Angel Court, в нескольких минутах ходьбы от узкого мощеного переулка, где N.M. Rothschild & Sons основала свою штаб-квартиру в доме, известном как New Court. Джозеф поручил Айзеку, которому было чуть больше тридцати и которого пугали его новые обязанности, руководить операциями.