Селигманы держали небольшой магазин в еврейском квартале Байерсдорфа — семья жила над ним, — где Фанни продавала кружева, постельное белье и ленты, а также шерстяные изделия, изготовленные ее мужем, Давидом, городским ткачом. Сдержанный, утомленный миром человек, Давид стремился приобщить старшего сына к семейному ремеслу, но Фанни настояла на том, чтобы Джозеф продолжил образование после окончания начальной школы. В четырнадцать лет он поступил в местный университет в близлежащем Эрлангене, изучая теологию и медицину. У него проявился талант к языкам — помимо английского, французского и иврита, он свободно изъяснялся на классическом греческом.
Чем больше он узнавал, тем больше в нем росло нетерпение к окружающему миру и презрение к социальному порядку, который сковывал евреев законами об исключении, обрекавшими их на нищету и статус второго сорта. На протяжении веков в Европе евреи подвергались непрекращающимся преследованиям: их изгоняли монархи и понтифики, конфисковывали их имущество и сжигали их священные книги. Их истребляли и сжигали на кострах, насильно крестили, наказывали драконовскими эдиктами и вымогательскими налогами, ссылали в убогие гетто. Отношение к ним стало более просвещенным, но только до определенного момента. В родной для Джозефа Баварии евреи только недавно получили право учиться в университетах и владеть собственностью.
В шестнадцать лет он написал трактат, посвященный вопросу эмансипации евреев. Несмотря на то что его резкая критика немецкого общества возмутила университетское начальство, он выступил с решительной речью на эту тему, в которой задался вопросом, почему к «моему народу» «относятся не более внимательно, чем к рабу-негру».
Как и тысячи других молодых и амбициозных мужчин его поколения, очарованных рассказами из вторых рук о том, что ждет трудолюбивых иммигрантов в стране безграничных возможностей (das Land der unbegrenzten Möglichkeiten), Джозеф загорелся желанием отправиться в Америку. Двоюродный брат, Льюис Селигман, поселился в городке Мауч Чанк (впоследствии переименованном в честь олимпийца Джима Торпа) в угольной Пенсильвании. Джозеф, которому еще предстояло завершить обучение в университете, умолял родителей разрешить ему уехать. Дэвид поначалу протестовал и сдался только после того, как Джозеф получил официальное приглашение от своего кузена.
Путь до Бремерхафена занял семнадцать дней. Ночью Джозеф и его попутчики разбивали лагерь на обочине дороги. Это тесное и ухабистое путешествие было роскошным по сравнению с тем, что ожидало его на борту «Телеграфа», где за сорок долларов Джозеф мог питаться один раз в день и жить в убогой каюте, которую он делил с пятью другими людьми. Погода была штормовой, условия жизни ужасными, а плавание казалось бесконечным — «Телеграф» находился в море сорок два дня. Когда 25 сентября он наконец достиг Нью-Йорка, условия на суше оказались не менее бурными, чем на море. Сойдя на берег, он попал в финансовую панику 1837 года, один из самых тяжелых экономических кризисов, пережитых страной с момента ее основания.
В день приезда Джозефа в газете New York Evening Post появилось описание истоков банковского кризиса, до жути похожее на современные финансовые крахи:
Доверие было экстравагантным, безграничным; каждый давал кредит каждому… пока, наконец, общество не начало видеть глупость доверия без оснований, и они остановились. Доверие было уничтожено собственной чрезмерностью. Если бы доверие народа можно было поддерживать вечно, если бы векселедержателям не давали возможности постоянно звонить, чтобы получить оплату по своим векселям, банки никогда бы не остановились, банковская бумага становилась бы все более и более обильной; цены бы росли бесконечно; спекуляция продолжалась бы без конца.
По всей стране рушились банки, распространяя экономический крах от Вермонта до Арканзаса. Последовавший за этим спад затянулся до 1840-х годов. В этот тяжелый период восемь штатов и территория Флориды объявили о банкротстве.
Несмотря на неспокойную финансовую обстановку, Джозеф нашел работу в Мауч-Чанке у Асы Пакера, самодельщика, который в то время собирался сколотить огромное состояние. Пакер (который впоследствии два раза избирался в Конгресс и основал Университет Лехай) открыл несколько магазинов и лодочную верфь на берегу канала Лехай, где он занимался перевозкой угля на баржах из близлежащих шахт. Пакер нанял Джозефа в качестве кассира и клерка, но, впечатленный его интеллектом, бизнесмен вскоре повысил Селигмана до должности личного секретаря за 400 долларов в год.