Утром 3 мая 1851 года начался пожар. Через несколько часов вся деловая часть города была охвачена пламенем. Пустые воздушные пространства под дощатыми улицами превратились в отличные воздуходувные трубы, по которым огонь распространялся из квартала в квартал. Джесси помогал бороться с огнем в центре города до тех пор, пока пожар не был признан неуправляемым, а затем поспешил вернуться в свой магазин. По соседству он обнаружил капитана Джонса и его персонал — официантов, посыльных, крупье и «актрис» — на крыше Tehama House, растянувших по фронтонам пропитанные водой одеяла и стоявших рядом с ведрами и метлами.
«У вас каркасное здание!» обратился Джесси к капитану. «Как ты думаешь, какой толк от этих мокрых одеял?»
«Я позабочусь о своем здании, а вы позаботьтесь о своем», — сказал капитан.
«Но разве вы не видите?» — сказал Джесси. «Огонь сначала доберется до моего здания. Если мы сможем спасти мое кирпичное здание, то сможем спасти и ваше».
Капитан воскликнул: «Боже, Селигман, я думаю, ты прав!». Он тут же отправил всех посыльных, официантов, крупье и актрис с их одеялами и ведрами на крышу магазина Джесси. Затем Джесси направил в свой квартал пожарную машину № 3 компании Howard Engine Company. Редко когда работа Селигмана оказывалась столь выгодной. Из всех зданий в этом районе только два были полностью спасены — магазин Джесси и дом Техама. После пожара Джесси оказался владельцем единственного оставшегося в Сан-Франциско универсального магазина. В бешенстве он писал домой Джозефу, чтобы тот прислал еще товаров.
Впоследствии Джесси с гордостью говорил, что, хотя он, конечно, был в состоянии это сделать, он ни разу не воспользовался бедствием, не подняв ни одной цены на пенни в течение нескольких месяцев после пожара. Но он и не снижал их. В конце концов, цены Джесси, по меркам других стран, и так были запредельными. Будучи единственным послепожарным торговцем в Сан-Франциско, он заработал то, что можно охарактеризовать только как кучу денег. Вскоре прибыль из Сан-Франциско стала составлять настолько большую часть доходов Селигманов, что магазин в Уотертауне был закрыт, а Генри поспешил в Сан-Франциско, чтобы помочь Джесси, который получал от Леопольда очень мало помощи. (По совпадению, в том же году 4-я пехота Гранта была выведена из Мэдисонских казарм и направлена на Тихоокеанское побережье).
Дни Селигманов, занимавшихся импортом и розничной торговлей, были почти закончены. В Нью-Йорке самым выгодным импортом стало золото из Калифорнии. Из Нью-Йорка золото, которое не продавалось на рынке, отправлялось в Европу для закупки новых товаров для магазинов Селигмана. Селигманы по-прежнему торговали сухими товарами, хлопком, шкурами, сапогами, туфлями, кастрюлями, сковородками, сигарами, нижними рубашками и виски, но как покупатели и продавцы слитков они оказались в банковском бизнесе, почти не понимая, что с ними произошло. К 1857 г. с калифорнийских холмов на восток ушло более 500 млн. долл. золота, значительная часть которого прошла через руки селигманов.
В те наивные времена стать банкиром было почти так же просто, как сказать: «Я — банкир». Национальный закон о банковской деятельности появился только после Гражданской войны, и банки, особенно частные, были организованы с поразительной неформальностью. Казалось, что каждый житель Нью-Йорка так или иначе связан с торговлей деньгами, и, по сути, говорили, что для того чтобы стать банкиром, нужно лишь одеваться как банкир. Джозеф Селигман и его братья уже изучили многие основы банковского дела. Магазины Селигмана продавали товары в кредит, давали деньги в долг, покупали и продавали долговые расписки и даже вели депозитные счета. «Оставайтесь ликвидными», — писал Иосиф своим братьям. «Никогда не вкладывайте деньги в недвижимость и не давайте ипотечных кредитов». Иосиф сделал важное открытие. Существовала существенная разница между покупкой и продажей нижних рубашек и покупкой и продажей фондов и кредитов. Нижние рубашки могли приносить прибыль торговцу только в те часы, когда его магазин был открыт; в остальное время он простаивал, являясь обузой. Деньги же оставались активными круглосуточно. Кредиты не зависели от времени работы. Когда деньги работали, они работали двадцать четыре часа в сутки, семь дней в неделю, триста шестьдесят пять дней в году и не останавливались ни на какие праздники, ни еврейские, ни языческие. «Деньги, — торжественно сказал Джозеф своим братьям, — зарабатывают деньги, даже когда вы спите».