Джозеф не хотел, чтобы Джесси оставлял прибыльный бизнес в Уотертауне, но его также беспокоил «артистичный» Леопольд, мечтательный брат, который достиг преклонного возраста девятнадцати лет, не внеся в состояние Селигмана ничего, кроме карандашных набросков. Джозеф решил, что Джесси должен взять Леопольда с собой в Сан-Франциско и обучить его ведению складского хозяйства. Генри останется за Уотертауном и, кроме того, сможет выполнять прежние обязанности Джесси — играть в карты и шашки с трезвым лейтенантом Грантом.
Джесси и Леопольд первоначально планировали отправиться в Сан-Франциско по суше, но жена Джозефа, Бабет, подняла такой шум: «Но индейцы! Ужасные индейцы!», что планы были изменены, и мальчики заказали проезд на пароходе. Это был путь через Карибский бассейн в Колон (Панама), через перешеек на мулах, а затем вверх вдоль мексиканского и калифорнийского побережья. На борт корабля они погрузили ошеломляющее количество мелких товаров — на 20 000 долларов, что потребовало почти всего капитала, которым располагали братья Селигманы на тот момент. Но, как решили ребята, цены в Калифорнии, подстегиваемые золотой лихорадкой, должны быть завышены.
Высадившись в Колоне, они погрузили свой товар на мулов и отправились через перешеек. Вскоре другие люди с корабля заболели и умерли от панамской лихорадки, но двое парней со своим важным грузом пробирались сквозь джунгли. На середине пути, в Горгоне, запасы мулов закончились, их не хватало для перевозки селигманского груза, и мальчики были вынуждены остановиться. Здесь юный Леопольд слег с лихорадкой. Через две недели мулы прибыли, и Леопольда пришлось пристегнуть к спине мула Джесси. Когда они добрались до Панама-Сити и Тихого океана, то опоздали на пароход до Сан-Франциско. Леопольда, бредившего, на носилках перенесли на борт деревянного бокового парохода Northerner. Только когда судно достигло Акапулько, он оказался вне опасности.
Глядя на Сан-Франциско в 1850 г., Джесси записал в своем бухгалтерском журнале: «Временами дуют сильные ветры, воды не хватает... Дома каркасные, несколько железных». И он видел «большую опасность пожара». Пожар был серьезной угрозой для торговца сухими товарами, и Джесси знал это на собственном опыте. За год до этого пожар в его здании в Уотертауне уничтожил товары на сумму 6 500 долларов, из которых только 4 500 долларов были застрахованы. Благоразумно отказавшись от нескольких «каркасных строений», Джесси сумел арендовать одно из немногих кирпичных зданий в Сан-Франциско, которое стояло рядом с «модным домом Техама, содержащимся капитаном Джонсом» на углу улиц Калифорния и Сансом.
Джесси был прав, говоря о безумных ценах на золото. Сапожники в Сан-Франциско зарабатывали по двадцать долларов в день. Стирка дюжины рубашек обходилась в десять долларов. Монеты меньше полудоллара считались ничего не стоящими и не принимались торговцами. Наценка в новом магазине Джесси определялась рынком, и вскоре выяснилось, что он может предложить довольно много. Оловянные чашки и кастрюли, за которые на Востоке он платил гроши, продавались по пять и десять долларов за штуку. Пятидолларовые одеяла он продавал по сорок долларов, а вино и виски — по двадцать-тридцать долларов за кварту (хотя сегодня селигминцы не любят вспоминать о том, что когда-то они занимались алкогольным бизнесом). При этом он пытался научить Леопольда основам ведения хозяйства. Но Леопольд, оправившись от панамской лихорадки, теперь поддавался мукам тоски по дому и учился медленно.
Сан-Франциско был открытым, полным азартных игр городом. Людей на улицах застреливали при малейшей провокации — однажды шальная пуля из ниоткуда пробила шляпу Джесси, и охрана правопорядка носила в лучшем случае случайный характер. Джесси старался избегать соблазнов Сан-Франциско и еще больше следил за тем, чтобы их избегал Леопольд. Это было не всегда просто, поскольку некоторые из самых заманчивых развлечений происходили по соседству, в гостинице капитана Джонса «Техама Хаус». В письме домой Джесси заметил, что одна из самых высокооплачиваемых профессий в Сан-Франциско — «вероятно, самая древняя в мире», а дамы в Tehama House берут по три-четыре сотни долларов за вечернее развлечение. В менее фешенебельных районах города улицы кишели американками, немками, мексиканками, китаянками и канаками с Сандвичевых островов, которые были готовы оказать услугу за меньшую плату. «Мы, — заверил Джесси обеспокоенного Джозефа, — стараемся избегать подобных удовольствий, можете быть уверены». (Но однажды юный Леопольд с тоской составил небольшой список самых популярных дамских имен: «Мадам Сент-Арманд, Элен, Анжель, Эмилия....»). Чтобы скоротать вечера в Сан-Франциско, Джесси играл на флейте, а Леопольд работал над блокнотом, стараясь не обращать внимания на визг, хихиканье и периодические выстрелы из дома Техамы. Учитывая цены в прачечных и сапожных мастерских, мальчики сами стирали и гладили рубашки и чистили ботинки. Еще один благоразумный поступок — Джесси вступил в инженерную роту № 3 пожарной службы Сан-Франциско.