Когда Джейкоб стал взрослым, его удушающая религиозная набожность вызывала недоумение в кругу семьи, но в детстве он терпел религиозные строгости, навязанные отцом, которые включали в себя ежедневное посещение синагоги Однажды, отчаявшись избежать урока иврита, он сбежал через окно своего дома и спустился по водосточной трубе на улицу внизу.
Отношения между Моисеем и его второродным сыном были напряженными. Его беспокоило в Якобе не отсутствие, а избыток стремления. Еще до окончания Гражданской войны в США Яков просил у него разрешения уехать в Соединенные Штаты, что не могло не тревожить Моисея, опасавшегося, что вне франкфуртской религиозной общины его сын сбросит атрибуты своей ортодоксальной веры (опасения оказались в какой-то степени обоснованными). "Мой второй сын, которому сейчас 17 лет, - Яков - представляет собой большую проблему, потому что он уже чувствует, что Франкфурт слишком мал для его амбиций", - писал Мозес родственнику из Сент-Луиса Р. Л. Штраусу, выясняя возможность отправки сына жить к нему. "Я хотел бы услышать от Вас, если я дам свое разрешение, возможно, Ваш шурин заберет его к себе, и он сможет продолжать жить жизнью ортодоксального еврея, что имеет для меня большое значение".
3 марта 1865 года Якоб Шифф получил паспорт, позволяющий ему выезжать за пределы Франкфуртского Свободного государства. А 12 июня он обратился с письмом к Штраусу: "Как мой отец уже говорил вам некоторое время назад, у меня есть сильное желание уехать в Соединенные Штаты, но прежде чем сделать такой шаг, я хотел бы найти постоянную должность в одном из крупных городов". Шифф продолжал: "Я знаю, что самая большая трудность возникнет в связи с субботой, но, возможно, вам удастся найти должность, которая позволит мне быть свободным в этот день, поскольку я принципиально склонен к благочестивому соблюдению религии."
Если ответ приходил, Якоб не ждал его. Через несколько недель он отправился в Нью-Йорк с 500 долларами, которые дал ему Филипп, и пакетом кошерного мяса, чтобы продержаться до конца путешествия. Близкий друг и биограф Шиффа, Сайрус Адлер, предложил два разных рассказа о путешествии Якоба, но известно следующее: Суровый отец Якова не сразу согласился на его эмиграцию. В своей двухтомной биографии Шиффа, опубликованной в 1928 году, Адлер рассказал, что даже "когда карета стояла у дверей", Моисей раздумывал над тем, отправлять ли сына в Соединенные Штаты, и в конце концов дал свое благословение благодаря "совместным мольбам всей семьи". Однако в более раннем рассказе Адлер утверждает, что Якоб не дождался одобрения отца. Он писал, что Шифф выехал из Франкфурта "якобы в Англию", но на самом деле с намерением отправиться в Соединенные Штаты. Во время короткой остановки в Англии он написал несколько писем домой и передал их "другу, чтобы тот отправлял их по почте через регулярные промежутки времени, дабы избавить мать от беспокойства по поводу его переезда".
Когда корабль Якоба прибыл, его встретил товарищ по франкфуртской эмиграции Уильям Бонн. Подросток, появившийся на свет влажным нью-йоркским летом, был невысоким и стройным, с неземными голубыми глазами и темными волнистыми волосами. У него была прямая, аристократическая осанка и целеустремленность, которая стала очевидной уже через несколько мгновений после знакомства с ним. Как вспоминал один давний друг Шиффа, "он начертил для себя карту жизни и ни на волосок не отклонялся от проложенного им пути".
О прибытии Шиффа Бонну сообщил его общий друг; хотя они никогда не встречались, Бонн, также занимавшийся банковским бизнесом, решил устроить молодого иммигранта, вспомнив свою собственную одинокую высадку в Нью-Йорке. Он сопроводил Шиффа в небольшой отель, планируя оставить его у стойки регистрации. Но Шифф настоятельно попросил его подняться к нему в номер, чтобы они могли поговорить о "новой земле и старом месте". Каждый раз, когда Бонн поднимался, чтобы уйти, Шифф убеждал его остаться еще немного. Не успел он опомниться, как солнце уже взошло.
Шифф устроился клерком в недавно образованное банковское товарищество Frank & Gans, которое занималось торговлей золотом, акциями и государственными ценными бумагами. Наблюдая за энергией, стремлением и умением Шиффа привлекать клиентов, Адольф Ганс, один из партнеров фирмы, отметил, что у молодого банкира есть задатки "прирожденного миллионера".