Вскоре после прихода Шиффа в Kuhn Loeb имя фирмы стало появляться в газетах наряду с именами самых известных нью-йоркских банковских домов, включая Селигманов и Дж. П. Моргана, и в связи со все более крупными сделками.
Признаком авторитета Kuhn Loeb и Шиффа стало то, что в 1878 году банкир получил приглашение проконсультироваться с министром финансов Джоном Шерманом по поводу выпуска облигаций на 100 миллионов долларов. Вместе с Шиффом на встречу с Шерманом пришли крупнейшие финансовые воротилы Нью-Йорка, включая Джозефа Селигмана и Августа Бельмонта, представителя Ротшильдов в США, который, как и Шифф, вырос во Франкфурте. (Один из самых влиятельных банкиров своей эпохи, а также политический деятель, более десяти лет возглавлявший Демократический национальный комитет, Бельмонт постарался скрыть свои еврейские корни, приняв христианство и изменив свою первоначальную фамилию — Шёнберг). В итоге Селигман подписался на 20 миллионов долларов облигаций, а Шифф и Бельмонт — на 10 миллионов долларов.
В 1880 году, узнав о срыве переговоров между Пенсильванской железной дорогой и ее банкирами — Дж. П. Морганом и его партнером Энтони Дрекселем о привлечении нового кредита, Шифф обратился к руководству компании. Он сказал, что Kuhn Loeb «с удовольствием» займется этой сделкой. Шифф оформил кредит, и все чаще Пенсильвания переводила свои банковские дела в Kuhn Loeb. С тридцатью тысячами сотрудников и капиталом в 400 миллионов долларов Pennsy, как ее называли, была тогда крупнейшей в мире корпорацией. Победа в ее бизнесе стала решающим фактором. В течение следующих четырех десятилетий Kuhn Loeb провела для железной дороги более 1 миллиарда долларов в виде размещения акций и облигаций. Подтверждая важность отношений, в офисах Kuhn Loeb висели два обрамленных чека для Пенсильванской железной дороги, один на 49 098 000 долларов, а другой на 62 075 000 долларов.
В 1885 году Шифф перевез свою семью в четырехэтажный таунхаус в стиле Beaux Arts в районе Верхнего Ист-Сайда, населенном друзьями-магнатами. Девять-тридцать две Пятой авеню находились в нескольких кварталах от храма Бет-Эль — второй общины, к которой Шифф принадлежал помимо храма Эману-Эль и куда он мог легко ходить по субботам (когда ортодоксальные евреи не ездят в транспорте и не выполняют никаких дел, которые могут быть истолкованы как работа). Дом с окнами-бабочками на втором этаже был длинным и узким. Дворецкий Шиффов, пожилой ирландец по имени Томас, находил 150-футовую прогулку от задней части дома до входной двери настолько мучительной, что в конце концов сдал ключи и уволился.
Практически в одно и то же время каждое буднее утро Шифф выходил из своего дома со свежесрезанным цветком, часто розой, украшавшей лацкан его пальто. Он нанял шофера по имени Невилл, хотя большую часть пути до центра города предпочитал проходить пешком, часто доходя до 14-й улицы раньше, чем его забирал шофер, а остальную часть пути проделывал на троллейбусе. Он любил физические упражнения, но также использовал эти прогулки для обсуждения бизнеса, политики и благотворительной деятельности со сменяющейся группой друзей и помощников, включая Луиса Маршалла, одного из его ближайших союзников и доверенных лиц. Шифф часто предпочитал разговаривать на немецком, а его английский был с сильным акцентом. Он страдал от проблем со слухом, которые с возрастом усугублялись, хотя, казалось, он хорошо компенсировал свои недостатки. Требовательный человек, Шифф ненавидел расточительство. Вместо блокнотов он использовал обрывки бумаги. А газеты и журналы, которые он обычно спасал, он передавал пациентам больниц, перевязанные шпагатом, который он тоже спас. Шифф так же бережно относился к своему времени и старался сделать свои ежедневные прогулки как можно более выгодными.
В тот год, когда Якоб с семьей переехал в новую квартиру, Соломон Лёб стал особым партнером Kuhn Loeb и полностью передал бразды правления своему зятю, который уже завладел ими во всех смыслах, кроме официального. Наглый стиль Шиффа не давал Лоебу покоя. Он направил фирму в неизведанные воды, в некоторых случаях даже не посоветовавшись с Лоэбом. По словам Джеймса Лоэба, переломный момент наступил для старшего банкира, когда «в середине восьмидесятых, когда отец был за границей с семьей, тяжелые обязательства в непродуманном железнодорожном предприятии поставили фирму в довольно шаткое положение. К тому времени отец начал понимать, что его взгляды мало совпадают со взглядами его более молодых коллег, и он решил отказаться от дальнейшего активного участия». После выхода на пенсию Лоэб продолжал ежедневно возиться в офисе, хотя, по словам его сына, «к своему огорчению, он обнаружил, что к его советам и опыту прибегают не так часто и не так свободно, как он считал нужным».