Пьерпонт был не из тех, кто легкомысленно относится к браку без любви. Как показала его любовь к Мими, он был очень романтичен. Он совершал паломничество к могиле Мими в Фэрфилде (штат Коннектикут), приезжая туда в годовщину их свадьбы или ее смерти. Под мутным и беспокойным взглядом банкира, сшитого на заказ, скрывалась душа сладострастника. Даже отпугивая людей, он был одиноким человеком, носившим в себе огромное отчаяние, которое не мог ни с кем разделить. Вероятно, несчастливый брак еще глубже погрузил его в бизнес, лишив при этом удовольствия от своих триумфов.
Связи Пьерпонта в сфере благотворительности были почти столь же обширны, как и его деловые интересы. Он предпочитал жертвовать на религиозные, культурные и образовательные цели, а не на нужды органов социального обеспечения. Он не пытался решить проблему бедности. Он хотел создавать частные и элитарные учреждения. Он был одним из первых меценатов Метрополитен-музея и Американского музея естественной истории, имел ложу в "Золотой подкове" Метрополитен-оперы (ему нравились романтические, витиеватые оперы, особенно "Троваторе"), вносил крупные пожертвования в больницу Святого Луки. После того как Джуниус стал партнером С. Эндикотта Пибоди (дальнего родственника Джорджа) в Лондоне, Пирпонт помог его сыну, преподобному Эндикотту Пибоди, купить девяносто акров земли к северу от Бостона для строительства новой подготовительной школы Гротон. Созданная по образцу школы Регби, она должна была воспитывать в своих учениках добрый, мужественный, христианский характер. По иронии судьбы, она породила заклятого врага дома Морганов - Франклина Делано Рузвельта.
Через своего друга и личного врача, доктора Джеймса В. Марко, Пирпонт сделал один из своих редких подарков иммигрантским массам, хлынувшим тогда в нью-йоркский Нижний Ист-Сайд. В 1893 г. Марко рассказал ему об операции, которую он провел на кухне доходного дома, чтобы спасти мать-иммигрантку и ее ребенка. Пирпонт отсчитал три стодолларовые купюры. "Позаботьтесь о том, чтобы она получила надлежащий уход", - сказал он, передавая деньги врачу. В конце концов доктор Марко убедил его выделить более 1 млн. долл. на строительство нового здания Нью-Йоркской больницы для лежачих больных, где медсестры будут обеспечивать бедных беременных женщин питанием, молоком и дородовым уходом. Доктор Марко стал ее директором. По мере того как Пирпонт становился все более похотливым, его забота о нерожавших матерях становилась предметом шуток в городе, а также рассказов о врачах больницы, женившихся на любовницах Пирпонта.
Но больше всего Пьерпонта поглотила епископальная церковь, входившая в англиканскую общину. Религия объединяла его ценности - красоту, порядок, иерархические отношения, почитание прошлого, пышность и помпезность. Будучи самым влиятельным епископальным мирянином Нью-Йорка, он посещал съезды церкви, проводимые раз в три года, и участвовал в заумных дебатах. Религия логично сопровождала морализм, который двигал им на работе и лежал в основе его возмущения американской деловой практикой. Его дед по материнской линии был проповедником, дед по отцовской - задорным певцом гимнов, а банковские максимы отца были сформулированы в эпиграмматическом стиле проповедей, и Юниус часто звучал как разочарованный священнослужитель: "Самоуничижение и чувство, что Бог одобряет, принесут гораздо большее счастье, чем все богатства, которые может дать мир". А сам Пирпонт был не прочь понтировать на Уолл-стрит, 23.
Для Пьерпонта и Фанни воскресные дни были посвящены религии. Они посещали церковь Святого Георгия на Стайвесант-сквер, где Пьерпонт был ризничим с 1868 г., и проводили воскресные вечера за пением гимнов. Чтобы доставить удовольствие Фанни, Пьерпонт также посещал по средам вечерние заседания хорового кружка Mendelssohn Club. В ранние годы он отличался ярко выраженным ханжеством. В целом его религиозные интересы не были связаны с земными правилами поведения. Религия двигала им на более примитивном уровне. Выкрикивая гимны на собраниях возрождения или сидя в одиночестве в соборе Святого Георгия, наслаждаясь органной музыкой в полумраке, он, казалось, был заворожен ритуалом и погружался в грезы мистической глубины.