По воскресеньям после обеда Гулды развлекались. Частыми гостями были мудрецы Расселы, родители Элли и другие представители ближнего круга Гулдов, в том числе Сидни Диллон, Джесси Селигман, Сайрус и Дэвид Дадли Филд. Жены общались с Элли, в то время как мужчины говорили, в основном, о своей единственной важной связи — финансах. Однако с Морозини у Джея, похоже, были несколько более близкие отношения. Оба они любили коллекционировать антикварные издания книг, и это оказалось плодородной почвой для неделовых разговоров. Еще одним искренним и хорошим другом Гулда из его деловой жизни, с которым он виделся нечасто, но к которому питал большую взаимную симпатию, был Сайлас Кларк, хронический ипохондрик, с которым Джей общался по вопросам здоровья. После семьи и старых друзей из Кэтскиллз, с которыми он виделся реже, чем ему хотелось бы, именно в этом кругу Гулд чувствовал себя наиболее уютно, расслабленно и спокойно. (Следует сказать, что бостонец Фред Эймс, похоже, вообще не проводил много времени с Джеем вне залов заседаний, разве что присоединялся к нему во время инспекционных поездок).
Помимо членов внутреннего круга, Джей и Элли мало общались. Почти регулярное осуждение Джея прессой и теми, кто оказывался в проигрыше от его спекуляций, сделало его чем-то вроде социального изгоя. Этот факт, похоже, не очень беспокоил Гулда, поскольку его изгнание из вежливого общества прекрасно сочеталось с его склонностью к уединенным занятиям и тихой замкнутости семьи. В тех редких случаях, когда Джей и Элли получали приглашение на ужин, бал или другое «неизбежное» (по выражению Гулда) мероприятие, он настаивал на позднем приходе и раннем уходе. Элли же, напротив, стремилась к светской жизни, приветствовала те немногие «неизбежности», которые возникали, и не любила, когда ее сторонились. Воспитанная в обществе, которое определяло себя исключительно по тому, кого оно впускало, а кого не впускало, Элли ощущала глубокую изоляцию Джея как изгоя гораздо острее, чем это мог бы сделать фермер из Кэтскиллз. Как писал Эдвин Хойт, «Джея не особенно интересовали вечеринки и светская жизнь. Он не пил. Он не курил. Он не плавал на маленьких лодках и не играл в бильярд. Его страстями были зарабатывание денег, чтение, прогулки и наслаждение природой».[420]
Однако в ответ на страдания жены Джей сделал все, что мог. В начале 1880-х годов он вместе с Уильямом К. Вандербильтом (внуком Коммодора, сыном Уильяма Х. Вандербильта) и другими некникербокерскими миллионерами финансировал строительство нового театра Метрополитен-опера. Гулдсам — наряду с Вандербильтами, Гоэлетами, Уитни, Дрекселями, Рокфеллерами, Морганами и Хантингтонами — ранее было отказано в предоставлении ложи «парадного круга» в Академии музыки на Ирвинг-плейс, где господствовали такие старые семьи, как Асторы, Ливингстоны, Шуйлеры и Бикманы. Теперь они подписались на ложи в парадном круге «Бриллиантовой подковы» нового оперного театра. «Все нувориши были там», — писала газета Dramatic Mirror, рассказывая о премьере в октябре 1883 года. «Гулды, Вандербильты и другие подобные люди благоухали в воздухе запахом хрустящих гринбеков. Ярусы лож напоминали клетки в зверинце монополистов. Когда кто-то заметил, что дом выглядит ярким, как новый доллар, стал очевиден соответствующий характер собрания. Изысканному глазу украшения здания показались особенно дурными».[421] Элли, которая таким образом пробилась в нужные театральные кресла, тем не менее, была отвергнута в том же году, когда Уильям К. Вандербильты, получив отказ в участии в знаменитом балу миссис Астор «Четыреста», объявили свой собственный бал, чтобы включить в него элиту Нью-Йорка «Двенадцать сотен», а затем оставили Гулдов вне списка.
Именно любитель прогулок, верховой езды и садовод Джей настаивал на том, чтобы каждое лето проводить несколько недель в деревне. После различных пребываний не только в Лонг-Бранче, но и в местах, которые больше нравились Гулду, таких как Белые и Зеленые горы, Джей наконец нашел загородное убежище, которое понравилось ему настолько, что он решил сделать его постоянным. Летом 1877 года Гулд арендовал обнесенное стеной поместье площадью триста акров с видом на реку Гудзон в Ирвингтоне (недалеко от Тарритауна). Это место, расположенное неподалеку от поместий Сайруса и Дэвида Дадли Филдов, ранее было домом Джорджа Мерритта, некогда преуспевающего нью-йоркского торговца, умершего в 1873 году. Гулд арендовал дом у вдовы Мерритта. Названный Линдхерст (первоначально Линденхерст, но позже сокращенный) в честь лип, растущих на территории дома, он представлял собой самый лучший образец архитектуры готического возрождения, который можно найти в Соединенных Штатах. Известный архитектор Эндрю Джексон Дэвис впервые задумал и построил асимметричную коллекцию причудливых башенок, финтифлюшек, контрфорсов и трилистников для первого владельца Линдхерста Уильяма Полдинга — бывшего мэра Нью-Йорка, который называл это место Кнолл, в 1838 году. Двадцать шесть лет спустя Дэвис вернулся, чтобы удвоить размеры и без того большого дома, добавив новое крыло и башню по приказу Мерритта. После этого дом стал напоминать мрачный и сложный готический замок: вполне подходящее жилище для финансового Дракулы. (В 1960-е годы здесь снимали сверхъестественную мыльную оперу «Мрачные тени»). Но такое впечатление создавалось только снаружи. Интерьер был открытым, гостеприимным и наполненным светом из многочисленных стратегически расположенных окон. Гулды любили это место.
Однако больше всего Джея привлекала территория. Широкие лужайки, обрамленные древними липами, вязами, буками, березами и соснами, спускались от дома к реке. Вдоль береговой линии длинная лужайка упиралась в железнодорожные пути Нью-Йоркской железной дороги, которой принадлежало право проезда. Из дома открывался большой вид на Гудзон, с которого открывались прекрасные виды на Палисады на юге и Таппан-Зи на севере. Здесь Джей играл в крокет со своими детьми. Здесь же он прогуливался в сумерках или сидел на скамейке с одной из своих книг. В Линдхерсте также были большие конюшни, что позволяло Джею и его мальчикам заниматься верховой ездой. Но самое главное для Джея — к северу от замка находилась самая большая оранжерея в Соединенных Штатах: 380 футов в длину и 37 футов в ширину, с 60-футовыми крыльями на каждом конце и высоким куполом, поднимающимся на 100 футов в воздух. В ясный день, стоя под куполом на платформе, к которой вела лестница, можно было смотреть на север и видеть не только Гудзонское нагорье, но и далекую синеву родных Катскиллов Джея, на которые он указывал и называл детям «домом». (Гулд часто ностальгировал по старым временам и друзьям в Катскилсе и продолжал иногда появляться там).
Три лета в Линдхерсте так увлекли Гулдов, что в 1880 году Джей выкупил поместье у миссис Мерритт, заплатив 250 000 долларов. Вскоре после покупки он превратил большую бильярдную комнату на втором этаже в галерею, где повесил свою растущую коллекцию картин представителей барбизонской школы. В то же время он захватил еще две комнаты на главном этаже, чтобы создать частную библиотеку со стеклянными шкафами. Что касается оранжереи, которая пустовала после смерти Мерритта, Джей приказал немецкому ландшафтному дизайнеру и мастеру-садовнику Фердинанду Мангольду, которого Мерритт импортировал в 1864 году, заполнить ее большим количеством редких роз, орхидей и других сокровищ. Каждый вечер тем летом, вернувшись домой на Нью-Йоркском центральном поезде и поужинав с семьей, довольный Гулд в деловом костюме и ковровых тапочках отправлялся в оранжерею, где вместе с Мангольдом с удовольствием занимался сортировкой и посадкой растений. К тому времени, когда Джей и его семья вернулись на Пятую авеню той осенью, он потратил более 40 000 долларов на различные сорта цветов и растений. Той осенью его часто можно было встретить в Линдхерсте по выходным, когда он играл с корнями и луковицами.