Однако именно чернокожие, а не богачи, стали главной мишенью разъяренных толп, которые обвинили их в войне и устроили ужасающую серию нападений и линчеваний, в результате которых погибло более ста чернокожих и тысячи получили ранения. (Беспорядки привели к бегству чернокожих жителей с Манхэттена).
Джозеф, узнав о потрясениях, написал домой о «душераздирающих» событиях: «Я почти склонен перепродать акции США, которые я купил, и держать свои руки подальше от нынешней выродившейся американской расы…. Большинство американцев и особенно иностранцев там настолько же непригодны, насколько недостойны наслаждаться свободой…. Я надеюсь услышать, что бунт был подавлен, а лидеры повешены.»
Как и многие братья — особенно те, кто фактически делит один и тот же банковский счет, — Селигманы часто ссорились. Чаще всего Джозеф спорил с Уильямом и Джеймсом, ближайшими к нему по возрасту. Их разногласия обычно сводились к тому, насколько рискованно братьям следует действовать, углубляясь в финансы. Джозеф, всегда выступавший за сдержанность, был рад позволить их золоту накапливаться на европейских счетах, пока не улягутся нестабильные экономические условия, предупреждая, что финансовая ситуация в Соединенных Штатах «чрезвычайно опасна».
Когда Уильям указал на то, что их друзья-бизнесмены в Нью-Йорке срывают куш, в то время как селигманцы играют в безопасности, Джозеф вспылил: «Брат Уильям хочет, чтобы я безоговорочно положился на его заявление о том, что 19 из 20 наших знакомых удвоили и утроили свой капитал за последние 15 или 18 месяцев. Ну, это либо было сделано «нашими знакомыми» путем контрабанды товаров повстанцам, либо контрабандой вообще.»
Джеймс предложил вложить деньги в ценные бумаги железной дороги, но Джозеф отверг этот план. «Что касается растущих акций R.R., то я считаю это спекуляцией, совершенно не относящейся к нашей сфере деятельности, и, поскольку никто из нас не знает достаточно о Erie, Central и т. д., чтобы держать их для инвестиций, нам не следует покупать их вообще. Пусть война однажды закончится, и мы сможем делать деньги законным способом, без азартных игр и риска».
Старший Селигман, который был для своих братьев скорее отцом, чем сверстником, постоянно предостерегал от рискованных инвестиций. Джеймс, женившийся на красивой, но бурной Розе Контент, был частым адресатом этих наставлений. Его аристократическая невеста, чьи сефардские корни в Америке тянулись еще до Революционной войны, любила гордиться своей родословной перед мужем, чей клан она надменно высмеивала как «торгашей». Ее непредсказуемый нрав соперничал по масштабам с огромными тратами, и Джеймс только и мог, что следить за расходами.
«Я очень хорошо представляю себе, как брат. Джеймс неспокоен из-за того, что ему не разрешили делать деньги на акциях, бирже или золотых операциях, как почти всем вашим соседям, но я надеюсь и верю, что он сможет сдерживать себя еще некоторое время», — писал Джозеф в начале 1863 года. Он отмечал, что братья до сих пор «избежали» «ужасной» войны без потерь. Более того, они неплохо разбогатели.
Мы добились того, о чем мечтали всю жизнь, а именно: достаточного достатка для всех наших больших семей, независимо от взлетов и падений американской валюты и ценностей, что больше, чем у большинства наших соседей. Кроме того, если у кого-то из нас есть амбиции не только быть богатым, но и оставить богатыми всех наших детей, я уверен, что, как только дела наладятся и станут не такими опасными, как мне кажется сейчас, мы сможем удовлетворить все наши амбиции, приумножив богатство.
Несмотря на отцовскую бдительность Джозефа, он иногда сам вступал в необдуманные сделки, в одном случае рискнув 50 000 долларов из семейного капитала на необеспеченный заем; Исаак проворчал, что его брат, должно быть, был «пьян или сумасшедший», когда выдал деньги без залога. Джозеф так переживал из-за неаккуратной сделки, что, когда обычные еженедельные письма от братьев не пришли, как ожидалось, он расценил их отсутствие как «акт мести» (что, возможно, так и было).