Что случилось с другими знаменитыми Сассунами, упомянутыми ранее? Зигфрид Сассун поддался давлению общества, учитывая его гомосексуальность, и женился в конце 1933 года на гораздо более молодой Хестер Гэтти, в семье которой было много выдающихся юристов. Свадьба была небольшой, на ней присутствовали близкие друзья, такие как Т. Э. Лоуренс. Филип не присутствовал, но прислал письмо с поздравлениями. Через несколько лет после рождения одного ребенка, Джорджа, брак Зигфрида закончился дружеским разрывом, и с возрастом он предпочел уединение и тихую жизнь в деревне, где благочестиво исповедовал католицизм. К концу 1940-х годов он пришел к выводу, что одиночество "заставляет человека открыть, на что у него хватает душевных сил". Он страдал от рака желудка и умер в сентябре 1967 года, за неделю до своего восемьдесят первого дня рождения, сохранив стоическое спокойствие до конца.
В период расцвета David Sassoon & Co. главными героями были Сулейман, а затем его жена Флора. Оба они были новаторами и эффективно развивали бизнес и поднимали его на новую высоту. Однако никто из их троих детей не последовал их примеру. Мозель умерла молодой, а ее старшая сестра, Рейчел, вышла замуж за бизнесмена, сэра Дэвида Эзру, который был поглощен собственными делами и местной политикой в Калькутте и так и не присоединился к семейной фирме. Их брат, Дэвид, хорошо разбирался в финансовом мире, судя по его обширной переписке с Рейчел, но не проявлял интереса к семейному бизнесу, предпочитая более научные занятия. В начале 1930-х годов он опубликовал двухтомный каталог древнееврейских и самаритянских рукописей, которые он кропотливо собирал в разных уголках Азии и Африки. Один из рецензентов заявил, что Давид владеет одной из лучших коллекций библейских рукописей в мире, включая, вероятно, самую древнюю йеменскую рукопись. Сын Давида Соломон стал выдающимся раввином и переехал в Израиль, где посвятил себя религиозной деятельности и научным трудам. В архивах хранится его обширная переписка с тетей Рахелью. Некоторая переписка между ним и лондонской компанией David Sassoon & Co. сохранилась с 1969 года и была последним сообщением на фирменном бланке компании в архиве. Она связана с пожертвованием 40 фунтов стерлингов от имени траста, созданного Ахароном Сассуном, сестре одного из Сассунов, живущей в Израиле, которая испытывала финансовые трудности; раввин Соломон решил помочь ей.
Инвестиции семьи в Индии продолжали приносить скромный доход некоторым живущим членам семьи, в основном от недвижимости, даже в середине 1970-х годов, хотя индийская бюрократия и английские валютные законы препятствовали и задерживали эти небольшие переводы. Подобно своему предку Дэвиду Сассуну, который вел строгое ортодоксальное еврейское хозяйство, раввин Соломон держал открытый дом для гостей из дальних мест, а также для ученых и библиофилов, но не участвовал в меркантильном мире.
Без активного руководства упадок фирмы не прекращался. David Sassoon & Co. продолжала функционировать, хотя и как тень той фирмы, которой она была на рубеже веков. В 1952 году одна из дочерних компаний, African Mercantile Company, выпустила акции, чтобы увеличить свой капитал до 650 000 фунтов стерлингов, что привело к сокращению доли Сассуна до 44 процентов. African Mercantile работала в странах Восточной Африки, где британцы все еще оставались контролирующей силой. В 1956 году компания вышла из Гонконга, а ее представитель в совете директоров Гонконгской и Шанхайской банковской корпорации Х. Д. Бенхам подал в отставку. Это был значительный перелом: компания David Sassoon & Co. была единственной фирмой, представленной в совете директоров с момента его первого заседания в 1864 году (за исключением военных лет). Интересно, что место компании заняла другая еврейская фирма с багдадскими корнями, Sir Elly Kadoorie & Sons.
В течение последующих двух десятилетий фирма сохраняла еще одну семейную связь, хотя и дальнюю - лорд Джон Чолмондли (сын Сибил) был председателем совета директоров в течение нескольких лет. Компания David Sassoon & Co. появилась в списке банков и лицензированных депозитных учреждений, опубликованном в 1981 году. В 1982 году Джеральд Паншо, посторонний человек, управлявший фирмой, договорился о ее продаже биржевым брокерам Rowe Rudd примерно за 2 миллиона фунтов стерлингов. Некогда процветающий торговый дом окончательно исчез с финансовой карты Лондона; общая сумма его депозитов упала до нескольких миллионов, а прибыль составляла чуть более 100 000 фунтов стерлингов. Хотя фирма теперь контролировалась Rowe Rudd, она продолжала работать независимо из офиса в Haymarket, в лондонском Вест-Энде, имея собственную условную лицензию на прием депозитов. Однако в августе 1983 года Банк Англии отозвал лицензию, поскольку его обеспокоил коэффициент ликвидности банковского подразделения Sassoon, а также то, что такой маленький банк должен заниматься финансированием проектов в международном масштабе. Компания сначала подала апелляцию на это последнее унижение, но через неделю смирилась и ограничила свою деятельность торговым банком. В 1988 году Министерство торговли и промышленности заявило, что два бывших партнера Rowe Rudd, включая Тони Радда, "абсолютно непригодны для того, чтобы быть директорами любой компании, как частной, так и государственной". Когда именно компания David Sassoon & Co. официально прекратила свое существование, неизвестно - нет никаких записей о ее ликвидации. Это бесславный конец для мощного центра мировой торговли, компании, которая конкурировала с Tatas и однажды обошла Jardine Matheson.
После национализации активов E. D. Sassoon в Китае в 1949 году и вынужденного отъезда из Шанхая по фирме был нанесен тяжелый удар, но она выстояла. Виктор снова попытался ограничить свои обязательства и выбрал Багамы в качестве базы для продолжения бизнеса вдали от традиционных центров Китая и Индии. Оказавшись там, он вернулся к своим старым привычкам. Одна американская газета сообщила, что "молодая актриса британского происхождения Вирджиния Филд" и ее маленькая дочь провели зиму 1950 года на Багамах и что Виктор купил ребенку красный велосипед. В его дневнике за тот год есть фотографии, на которых они запечатлены в экспедициях по Багамским островам и на рыбалке на Виргинских островах США. Однако отношения с Вирджинией Филд не продлились долго, и в его дневнике есть вырезка из прессы со статьей о ее длительном романе с американским актером Уиллардом Паркером (за которого она позже вышла замуж). Он по-прежнему фотографировал людей, с которыми встречался или отдыхал, включая некоторых моделей, но уже не так часто, как в шанхайские времена. Скачки по-прежнему занимали много его внимания, и на этой арене, по крайней мере, он смог монетизировать некоторые из своих активов: Отставной жеребец-чемпион был отдан в разведение за 294 000 долларов (3 миллиона долларов сегодня), хотя ранее он отклонил предложение американцев купить лошадь за миллион долларов. В одной из спортивных газет говорилось, что у Виктора "больше лошадей в конюшне, чем у любого другого покровителя", и подробно описывались качества каждой из них. Его страсть к лошадям и скачкам сохранилась на всю жизнь. Он написал статью и дал интервью по вопросу о допинге для скаковых лошадей, а также внимательно следил за новостями скачек в нескольких странах. " Скачки были для него не просто хобби миллионера. Он занимался ими с самоотдачей, которая часто имела оттенок безжалостности".
Дневники Виктора начала 1950-х годов свидетельствуют о том, что он делал прямо противоположное тому, что предсказывал журнал Fortune в 1930-х годах - что он "возведет здание Сассуна на новую высоту". На сайте почти нет упоминаний о бизнесе фирмы или о каких-либо новых проектах. Даже его способности к предвидению ослабевали: Во время турне по Соединенным Штатам он сказал журналистам: "В прежние времена я мог понять экономическую картину", но в новом послевоенном порядке он "не более способен предсказать, что будет дальше, чем мы можем предсказать, какую шляпку выберет женщина". Он чувствовал потерю Овадьи, своей правой руки, который до лета 1952 года находился в Шанхае по вине китайских властей, не позволявших руководителям иностранных фирм покидать страну до уплаты всех налогов. Освободившись, Овадия вылетел в Гонконг и далее в Лондон, где встретился с Виктором и подал в отставку на месте. Он давно планировал уехать на юг Франции, но воспользовался случаем, чтобы покритиковать решение Виктора передать E. D. Sassoon Banking Co. контроль над гонконгским филиалом и подчинить его штаб-квартире в Нассау, как он поступил с манчестерским и лондонским филиалами (последним управлял капитан Дерек Баррингтон Фицджеральд, который был женат на двоюродной сестре Виктора). Овадия видел блестящее будущее Гонконга и считал, что было бы ошибкой отказываться от занимаемых там позиций, тем более что филиал держал выгодные агентства от имени некоторых крупных международных фирм. Нассау, однако, стремился к расширению на Багамах и запуску торговых банковских операций в Европе и Азии, продавал недвижимость в Гонконге, и хотя Arnhold & Co. все же обратил свое внимание на этот город, он тоже был продан в 1957 году семье Грин. Отказ от владения активами в Гонконге в конечном итоге оказался стратегической ошибкой, и E. D. Sassoon исключил себя из того, что стало одной из величайших историй экономического успеха второй половины двадцатого века.