Без активного руководства упадок фирмы не прекращался. David Sassoon & Co. продолжала функционировать, хотя и как тень той фирмы, которой она была на рубеже веков. В 1952 году одна из дочерних компаний, African Mercantile Company, выпустила акции, чтобы увеличить свой капитал до 650 000 фунтов стерлингов, что привело к сокращению доли Сассуна до 44 процентов. African Mercantile работала в странах Восточной Африки, где британцы все еще оставались контролирующей силой. В 1956 году компания вышла из Гонконга, а ее представитель в совете директоров Гонконгской и Шанхайской банковской корпорации Х. Д. Бенхам подал в отставку. Это был значительный перелом: компания David Sassoon & Co. была единственной фирмой, представленной в совете директоров с момента его первого заседания в 1864 году (за исключением военных лет). Интересно, что место компании заняла другая еврейская фирма с багдадскими корнями, Sir Elly Kadoorie & Sons.
В течение последующих двух десятилетий фирма сохраняла еще одну семейную связь, хотя и дальнюю - лорд Джон Чолмондли (сын Сибил) был председателем совета директоров в течение нескольких лет. Компания David Sassoon & Co. появилась в списке банков и лицензированных депозитных учреждений, опубликованном в 1981 году. В 1982 году Джеральд Паншо, посторонний человек, управлявший фирмой, договорился о ее продаже биржевым брокерам Rowe Rudd примерно за 2 миллиона фунтов стерлингов. Некогда процветающий торговый дом окончательно исчез с финансовой карты Лондона; общая сумма его депозитов упала до нескольких миллионов, а прибыль составляла чуть более 100 000 фунтов стерлингов. Хотя фирма теперь контролировалась Rowe Rudd, она продолжала работать независимо из офиса в Haymarket, в лондонском Вест-Энде, имея собственную условную лицензию на прием депозитов. Однако в августе 1983 года Банк Англии отозвал лицензию, поскольку его обеспокоил коэффициент ликвидности банковского подразделения Sassoon, а также то, что такой маленький банк должен заниматься финансированием проектов в международном масштабе. Компания сначала подала апелляцию на это последнее унижение, но через неделю смирилась и ограничила свою деятельность торговым банком. В 1988 году Министерство торговли и промышленности заявило, что два бывших партнера Rowe Rudd, включая Тони Радда, "абсолютно непригодны для того, чтобы быть директорами любой компании, как частной, так и государственной". Когда именно компания David Sassoon & Co. официально прекратила свое существование, неизвестно - нет никаких записей о ее ликвидации. Это бесславный конец для мощного центра мировой торговли, компании, которая конкурировала с Tatas и однажды обошла Jardine Matheson.
После национализации активов E. D. Sassoon в Китае в 1949 году и вынужденного отъезда из Шанхая по фирме был нанесен тяжелый удар, но она выстояла. Виктор снова попытался ограничить свои обязательства и выбрал Багамы в качестве базы для продолжения бизнеса вдали от традиционных центров Китая и Индии. Оказавшись там, он вернулся к своим старым привычкам. Одна американская газета сообщила, что "молодая актриса британского происхождения Вирджиния Филд" и ее маленькая дочь провели зиму 1950 года на Багамах и что Виктор купил ребенку красный велосипед. В его дневнике за тот год есть фотографии, на которых они запечатлены в экспедициях по Багамским островам и на рыбалке на Виргинских островах США. Однако отношения с Вирджинией Филд не продлились долго, и в его дневнике есть вырезка из прессы со статьей о ее длительном романе с американским актером Уиллардом Паркером (за которого она позже вышла замуж). Он по-прежнему фотографировал людей, с которыми встречался или отдыхал, включая некоторых моделей, но уже не так часто, как в шанхайские времена. Скачки по-прежнему занимали много его внимания, и на этой арене, по крайней мере, он смог монетизировать некоторые из своих активов: Отставной жеребец-чемпион был отдан в разведение за 294 000 долларов (3 миллиона долларов сегодня), хотя ранее он отклонил предложение американцев купить лошадь за миллион долларов. В одной из спортивных газет говорилось, что у Виктора "больше лошадей в конюшне, чем у любого другого покровителя", и подробно описывались качества каждой из них. Его страсть к лошадям и скачкам сохранилась на всю жизнь. Он написал статью и дал интервью по вопросу о допинге для скаковых лошадей, а также внимательно следил за новостями скачек в нескольких странах. " Скачки были для него не просто хобби миллионера. Он занимался ими с самоотдачей, которая часто имела оттенок безжалостности".