Виктор, которому сейчас около семидесяти, получил болезненную травму позвоночника в 1953 году. В результате несчастного случая у него была повреждена нога, и он вынужден был сесть в инвалидное кресло, которое стало для него проклятием еще с тех времен, когда его отец был прикован к нему. Как только он смог, он начал использовать трости - пару, а не одну, на которую он полагался со времен Первой мировой войны. Помимо боли, Виктор стал раздражительным из-за осознания того, что ему придется примириться с тем, что его путешествия с Багамских островов в Британию и по всему миру больше не будут возможны и что ему потребуется постоянный уход. Во время лечения в Нью-Йорке его поразила "бодрая работоспособность" одной из медсестер, Эвелин Барнс по прозвищу Барнси, родом из Техаса. Эти новые отношения привнесли в его жизнь оживление и энергию, а ее терпение и понимание покорили его сердце. В апреле следующего года супруги навестили ранчо ее семьи в Далласе, где Виктору всегда устраивали барбекю. Он страдал от депрессии - один из особенно тяжелых эпизодов последовал за новостью о том, что китайское государственное предприятие захватило собственность его фирмы в Шанхае и переименовало Cathay Hotel в Peace Hotel. Барнси поняла, что путь к его сердцу лежит через лошадей, и с головой погрузилась в изучение скачек и кровного поголовья. На страницах газет сплетен появились предположения о том, будет ли это очередная интрижка или нечто большее: "Несколько международных красавиц беспокоятся о сэре Викторе Сассуне... считающемся самым богатым холостяком в мире", - сообщала одна из газет, а другая пестрела заголовком "Сестра сэра Виктора - немезида красавиц". К концу года Барнси стала его постоянной спутницей и почти ежедневно упоминалась в его дневниках. Однако Виктор становился все более слабым, и в 1957 году он упал в своем доме на юге Франции, что привело к осложнениям со здоровьем. В следующем году он заболел в Аскоте, и врачи посоветовали ему держаться подальше от ипподромов и отказаться от сигар. По нескольку дней подряд он проводил в больницах или был прикован к постели, но не терял чувства юмора: в свой дневник он вклеил открытку с пожеланиями выздоровления, на которой была изображена большая утка, лежащая на кровати, и гласила: "Приземлился? Очень жаль. Но просто отдохните немного..."
В деловой сфере тоже не было никаких подвижек. В Нассау была создана Багамская трастовая компания. Ее основными спонсорами были Barclays Bank, Royal Bank of Canada и E. D. Sassoon Banking Co, все отделения которых располагались в Нассау. Банки и трастовые компании появились на Багамах, чтобы обслуживать зарубежные компании и частных лиц, пользующихся статусом налогового убежища на островах. Здесь нет ни подоходного налога, ни налога на прирост капитала, ни ежегодного налога на компании.
Виктор был типичным богачом, который был в восторге от отсутствия налогов на Багамах, но сказал, что если бы он был молодым человеком, то отправился бы в Южную Америку, чтобы сколотить свое состояние. Багамы находились под британским контролем более трех столетий, получив независимость только в 1973 году, и кажется показательным, что семья, чье состояние было так тесно связано с Британской империей, оказалась в британской колонии. Налоговые убежища - это явно современное явление , истоки которого уходят в конец XIX века. Только после Первой мировой войны страны начали разрабатывать комплексную политику, чтобы стать налоговыми гаванями. С распадом Британской империи Британия создала новую, более скрытую финансовую "империю" налоговых гаваней, через которые проходили огромные суммы денег, не в последнюю очередь из бывших колоний или тех, которые в скором времени получат независимость.
Приток капитала и рост туристической индустрии на Багамах вызвали большой бум в сфере недвижимости и строительства. Развитие было ориентировано на очень богатых людей, появлялись роскошные отели и эксклюзивные клубы. Помимо банковского дела, единственным отпечатком бизнеса Сассунов на островах стала недвижимость. Было объявлено, что Виктор и застройщик из Флориды построят пятиэтажный многоквартирный дом в районе Кейбл-Бич в Нассау, цена квартир в котором будет варьироваться от 35 000 долларов за одну спальню до 400 000 долларов за пентхаус, а стоимость - 5 миллионов долларов. Он купил землю в клубе Lyford Cay, как и Генри Форд II и Рой Ларсен, исполнительный председатель совета директоров Time и Life. К концу 1950-х годов Виктор сколотил свое состояние на Багамах, вдали от презираемых налоговых органов, хотя вряд ли он зарабатывал значительные деньги где-либо еще.
Спустя десятилетие после победы коммунистов попытки иностранных компаний вернуть или ликвидировать свои активы в Китае окончательно сошли на нет. Британские активы, потерянные в результате национализации, оценивались в 600 миллионов долларов или даже выше, и многие из пострадавших компаний были вынуждены переводить большие суммы в Китай для уплаты местных налогов и выплаты зарплаты своим сотрудникам, несмотря на то что они потеряли контроль над своим бизнесом. Хотя в конце 1950-х годов отношения между Китаем и Великобританией начали улучшаться, а общий объем британского экспорта в Китай достиг 25 миллионов фунтов стерлингов, не было абсолютно никаких признаков того, что китайцы готовы выплатить какую-либо компенсацию или позволить владельцам недвижимости продать ее. К октябрю 1958 года компания E. D. Sassoon и восемь ее филиалов были вынуждены передать все свои шестьдесят или около того крупных объектов недвижимости китайскому государственному предприятию, управляемому государством. Самыми известными из них были дом Сассуна, отель Cathay, особняки Cathay, Grosvenor House, отель Metropole, Hamilton House, Embankment House и Cavendish Court. Как рассказал Виктор одной из газет во время своего визита в Майами, он списал все свои владения в Китае. Славные дни прошлого ушли в прошлое; один журналист, которому удалось попасть в Шанхай, описал на сайте бывший отель Сассунов Cathay, переделанный под офисы: "Над огромным дверным проемом одного очаровательного дома гордо сверкает советский знак отличия; внутри неизбежно окажется лишь тусклые, неосвещенные коммунистические офисы".
Несмотря на большие потери, Виктор сумел сохранить значительное состояние (см. Послесловие) и увеличил свои благотворительные взносы в Англии, Индии и на Багамах. Из-за состояния своего здоровья он заинтересовался кардиологией и пожертвовал кардиологические аппараты нескольким больницам в США, где он проходил лечение. К его чести, он продолжал финансировать образование и медицинское обслуживание еврейской общины Багдади в Мумбаи через Семейный фонд Сассуна и пожертвовал средства на новый еврейский общинный центр.
1 апреля 1959 года было объявлено о женитьбе Виктора на тридцативосьмилетней Барнси. На вопрос, почему он выбрал именно эту дату, он пошутил, что хотел бы, чтобы она легко запомнилась, а 1 апреля оказалось годовщиной основания Королевских военно-воздушных сил. В его дневнике в тот день есть фотография, на которой он с широкой улыбкой на лице надевает на палец Барнси простое, незатейливое кольцо, купленное с полки в универмаге Neiman Marcus. В газете "Майами Геральд" были опубликованы фотографии со свадьбы, на которых видно, как он стоит, чтобы разрезать торт. Пара провела свой короткий медовый месяц в Майами и посетила Флоридское дерби. Год спустя, в Англии, на Дерби, "сияющая и загорелая" леди Сассун (такой она стала после свадьбы) рассказала Daily Mail о своем восторге и о том, как первые пятьдесят три недели брака они отмечали его еженедельно, лишь потом перейдя на ежемесячные торжества. Виктор был в эйфории после того, как его лошадь выиграла свое четвертое Дерби, а вместе с ним и рекордный приз в 33 000 фунтов стерлингов. Ранее в английском Дерби побеждали Пинза в 1953 году, Крепелло в 1957-м и Хард Ридден в 1958-м. Он надеялся, что ему удастся побить рекорд Ага Хана - пять побед. Через несколько месяцев Сент-Пэдди, которого снова оседлал ведущий жокей Лестер Пигготт, выиграл Сент-Легер в Донкастере, а в 1960 году выигрыш Сент-Пэдди превысил 100 000 фунтов стерлингов (около 2,5 миллионов фунтов стерлингов сегодня). Однако его мечты о победе в Дерби не сбылись.
Во время поездки в Сан-Франциско в начале января следующего года Виктор перенес обширный сердечный приступ и был госпитализирован в больницу Святого Луки. Его состояние стабилизировалось, и СМИ сообщили, что он находится в "удовлетворительном состоянии". Состояние Виктора улучшилось, и вскоре он вернулся на Багамы. В течение следующих семи месяцев он оставался веселым , решив наслаждаться жизнью, несмотря на хрупкость своего здоровья. В августе, несмотря на возражения жены, он устроил званый обед для губернатора Багамских островов. Гости ужина получили удовольствие, но в результате усилий Виктор оказался в кислородной палатке. Он сохранял мужественное лицо до конца. Когда пришло время делать очередную инъекцию, он посмотрел на нее со слабой улыбкой и пробормотал: "Мне это не понадобится, Барнси". 13 августа 1961 года, в возрасте семидесяти девяти лет, сэр Виктор умер, унеся с собой свой титул. Раввин из Майами провел заупокойную службу, которая состоялась в англиканском соборе Крайст-Черч в Нассау.
Некрологи публиковались в газетах по всему миру. New York Times упоминала о его предложении в 1941 году создать федерацию англоязычных демократий, состоящую из Великобритании, Канады и Австралии вместе с Соединенными Штатами. Лондонская "Таймс" вспоминала начало 1945 года, когда в связи с прибытием в Бомбей и Пуну большого количества британских войск истощились запасы мебели, и Виктор пришел на помощь, не только пожертвовав 50 000 фунтов стерлингов, но и, зная, что военные власти будут действовать медленно, собрал рабочих со всей Индии, чтобы за несколько недель изготовить тысячи стульев, столов и кроватей. Эти две истории отражают как претензии Виктора и его стремление стать глобальной фигурой, консультирующей правительства по вопросам управления миром, так и его практичность и энергию.