Достать топливо было труднее, чем продукты, поэтому холод стал еще более страшным врагом, нежели бомбы. Вспоминая свое сибирское детство, Лидия топила дровами печку, а двери и окна завешивала толстыми коврами, которые не давали проникнуть в дом ледяному ветру с гор. Она объезжала на велосипеде окрестные деревни в поисках провизии, договаривалась с торговцами в Вансе и даже взяла несколько уроков бокса — чтобы чувствовать себя уверенней, если вдруг столкнется с солдатами-мародерами. Она научилась переносить раздражение и отчаяние своего патрона так же стойко и терпеливо, как и житейские трудности. Ей удавалось гасить его вспышки так искусно, что Матисс буквально лишался дара речи — «словно кипящий чайник, снятый с огня», по образному выражению Нелк. Последним аргументом Лидии была угроза вернуться на родину и стать пушечным мясом на русском фронте («И ведь она действительно способна на это», — как-то сказал Матисс своей ночной сиделке).
Двери и окна виллы «Мечта» еще сотрясались от ударов бомб, когда Матисс получил короткую записку от дочери, датированную 10 апреля, днем Пасхи. Через три дня сошедшую с парижского поезда Марго арестовало гестапо на вокзале города Ренн. В тот же день на допрос в штаб-квартиру гестапо в Париже доставили Амели. «Это было самым страшным ударом за всю мою жизнь», — написал Матисс Шарлю Камуэну, прося никому не говорить о случившемся и сразу же по прочтении уничтожить письмо. В обстановке террора, когда доносы и полицейские рейды стали во Франции делом обычным, любые попытки узнать о судьбе близких были бесполезны. Люди исчезали без всяких объяснений, их бросали в тюрьму, депортировали и расстреливали. Матисс обращался к каждому, кто, по его мнению, мог хоть что-то знать; высылал значительные суммы денег Жану, чтобы тот мог заплатить за информацию. Но все было тщетно. «Высокопоставленные немецкие чины и те боялись гестапо», — говорил Матисс.
Единственным человеком, с кем, кроме Лидии, Матисс говорил о несчастьях, постигших его семью, была Аннелиз Нелк, бежавшая из Голландии. «Всем сейчас нелегко», — утешал Матисс Нелк, узнавшую в конце мая, что ее возлюбленного отправляют в концлагерь. В первую неделю июля союзники высадились в Нормандии и, тесня немецкую армию по всей Франции, продвигались на юг и восток. Матисс снова погрузился в работу. Переполнявшие его чувства художник пытался выразить в иллюстрациях к «Цветам зла» Бодлера. «Я знаю, что он почти не спит, — записала Нелк в дневнике в июне. — Тревога за жену и дочь гложет его беспрестанно, но он не позволяет себе показывать это». Спустя три месяца Матисс наконец узнал, что Амели приговорена к шести месяцам заключения и отбывает срок в тюрьме во Френе. «Я не отваживаюсь думать о Маргерит, о которой мы не знаем ничего. Никто даже не подозревает, где она».
Вскоре Матисс слег с высокой температурой, и врач опасался повторения проблем с печенью двухгодичной давности. Когда в середине августа художник начал вставать с постели, войска союзников высадились на побережье между Марселем и Ниццей и начали продвижение по долине Роны навстречу армиям, наступавшим с севера. 24 августа 1944 года Париж был освобожден. Три дня спустя Нелк, позировавшая для «Цветов зла», вскрикнула, увидев движущуюся мимо окна колонну оккупантов. Матисс даже не повернул головы. «Я не намерен бросать работу, чтобы наблюдать, как бегут немцы», — мрачно заявил он. Ване был освобожден без стрельбы, не считая трех случайных снарядов, упавших недалеко от виллы «Мечта» и поцарапавших дверь гаража и ставни (Матисс спустился с Лидией и перепуганной кухаркой в укрытие в саду, где провел 36 часов, с большим интересом читая Бергсона). Штаб Красного Креста в Швейцарии, куда Матисс направил запрос о дочери, с большим опозданием сообщил, что все это время она содержалась в тюрьме города Ренн. Денежный перевод Матисса поступил уже после того, как немцы погрузили Маргерит вместе с другими заключенными в вагоны для скота и отправили в Германию в женский концлагерь Равенсбрюк. Больше ничего выяснить в тот момент не удалось.