Родители продолжали помогать Матиссу, но отношения с ними по-прежнему были непростыми, как, впрочем, и с дочерью от Камиллы. Когда летом 1899 года Анри вернулся в Париж, Маргерит исполнилось четыре года. Девочка жила с матерью и встречалась с отцом, если тот бывал в городе, каждую неделю. Незамужней женщине с ребенком найти жилье и работу было не просто трудно, а почти невозможно; большинство либо скрывало существование внебрачных детей, либо отдавало младенцев на воспитание в чужие семьи. Нищета, страх и ссоры родителей — таким Маргерит запомнила свое раннее детство. Придя однажды на набережную Сен-Мишель, 19, она так не хотела уходить от отца, что вырвалась из рук Камиллы, побежала обратно, через дорогу, и ее сбил проезжавший экипаж.
Много лет спустя Матисс признавался, что картины, которые у него долго не покупали, вызывали в нем особую нежность («Это сродни чувству, какое испытываешь к несчастным, больным детям»). Он думал о Маргерит все время. Познакомившись с будущей женой, Анри сразу предупредил ее, что несвободен, поскольку у него есть дочь. «Это не важно (Са n'a pas d'importance)», — ответила Амели, презиравшая условности, как и ее мать мадам Парейр. Когда осенью 1899 года Матиссы поселились над шляпным магазином на улице Шатоден, их сыну Жану было девять месяцев и Амели опять ждала ребенка. Матисс метался между двумя домами: он переживал за Маргерит, жалел обиженную им Камиллу, сочувствовал Амели. Когда напряжение достигло критической точки, Амели в очередной раз взяла инициативу на себя и заявила, что Маргерит нуждается в семье, поэтому им следует ее удочерить. Матисс говорил, что предложение жены конечно же стало для Камиллы страшным ударом, но иного выбора у нее не было. Посредником между двумя женщинами пришлось стать ему самому.
Камилла заплатила за свою новую жизнь отказом от ребенка. Но теперь уже Амели нарушала одно из строжайших табу и бросала вызов обществу. Когда впоследствии Гертруда Стайн поинтересовалась у мадам Матисс, почему она так поступила, та деликатно ушла от ответа и рассказала, что читала роман, где героиня жертвует собственной репутацией, чтобы воспитать незаконнорожденного ребенка своего мужа («за что и была всю жизнь им страстно любима»). Если старшие Парейры и совершали благородные поступки, то имели обыкновение заставлять работать такого рода драматургические ходы на себя. Амели Матисс ни о чем подобном не думала. Предложение стать для Маргерит матерью шло от всего сердца, и девочка это почувствовала и полюбила Амели всей душой. На протяжении двадцати лет, а возможно, и дольше именно Маргерит будет объединять всю семью: она помогала отцу, заботилась о младших братьях и преданно любила приемную мать всю жизнь. Амели и Маргерит были гораздо ближе друг к другу, нежели многие родные матери и дочери, — их связывали взаимная любовь и доверие. «Наша семья была семьей художника. Все помыслы были сосредоточены на работе отца», — говорила потом Маргерит интервьюерам. Они с Амели были первыми критиками и зрителями Матисса, без одобрения которых он не мог обойтись.
После женитьбы Матисс находил поддержку скорее у семьи, чем у друзей. Бюсси был занят собственными проблемами. Эвенполь, персональная выставка которого с успехом прошла в Брюсселе, собирался жениться и остаться в Бельгии, но 27 декабря 1899 года скоропостижно скончался, заразившись тифом. Матисс не мог в это поверить: «Я поднимался по лестнице в мастерскую на набережной Сен-Мишель, 19… держа в руках телеграмму; я останавливался каждую минуту и повторял, потрясенный: “Эвенполь умер!”». Он потерял самого близкого друга. Эвенполь оставался последней связующей нитью с юностью: восемь лет назад Анри уехал в Париж вместе с Луи ван Кютсемом и Жюлем Пти, который умер за несколько месяцев до ухода Эвенполя. Теперь Матисс оставался один. В канун Нового года, ознаменовавшего начало нового столетия, ему исполнилось тридцать.