20 декабря 1902 года парижские вечерние газеты сообщили о том, что Юмберов нашли в Мадриде и они в руках правосудия. В тот же день французская полиция явилась в дом Берты Парейр в Руане, чтобы арестовать ее отца, и 21 декабря он был этапирован в Париж. Амели не удалось даже приблизиться к отцу: железнодорожный перрон был забит многолюдной толпой, напоминавшей сборище линчевателей. Армана Парейра препроводили в тюрьму Консьержери на острове Ситэ, где ему было предъявлено обвинение в соучастии в мошенничестве и подделке документов. Единственным из членов семьи, которому удавалось еще сохранять самообладание, оставался Матисс. Мало того, что на его иждивении была большая семья, теперь он еще и занимался всеми делами, связанными с процессом: успокаивал впавшего в истерику тестя (который объявил голодовку, пытаясь доказать свою невиновность), нанимал ему адвокатов. Матисс встречался с газетчиками, грозя особо ретивым судебными преследованиями за публикацию недоказанных судом обвинений, и т. д. На допросах, длившихся в течение всего января, Парейр держался с достоинством. Следователи устроили серию театрализованных очных ставок между Парейрами и Юмберами, содержавшимися под усиленной охраной в той же Консьержери. 20 января 1903 года состоялась первая очная ставка Армана Парейра с его бывшим учеником и многолетним работодателем, алчность и коварство которого привели обоих на скамью подсудимых. Кто-то из двоих, несомненно, лгал, и после «крайне ожесточенной перепалки» Фредерик Юмбер признал себя побежденным. Спустя два дня Парейр встретился с Терезой Юмбер, которую последний раз видел восемь месяцев назад. Когда Тереза попыталась протянуть ему руку, а он с презрением отвернулся, она залилась краской. В последних числах января Арман Парейр был освобожден условно.
К тому времени Матисс был уже совершенно без сил. Журналисты, в подробностях освещавшие заявления горячего южанина Парейра (пресса конечно же мгновенно встала на сторону обиженного), не сумели добиться от его зятя ни слова. Сдержанность и осмотрительность, так свойственные всем северянам, дорого обошлись Матиссу. В феврале он слег. Три врача в один голос заявили, что его состояние опасно (он не спал уже четвертую неделю), и прописали покой и строжайшую диету. В течение двух месяцев ему было запрещено не только работать, но даже писать письма. Кризис застал его в Боэне, и о возвращении в Париж не могло идти и речи. Тем не менее Анри поехал, помог Амели закрыть магазин и вывез семью из квартиры на улице Шатоден. Остаток зимы супруги с детьми провели у Матиссов в Боэне. Трудно было выбрать более неблагоприятный момент, чтобы приехать в свой родной город. Реакция на дело Юмберов на Севере была гораздо более яростной, чем где-либо во Франции, за исключением разве что Тулузы. Местные газеты ежедневно публиковали сенсационные бюллетени: Юмберы задолжали северным промышленникам 25 миллионов франков; северяне не только потеряли больше других вкладчиков, но и превратились во всеобщее посмешище. Жители Боэна, мягко говоря, не слишком доброжелательно отнеслись к возвращению блудного сына, учитывая, что его жена приходилась дочерью правой руке Юмберов. Матисс превратился в пугало, которым соседи стращали своих детей. Еще многие годы в Боэне и Сен-Кантене будут считать своего земляка Анри Матисса трижды неудачником: дело отца продолжить не сумел, юристом не стал, и нормального художника из него не вышло — даже правдоподобный портрет или какую другую правильную картину написать не может. Все называли его «городским сумасшедшим», дурнем Матиссом (le sot Matisse).