В течение следующих нескольких лет мир в Европе не был нарушен, и Филиберт не мог удовлетворить свои воинственные наклонности. Его буйный дух находил выход в охоте, поединках и турнирах. Он любил великолепные доспехи, красивые одежды и блестящие праздники. Современный летописец оставил отчёт о развлечениях, устроенных савойским двором в 1504 году по случаю бракосочетания Лорана де Горревода (который позже стал губернатором Бресса и графом Пон-де-Во) с дочерью Хьюга де ла Паллу, графа Варакса, маршала Савойи. Вся знать Пьемонта и Савойи собралась в замке Кариньян 18 февраля, в Масленичный вторник, где, по словам савойского хрониста, состоялся турнир в присутствии Филиберта, «госпожи Маргариты Австрийской, госпожи Бланш, вдовствующей герцогини Савойской, и многих других молодых и красивых дам, как для того, чтобы скоротать время, так и для того, чтобы доставить удовольствие дамам».
Филиберт, вероятно, унаследовал страсть к охоте от своих предков. Тем более, что у подножия высокого холма, на котором стоял замок Пон-д'Айн, протекала река Айн, изобиловавшая рыбой, а окружающие равнины и обширные леса – дичью. Здесь герцог и герцогиня наслаждались прелестями сельской жизни. В сопровождении знати и друзей они часто отправлялись на рассвете на охоту и возвращались с последними лучами солнца. Однажды во время охоты с дочерью императора произошёл несчастный случай. Когда Маргарита охотились с Филибертом в полях близ города Кьер в Пьемонте, могучий конь, на котором она сидела, вдруг взбрыкнул и сбросил её на землю. Принцесса упала прямо под конские копыта, которые растоптали её платье, растрепали волосы и порвали толстую золотую цепь на шее. Те, кто был свидетелем несчастного случая, были парализованы ужасом, полагая, что герцогиня вряд ли выживет. По крайней мере, попав в подобную ситуацию, её мать, Мария Бургундская, вскоре скончалась. Но Маргарита чудесным образом спаслась и встала без каких-либо повреждений, если не считать сильного потрясения.
Утром, в начале сентября 1504 года, Филиберт снова отправился на охоту, оставив жену в Пон-д'Айн, и, хотя погода была чрезвычайно жаркой, несколько часов преследовал дикого кабана. Все его приближённые остались позади, а лошадь устала от жары и долгой езды. Тогда он пустился пешком по узкой долине около полудня и, наконец, прибыл, запыхавшийся и обливающийся потом, к источнику Святого Вульбаса. Восхищённый этим местом, он приказал догнавшим его слугам подать себе еду в тенистой роще, но вскоре его внезапно охватил озноб, и, прижимая руку к боку от сильной боли, он вскочил на лошадь и с трудом поехал обратно в Пон-д'Айн, в то время как его свита печально последовала за ним. По прибытии в замок герцог тяжело рухнул на кровать. Тотчас послали за Маргаритой, которая, пытаясь всеми доступными ей средствами облегчить его состояние, в большой спешке послала за врачами. Когда они приехали, герцогиня дала им растереть в порошок свой драгоценный жемчуг и наблюдала, как они готовят из него эликсир, который, как она надеялась, спасёт герцогу жизнь. Кроме того, она дала много обетов и отправляла подношения в отдалённые святилища, призывая на помощь своими молитвами Небеса. Но Филиберт тяжело заболел плевритом, хотя его крепкое телосложение несколько дней сопротивлялось болезни. Врачи пустили ему кровь, тем не менее, все их усилия были напрасны, и вскоре им пришлось признаться, что они больше ничего не могут сделать.
– Он сам, чувствуя приближение своего конца, встал и отправился проститься со своей дорогой спутницей, крепко обняв её, – писал тот же хронист.
«Попросив о последних таинствах и многими делами веры и преданности продемонстрировав свою любовь к святой христианской вере», герцог Филиберт скончался на руках Маргариты 10 сентября 1504 года, в девять часов утра, на двадцать четвёртом году жизни, в той же комнате в замке Пон д'Айн, где он впервые увидел свет.
Маргарита была безутешна: рассказывают, что её рыдания эхом разносились по всему замку. Она даже попыталась выброситься из окна, но была спасена. Всё герцогство Савойское скорбело вместе с ней по молодому принцу, чья жизнь внезапно оборвалась в расцвете лет.