Это было подходящее время для слухов об отравлениях, и в народе, а также в правящих кругах начала складываться атмосфера fin de siècle (конца времен), сопровождавшаяся, как мы увидим, многочисленными пророчествами и распространявшимся беспокойством. Эта атмосфера тревоги подпитывалась различными слухами, распространяемыми неустойчивыми умами, достоверность которых подкреплялась легковерием, проявленным даже в правящих кругах. Говорили, что две «святые женщины» из епархии Льежа получили откровение о гомосексуальности короля, и что, чтобы наказать его, Бог решил, что один из его детей умрет в течение шести месяцев. Дело было воспринято настолько серьезно, что епископ Байе был послан лично допросить двух женщин, одна из которых говорила об отравлении.
Как на Филиппа психологически повлияли эти события? Ему всего восемь лет, но его жизнь в опасности, ведь он наследник короны и, следовательно, потенциальная мишень для злодеев. Его отношения с молодой мачехой Марией Брабантской, как говорят, были учтивыми, но отстраненными, без признаков нежности. Но летописи и официальные документы не очень откровенны на эту тему. Как бы то ни было, Филипп всегда проявлял большое уважение к Марии на протяжении всего своего правления, предоставив ей очень хорошую пенсию в 10.000 ливров и дом в Сен-Жермен-де-Пре. Она пережила его на шесть лет и умерла в 1322 году в возрасте шестидесяти семи лет.
Хотя в детстве Филипп был лишен матери, у него была вездесущая и властная бабушка, Маргарита Прованская, вдова Людовика IX, которая поддерживала память и дух последнего, всегда находясь в оппозиции к своей невестке Марии Брабантской. В 1276 году Марии было двадцать два года, она любила вечеринки и романтику и возглавляла Брабантский клан, в котором выделялись герцог Брабантский, графы Бургундии, Гельдерна, Голландии, Люксембурга, Дрё, Суассона, Роберт де Сен-Поль и двадцатишестилетний Роберт д'Артуа, племянник Людовика IX. Но прежде всего, брат Людовика IX, Карл граф Анжуйский, граф Прованса женатый на Беатрисе Прованской являвшийся также королем Неаполя и Сицилии. Характер Карла был одиозен для Маргариты Прованской, его свояченицы, которая упрекала его в том, что он обошел ее в наследовании графства Прованс. Маргарита, женщина пятидесяти пяти лет, строгая, суровая, жила памятью о своем святом муже. Между двумя женщинами-королевами существовал не только классический конфликт поколений и конфликт свекрови и снохи, но также и конфликт интересов, стиля жизни, и маленький Филипп находится больше под влиянием своей бабушки, чем мачехи.
Но был и другой человек имевший большое влияние при дворе: Пьер де ла Бросс, из Турени, бывший камергер Людовика IX, который стал фаворитом Филиппа III и являлся главой группировки, настроенной против королевы Марии. Последняя обвинила фаворита в том, что он является инициатором отравления принца Людовика, и сумела предоставить компрометирующие письма, что привело к аресту ла Бросса и казни его без суда на виселице в Монфоконе в июне 1278 года, возможно, даже без санкции короля.
Филипп III предстает весьма невнятным посреди интриг этих соперничающих группировок, а его личность вряд ли вызывала восхищение его сына. Неграмотный и очень набожный, лишенный дальновидности и энергии, Филипп III, подавленный личностью своего отца — нелегко быть сыном святого короля — находился под большим влиянием своего окружения: две его жены, его мать, его фаворит Пьер де ла Бросс, советники Людовика IX, которые держали в узде королевскую администрацию, такие как Матье аббат Сен-Дени, и сменявшие друг друга хранители печати, Пьер Барбе, Анри де Везеле, Пьер Шалон, Тибо де Пуансе. Будучи вспыльчивым человеком, он позволял втянуть себя в плохо подготовленные авантюры, которые закончились унизительными компромиссами. Так было и в 1276 году, когда, отправившись в Испанию с целью поддержать своих племянников, кастильских инфантов (сыновей Фернандо де ла Серда, мужа его сестры Бланки) против Санчо, второго сына Альфонсо X, признанного наследником после смерти старшего сына последнего в августе 1275 года, он не поехал дальше Пиренеев.