Преемник Бонифация Бенедикт XI правил всего несколько месяцев и внезапно умер, пережив Бонифация всего на десять месяцев. Затем в июне 1305 года, после многомесячной борьбы, под давлением Филиппа папой был избран архиепископ Бордо Бертран де Го, принявший имя Климента V. Король предоставил ему для постоянного пребывания город Авиньон, положив начало «авиньонскому пленению пап». Климент ввел в конклав несколько кардиналов-французов, гарантировав в будущем избрание пап, угодных французским королям. В специальной булле Климент полностью поддержал позицию Филиппа в споре с Бонифацием, назвав его «добрым и справедливым королем», и отменил буллу «Единая Святая». Однако он отказался поддержать обвинения в адрес Бонифация в ереси и противоестественных пороках, а также произвести над ним посмертную казнь – вырыть и сжечь труп.
Филипп смог прирастить французскую территорию за счет нескольких княжеств, пограничных с Германской империей. Власть короля признали также города Лион и Валансьен.
В 1308 году Филипп попытался сделать германским императором Карла Валуа, когда престол оказался вакантным после убийства императора Альбрехта Австрийского. Некоторые приближенные рекомендовали Филиппу самому попытать счастья в борьбе за имперскую корону. Однако создание столь мощного государства – в случае унии Франции и Германии – испугало всех соседей Франции, тем более что Филипп ясно обозначил свое намерение присоединить к своему королевству левый берег Рейна. Германские князья выступили против Карла Валуа, которого не поддержал даже папа Климент V. Императором избрали Генриха Люксембургского.
В 1307 году по приказу Филиппа в один день по всей Франции были тайно арестованы члены ордена тамплиеров. Они были обвинены в ереси, будто бы выразившейся в надругательстве над крестом, идолопоклонстве и содомии. Перед этим Филипп попросил принять его в орден, надеясь сделаться его гроссмейстером и легально прибрать к рукам все богатства тамплиеров. Однако гроссмейстер ордена Жак де Моле разгадал игру и вежливо, но твердо отказал ему. Зато Филипп получил предлог для расправы, утверждая, что тамплиеры занимаются тайными делами, в которые боятся посвятить французского короля. Под пытками тамплиеры во всем признались, а семь лет спустя на открытом процессе все отрицали. Истинная причина расправы была в том, что король задолжал ордену большую сумму. В 1308 году для одобрения репрессий против тамплиеров король во второй раз в истории созвал Генеральные штаты. Процессы над тамплиерами прошли по всей Франции. Их вожди были казнены с благословения папы римского, сначала пытавшегося протестовать против расправы над тамплиерами, а позднее, в 1311 году, под давлением Филиппа созвавшего в Вьенне церковный собор, упразднивший орден тамплиеров. Имущество ордена в 1312 году было отписано в королевскую казну.