Поначалу властные манеры и суровый вид Оливареса пугали чувствительного мальчика, но по мере своего взросления Филипп стал подобен воску в его руках. Умело играя на честолюбии инфанта, наставнику удалось настроить его против Уседы, своего бывшего союзника. Если Лерма за долгие годы своего правления искусно скрывал от ленивого Филиппа III нищенское положение народа и экономический упадок страны, то неумелая политика сына бывшего королевского фаворита сделала эти бедствия очевидными для всех.
-Именно Вашему Высочеству суждено возродить могущество Испании! – внушал наследнику трона Оливарес. - Нас ждёт Золотой век!
Однако пока граф не выходил из тени своего юного господина, он не внушал сильного беспокойства Изабелле. Хотя и не понравился ей с первого взгляда.
В то время как принц и принцесса Астурийские наслаждались своим счастьем, бедный король, попеременно испытывая приступы то мучительного раскаяния, то истерической надежды, пытался прикосновением к мощам святым и одеяниям монахов защититься от гнева Всевышнего.
Весь март 1621 года Филипп III больной пролежал в постели в своём дворце в Мадриде, откуда открывался вид на голую кастильскую равнину. Королю было немногим за сорок, но, хотя его болезнь не причиняла ему больших мучений, жизненные силы покинули его, как и всякое желание продлить своё существование. Его раскаяние и ужас перед местью Небес были ужасным, хотя он был скорее человеком легкомысленным, чем жестоким.
30 марта юный Филипп навеки простился со своим отцом.
-Я послал за тобой, - сказал король, - чтобы ты увидел, чем всё это кончится
После чего дал плачущему инфанту несколько советов: стремиться к счастью своего народа, заботиться о своих сёстрах и братьях, избегать новых советников и твёрдо стоять за истинную веру.
Если верить «Дневнику путешествия в Испанию» французской графини д’Ольнуа, посетившей эту страну в конце ХVII века, смерть Филиппа III спровоцировал придворный этикет. Однажды, сидя за своим письменным столом, он почувствовал запах угара от камина, расположенного рядом с ним, но ни один из придворных не захотел взять на себя ответственность за то, чтобы отодвинуть его кресло, дабы не посягнуть на обязанности герцога Уседы, «отвечавшего за тело» короля и отсутствовавшего в тот момент во дворце. Ближайшей ночью у Филиппа III началась сильная лихорадка, сопровождавшаяся рожистым воспалением, от которой он умер через несколько дней.
Вполне возможно, что история с камином вымышленная. Однако писательница узнала эти подробности, как она сама утверждает, от некоего испанца, желавшего обратить её внимание на «безжалостную тиранию этикета, правившего двором и сделавшего из монарха почти священную особу, которая должна была быть — или, по крайней мере, казаться — неподверженной превратностям бытия».
Не успел ещё король умереть, как герцог Уседа, сочтя за благо в этой ситуации примириться с отцом, решил вызвать его в столицу. Тогда по наущению Оливареса юный Филипп приказал архиепископу Бургоса явиться к нему в покои. Инфант стоял, прислонившись к резному буфету, весь в чёрном, с надменным каменным лицом, похожим на маску.
-Я послал за Вами, - медленно сказал он архиепископу размеренным голосом, - чтобы Вы передали мой приказ Совету: он должен запретить въезд герцогу Лерме в Кастилию и приказать ему немедленно вернуться в Вальядолид, дабы ждать там моих дальнейших распоряжений.
Перед тем на протяжении нескольких недель Оливарес притворялся, что хочет уединиться в своём доме в Андалусии, хорошо зная, что его воспитанник среди хаоса придворных интриг как никогда будет нуждаться в его совете. Действительно, стоило графу только намекнуть на свой отъезд, как инфант согласился на всё, что он только пожелает.
Юный Филипп лежал в своей огромной квадратной кровати, похожей на шатёр, в Мадридском дворце, когда привратник в девять часов утра 31 марта 1621 года объявил о приходе его духовника. Войдя, монах опустился на колени и приветствовал его как короля Филиппа IV. На мгновение юноша был ошеломлён этой новостью, а потом велел слугам задёрнуть занавески, чтобы наедине предаться своему горю. Но вскоре нетерпеливые придворные столпились в его приёмной, дабы засвидетельствовать своё почтение новому монарху. Внезапно все оживились, и толпа расступилась перед Оливаресом, который в сопровождении своего престарелого дяди, седовласого дона Бальтасара де Суньиги, прошествовал в королевскую спальню. Раздвинув занавески кровати, он непререкаемым тоном сказал Филиппу: