-Наконец-то наш король - король! Боже, храни короля!
В конце концов, Филиппа IV стала раздражать эта задержка, поскольку он не мог назначить новых офицеров, пока не освободится от Оливареса и его людей, и он решил поохотиться два дня в Эскориале, чтобы в его отсутствие была решена эта проблема. Не успел он уехать, как графиня Оливарес обратилась с очередной слёзной просьбой к королеве, которая тут же её отклонила. На второй день, 20 января 1643 года, когда Филипп возвращался в Мадрид, ему навстречу вышла большая делегация знати, чтобы предоставить себя и своё имущество в распоряжение своего повелителя. До сих пор они стояли в стороне по причинам, известным ему, но теперь, когда Оливарес получил отставку, они были готовы стоять за короля до смерти. Затем они призвали Филиппа обновить состав всех своих советов и сменить административных чиновников.
Войдя во дворец, король повернулся к Луису де Аро и спросил:
-Он удалился?
-Нет, сир, - последовал ответ.
-Он ждёт, что мы применим силу? - проворчал Филипп.
Когда слова короля были переданы Оливаресу, то он, единолично управлявший Испанией на протяжении двадцати двух лет, был вынужден тайно покинуть столицу в сопровождении всего четырёх слуг в карете с плотно задёрнутыми занавесками, опасаясь покушения. Ибо, как говорит один из его биографов, фаворита забили бы камнями до смерти, если бы узнали о его бегстве. Таким образом, «заговор женщин» увенчался успехом.
Только после того, как опальный граф-герцог оставил Мадрид, Филипп IV почувствовал себя в безопасности. Вызвав в свой кабинет в одной из угловых башен старого дворца кардиналов Борху и Спинолу, а также нескольких дворян, выступавших против Оливареса, он обратился к ним с длинной речью. По его словам, он был полон решимости в будущем взять управление страной в свои руки. Граф-герцог служил ему долго, хорошо и ревностно, но его здоровье пошатнулось, и он нуждается в отдыхе. В конце Филипп IV заявил:
-В будущем у меня не будет другого министра, кроме королевы, чью энергию, мудрость и патриотизм я впервые увидел и оценил.
Что касается некогда могущественного Оливареса, который ушёл в безвестность с разбитым сердцем, мало кто был достаточно великодушен, чтобы сказать ему доброе слово. Даже коннетабль Кастилии, который так охотно выдал свою дочь замуж за его сына, теперь стал утверждать, что именно первый брак молодого Гусмана был действительным. Когда же ему указали, что это обесчестит его чадо, коннетабль ответил:
-Я бы предпочёл видеть свою дочь распутной и незамужней, чем честной женщиной и супругой Гусмана.
Следует всё-таки заметить, что огромное состояние, приносившее Оливаресу 400 000 дукатов в год, было накоплено им не только для личного удовлетворения, как это было в случае с Лермой. Он жил тихо и скромно, отдавая всё своё время работе, и тратил свои доходы, в основном, на развлечения для короля.
Вскоре из Лечеса, с разрешения своего повелителя, граф-герцог удалился в Торо, подальше от двора. Но даже там, лишённый своей должности и власти, он был объектом зависти и ненависти своих врагов. Не раз за два года, последовавшие за его отставкой, король, казалось, был склонен призвать назад своего старого министра. Поэтому многие дворяне, особенно арагонские, убеждали короля казнить человека, который предал его доверие, но Филипп не был ни жестоким, ни несправедливым и, естественно, не соглашался на это. Правда, однажды враги Оливареса почти преуспели, ибо в ответ на обращение бывшего министра, который снова предложил свои услуги, Филипп IV написал из Сарагосы:
-Короче говоря, граф, я должен царствовать, а мой сын должен быть коронован королём Арагона. Но это будет сделать трудно, если только я не отдам твою голову моим подданным, которые требуют этого единогласно, и, боюсь, я больше не могу им возражать.
Однако Оливарес сохранил свою голову на плечах, поскольку письмо короля свело его с ума, и он умер 22 июля 1645 года, всего через два с половиной года после своей опалы. Испанцам казалось, что с падением графа-герцога Испания снова станет могущественной и богатой, и как прежде будет диктовать Европе свою волю. Филипп IV торжественно поклялся отказаться от распутства и отныне посвятить себя благополучию своего народа. С этого момента для Изабеллы де Бурбон начался короткий период счастья. Филипп IV, наконец, заметил, что его жена не только красива, умна и хорошо воспитана, но и способна править вместе с ним.