-Прошу Вас, Ваше Величество, прислушайтесь к тем, кто любит Вас больше всего на свете!
После чего подвергла критике поступки королевского фаворита, говоря о национальной разрухе, о страданиях народа, о невозделанных полях, о простаивающих ткацких станках, об иностранцах, захвативших испанские земли, и о людях, которые когда-то были воплощением верности, а теперь восстали против своего монарха… Филипп был ошеломлён и поднял её со словами:
-Ты сказала правду.
В ту же ночь королевскому фавориту был нанесён ещё один удар. Герцогиня Мантуанская, тайно вызванная королевой, бежала из Оканьи, и так быстро, как только могли почтовые лошади тащить её карету, сквозь зимнюю бурю прибыла в Мадрид. Внезапно появившись в кабинете Оливареса, она сказала, что пришла повидать короля и требует ночлега и еды. Министр обошёлся с ней очень грубо и заставил ждать четыре часа, прежде чем предоставил ей плохое жильё в доме казначейства. Однако на следующий день Изабелла помогла ей встретиться с королём в своих собственных апартаментах и Маргарита Савойская с документальными доказательствами довела до его сведения ответственность Оливареса и его приспешников за потерю Португалии.
Ночью Филипп написал своему министру, сообщив, что даёт ему отставку, которой он так жаждал, и что он может отправляться туда, куда пожелает. Оливарес, по словам одного из очевидцев, застыл, словно окаменев, когда читал письмо. Наконец, к нему вернулось спокойствие, он повернулся к жене и сказал ей, что ему нужен отдых и перемена, и вскоре он уедет погостить в Лечес, свою резиденцию примерно в двенадцати милях от Мадрида, поэтому Инес должна немедленно отправиться туда и подготовить всё к его приезду. Догадываясь о правде, она сопротивлялась изо всех сил, но, в конце концов, была вынуждена подчиниться. На следующее утро, согласно своему неизменному многолетнему обычаю, министр рано вошёл в спальню короля и некоторое время молча стоял на коленях. После чего выступил с красноречивым обличением тех, кто оклеветал его в глазах Филиппа. Сначала он сказал, что обстоятельства и злоба его врагов разрушили его планы по возвышению Испании, а затем стал молить короля о том, чтобы сохранить его уважение.
От Филиппа не последовало ни слова в ответ, и Оливарес покинул его спальню. Потерпев поражение, он всё ещё прокручивал в уме другие способы вернуть расположение своего господина или, по крайней мере, отсрочить собственное падение. Сначала граф-герцог написал своей энергичной жене в Лечес, рассказав ей всю правду, ибо там, где он потерпел неудачу, по его мнению, она сможет добиться успеха. Когда письмо мужа дошло до графини, она как раз садилась за стол ужинать, «и при чтении его не только естественный румянец сошёл с её лица, но и румяна, которыми она его покрывала, по дворцовой моде, побледнели и сделали её похожей на труп». Оставив свой ужин нетронутым, страдающая женщина поспешила обратно в Мадрид; и после беседы с мужем попыталась поговорить с королём в коридоре, когда он шёл, как обычно, навестить своих детей. Инес де Суньига нашла Филиппа невозмутимым и молчаливым, после чего, ворвавшись в апартаменты королевы, бросилась к её ногам. Но Изабелла, слишком долго страдавшая от правления Оливареса, холодно ответила:
-То, что сделали Бог, люди и жестокие события, графиня, ни король, ни я не можем исправить.
Затем Оливарес вызвал в Буэн-Ретиро своего племянника, дона Луиса де Аро, который, как он знал, был в большом фаворе у короля. И сказал ему:
-Я был Вам плохим дядей, но это именно я привёз Вас и Вашего отца в Мадрид из Карпио и сделал вас богатыми и могущественными.
После чего стал умолять племянника защищать его перед королём. Аро действительно встретился с королём и открыл ему несколько политических тайн, которые узнал от дяди, однако не стал просить за него. Наоборот, от имени Оливареса стал выпрашивать милости для своего доверенного лица. Филипп IV удовлетворил его просьбу, тоже ни словом не обмолвившись о своём опальном фаворите.
Вскоре новость об отставке министра распространилась по всему Мадриду. Прогулка лжецов была похожа на роящийся улей. Сначала люди не верили и говорили, что всё это просто ещё одна уловка, чтобы выжать из них больше денег под предлогом падения ненавистного Оливареса. Но, мало-помалу, разразился такой неистовый поток ликования, какого Мадрид никогда раньше не видел.
-У нас снова есть король! – кричали в толпе, собравшейся на большой площади перед дворцом.
Но день шёл за днём, а Оливарес всё медлил в тщетной надежде предотвратить свою участь. Он нашёл сотню оправданий для задержки: трудности с транспортировкой, состояние его здоровья и его желание отблагодарить всех, кто хорошо служил ему. У него потребовали ключи, и он прислал их. Однажды он увидел короля на публичной аудиенции и четверть часа беседовал с ним о делах, но те, кто стоял рядом, заметили, что глаза Филиппа ни разу не остановились на бывшем фаворите, который удалился в смущении, со слезами на глазах. Когда король и королева с герцогиней Мантуанской в карете отправились в день Святого Антония, 17 января 1643 года, в монастырь Дескальсас Реалес, люди окружили их с радостными криками: