Но известие об отделении Каталонии, каким бы ужасным оно ни было, пришло всего через несколько недель после другого удара, который подействовал на короля ещё сильнее. В первые дни декабря 1640 года он возглавил один из любимых им боёв быков, устроенных в честь датского посла, когда курьер с португальской границы доставил почту министру. Вскоре Аллея лжецов и улица Майор заполнились людьми, шёпотом передававшими друг другу ужасные новости. Во дворце и даже на площади, где проходила коррида, все знали или догадывались о случившемся, и всё же никто не осмеливался намекнуть об том королю. Прошло несколько часов, бой быков подошёл к своему обычному завершению, и, вернувшись во дворец, Филипп сел играть в карты со своими друзьями. Неожиданно к нему подошёл Оливарес, весёлый и улыбающийся:
-Я принёс Вашему Величеству отличные новости.
-Что за новости? - спросил король без особого беспокойства.
-В одно мгновение, сир, Вы завоевали великое герцогство и огромное богатство.
-Как так, герцог?
-Сир, герцог Браганса сошёл с ума и провозгласил себя королём Португалии; поэтому Вам необходимо будет конфисковать всё его имущество.
Длинное лицо короля вытянулось ещё больше, а лоб омрачился, несмотря на всю весёлость Оливареса.
-Пусть будет найдено средство от этого, - вот и всё, что он сказал, снова возвращаясь к своей игре.
Граф-герцог же, выходя из комнаты, выглядел таким печальным, будто увидел начало своего собственного падения.
1 декабря 1640 года по Лиссабону пронёсся клич:
-Да здравствует король Иоанн IV!
Восставшие захватили дворец и почтительно препроводили вице-королеву Маргариту в монастырь, в то время как остальные испанцы были заключены в крепость. Сопротивления не было, потому что у Испании не хватало сил подавить восстание, и хотя до конца правления Филипп IV периодически на границе велись войны за восстановление его власти над страной, Португалия больше никогда не теряла своей независимости.
Недовольство министром быстро росло.
Однажды молодой придворный по имени Луханес бросился к ногам Филиппа в королевской часовне и закричал:
-Ваше Величество, остерегайтесь графа-герцога! Он хочет Вас погубить!
Его поспешно увезли, а услужливые друзья Оливареса, пожимая плечами, и говорили:
-Бедняга сошёл с ума!
На следующий день Луханес таинственным образом умер в заключении, и молва утверждала, что его отравили. Однако подобные возгласы Филипп IV продолжал слышать и на улицах Мадрида. А когда он однажды собирался на охоту на волков, раздались крики:
-Охотьтесь на французов, сир! Это наши худшие волки!
Всего через несколько недель после получения дурных вестей из Барселоны и Лиссабона большая часть Буэн-Ретиро сгорела дотла во время великолепного карнавала в феврале 1641 года, что дало новый повод для жалоб на Оливареса.
-Это место было проклято, - говорили ворчуны.
Невосполнимую потерю драгоценных произведений искусства в результате пожара пришлось компенсировать «добровольными» пожертвованиями аналогичных вещей из частных коллекций. На восстановление дворца у депутатов кортесов потребовали 60 000 дукатов, 20 000 - у муниципалитета Мадрида, 30 000 - у Совета Кастилии и 10 000 - у Военного совета, в то время как солдатам на поле боя не платили жалованье и они голодали.
Говорили, что в другой раз король был очарован прекрасной герцогиней Альбуркерке, женой одного из его самых верных соратников. В один прекрасный день, когда Филипп IV играл в карты во дворце, он притворился, что забыл об одном срочном деле, и попросил герцога Альбуркерке занять его место за столом, после чего вышел из зала в сопровождении Оливареса.
Альбукерке, зная, что король положил глаз на его жену, также притворился, что испытывает ужасные боли, и выбежал из дворца. Король и Оливарес уже были в его доме, когда внезапное появление хозяина заставило их спрятаться на конюшне.