Хмурый старый Алькасар был непригоден для веселья и поэтому Филипп не любил этот дворец, как и Эскориал. А в Аранхуэсе, за исключением весны, всегда было слишком сыро. Тем не менее, двору приходилось часто жить в Мадридской резиденции или в Пардо. Кроме того, на обширной и красивой территории, прилегающей к монастырю Святого Иеронима у восточных ворот столицы, располагались апартаменты, которые использовались королевской семьей для религиозных или траурных обрядов, а иногда и как дом для гостей.
В 1631 году Оливаресу пришло в голову, что это место можно было бы сделать более привлекательным. Воплощение этой идеи началась с простого выравнивания там почвы, устройства газона, строительства вольера, нескольких фонтанов и летних домиков. Но очень скоро амбиции графа-герцога выросли до небес, и он решил возвести там дворец, который стал для правления Филиппа IV тем же, чем Версаль был для правления Людовика XIV.
Таким образом, это должно было быть идеальное место для развлечения короля, где собиралось бы его поэтическое окружение и на сценах под деревьями или в высоких позолоченных залах для избранной публики могли бы разыгрываться остроумные комедии. С этой целью к территории монастыря была присоединена и прилегающая территория, на которой в окружении озёр, уютных гротов и каскадов за очень короткое время возник великолепный дворец Буэн-Ретиро (Прекрасное Уединение). Он включал в себя роскошные салоны, украшенные полотнами Сурбарана и Веласкеса, и «театральный колизей», оформленный флорентийцем Козимо Лотти, который, помимо всего прочего, был специалистом по театральным механизмам, применявшимся в представлениях на мифологические или рыцарские темы.
Ещё до того, как само здание было закончено, состоялось его торжественное открытие. 1 октября 1632 года король приехал туда, чтобы посмотреть на приготовления к празднику, который должен был состояться в честь рождения наследника у его сестры Марии, королевы Венгрии. Когда он приблизился к новому королевскому дворцу, его встретил Оливарес, который поднёс ему на серебряном подносе золотые ключи от Буэн- Ретиро и титуловал своего повелителя как «Короля планеты» (т. е. «Король-солнце», ибо это светило тогда считалось планетой). И когда позже в недавно построенных залах начались празднества, продолжавшиеся много дней, Филипп и его жена по-настоящему влюбились в это место.
Всего за несколько месяцев до этого в соседней церкви Святого Иеронима на великолепно украшенной сцене перед главным алтарём малыш Бальтазар Карлос принял присягу общин Кастилии в качестве наследника престола. Перед церемонией между дворянами произошли две яростные стычки за право находиться в первых рядах, но всё стихло, когда появился толстенький инфант в малиновом бархате, расшитом золотом, которого вели на помочах дядья Карлос и Фернандо. На поясе у инфанта висели миниатюрный меч и кинжал с эмалью и бриллиантами, а чёрная шляпа была отделана стеклярусом и бриллиантами и украшена алыми перьями.
До сих пор Оливарес старался держать братьев короля на заднем плане, но вскоре из Испанских Нидерландов пришло известие об ухудшении здоровья Изабеллы Клары Евгении. Поэтому решено было отправить туда дона Фернандо, чтобы он после смерти наместницы сменил её. Но тут дон Карлос неожиданно набрался духу и заявил:
-Во Фландрию должен отправиться я, как старший!
На что Оливарес ответил:
-Наследный инфант в последнее время стал часто болеть. К тому же, есть некоторые сомнения, будут ли у Его Величества ещё дети. А следующим наследником является Ваше Высочество, поэтому Вам нельзя уезжать далеко.
Дона Карлоса успокоили обещанием, что его отправят командовать Португалией или Каталонией.
Между тем снова назревала большая война с Францией. Оливарес осложнил ситуацию, оказав помощь Марии Медичи и Гастону, герцогу Орлеанскому, в их вооружённом восстании против правительства Ришельё, что вызвало ярость жителей Мадрида, которые ненавидели нелояльность монарху, даже если он был королём Франции. Ходили слухи, что в отместку за действия Оливареса французская армия готовится вторгнуться в Каталонию и перенести войну в саму Испанию. В связи с чем у министра возник новый план, как избавиться от младшего брата короля:
-Видя скопления врагов на наших границах и опасности, угрожающие нам со всех сторон, было бы хорошим планом отправить (каталонскую) знать в их собственные поместья, посмотреть, какие войска они могут собрать, объявить, что Фернандо должен быть их лидером…