В то же время столичные острословы всячески упражнялись в насмешках над новым дворцом. Корнер, венецианский посол, писал:
-На этом участке раньше находилась домашняя птица, которую разводила графиня (Оливарес), и… это было источником…насмешек, что граф, который занимается таким серьёзным делом, проявил такой интерес к курам... Все называют его (дворец) курятником, и о нём написано бесчисленное количество пасквилей, даже кардинал Ришельё шутил о курах и курятнике в присутствии секретаря короля (Филиппа IV), когда тот был в Париже.
Король периодически сам занимался государственными делами, но бесконечные заседания и отчёты различных Советов казались ему утомительными. Быстро схватывая всё на лету, он ненавидел скучные длительные обсуждения и был доволен, выслушав краткое изложение результатов от Оливареса, чьё окончательное решение он всегда подтверждал.
Несмотря на любовные приключения Филиппа IV, окружающие считали его семейную жизнь счастливой, хотя растущее напряжение между королевой и Оливаресом в некоторой степени отдалило супругов. Однако Изабелла была хорошей женой и, разделяя досуг короля, в следовании обычаям своей новой родины была даже большей испанкой, чем он - испанцем. Кроме того, что её демонстративно отстраняли от власти, у неё были чисто женские причины неприязни к Оливаресу.
Хоптон, любивший посплетничать, пишет в одном из писем:
-Он (Оливарес) также сказал несколько резких слов адмиралу (Кастилии) за то, что тот отзывался при короле пренебрежительно о его новом доме; и королева тоже… говорила с ним об этом, поскольку у неё сложилось определённое мнение о некоторых тайных удовольствиях, которые там доставлялись королю.
Почти каждый год Изабелла рожала по ребёнку, хотя из всего её потомства пока выжил только Бальтазар Карлос. Родители боготворили мальчика настолько, насколько позволяли деспотичные требования этикета, и он был также обласкан всем двором. Маленький инфант рано развил в себе любовь к верховой езде, и на полотнах кисти Веласкеса он часто предстаёт охотником или солдатом. Дон Фернандо из Фландрии присылал племяннику красивые миниатюрные доспехи и оружие, а в 1633 году подарил ему лошадку, которую сам Бальтазар Карлос называл «маленьким дьявольским жеребцом-пони», ибо её пришлось довольно долго усмирять, прежде чем инфанту разрешили сесть на неё верхом. Тем не менее, этот пони стал любимым животным мальчика.
Изабелла сыграла значительную роль в воспитании обожаемого сына, поощряя у него интерес к музыке и театру. И Бальтазар Карлос был «преданно привязан» к своей матери.
Ограниченное число ближайших королевских родственников составляло проблему не только для Филиппа IV, но и для государства. Из двух его братьев один, дон Карлос, умер, а другой, кардинал-инфант Фернандо, героически сражался во Фландрии. Другой родни у короля не было, кроме малолетнего наследника и внебрачных детей немногим старше Бальтазара Карлоса, в то время как австрийским Габсбургам можно было доверить должность вице-короля за морями, но не исполнительную власть в испанских провинциях, тем более, что высшая знать там с недоверием относилась к Оливаресу.
Основная трудность заключалась в Португалии, которой ещё Филипп II предоставил широчайшую автономию. Результатом его политики стало возвышение дома Браганса, имевшего больше прав на португальскую корону, чем испанские Габсбурги. Нынешний герцог Браганса женился на сестре испанского герцога Медина Сидония, главы рода Гусманов, представителем которого был и Оливарес, и при обычных обстоятельствах мог бы стать идеальным кандидатом на пост вице-короля. Но в условиях разорения Испании и всеобщего недовольства растущими налогами могущественный и популярный Браганса вызывал подозрения.