Осторожный Оливарес и его приспешники явно не собирались пускать всё на самотёк, пока младший брат короля не станет неуправляемым:
-Для Фернандо лучше всего будет продолжать оставаться в лоне Церкви; но не подниматься на более высокие ступени, чем в настоящее время, ввиду престолонаследия. Пусть у него будет достаточно денег, но давайте будем осторожны, чтобы не пробудить его дух и честолюбие, дав ему власть, которую даёт слишком большое количество средств, и не позволим нам в нашей щедрости к нему обманывать бедную паству и других епископов. Или же дадим ему епископство Оранское и пробудим в нём рвение (к миссионерству) в Африке, как в кардинале Хименесе.
Этот проект, однако, не был одобрен комиссией, поскольку стремление к миссионерским военным экспедициям могло побудить инфанта отказаться от духовного сана.
-Или мы могли бы назначить его генеральным инквизитором, чтобы привлечь его к государственным делам, как это было сделано с принцем Генрихом Мореплавателем. Но хуже всего то, что он ещё очень молод, а инквизиция - очень серьёзное дело. Или мы могли бы отправить его во Фландрию или даже ввести в Государственный совет здесь; но если бы мы это сделали, нужно было бы вводить и Карлоса, что не можем сделать по многим причинам. Карлоса, конечно, нужно женить или заставить заниматься какой-либо активной деятельностью, чтобы он был занят и не причинял вреда, пока Бог не укажет нам, что с ним лучше сделать. Но в настоящее время для него нет подходящей принцессы.
В конце концов, была принята последняя рекомендация Оливареса, а именно убрать с дороги Фернандо, отправив его во Фландрию. Но даже это было сопряжено с подозрениями и трудностями:
-Тамошний народ хочет собственного принца. Старая инфанта (Изабелла Клара Евгения, тётка короля, управлявшая Испанскими Нидерландами) может оставить ему трон после своей смерти, и фламандцы могут использовать принца, чтобы завоевать и удержать независимость от Вас Вашими (то есть Филиппа) собственными руками, а этого, конечно, следует избегать.
Хотя комиссия не пришла к определённому выводу, Оливарес в частном письме королю рекомендовал, чтобы Карлоса в будущем сделали вице-королём Сицилии, а Фернандо отправили во Фландрию вместе со старыми мудрыми советниками.
Следует заметить, что министру всё же не удалось настроить короля против его братьев.
Будучи подозрительным по натуре, после возвращения двора в Мадрид фаворит быстро обнаружил, что атмосфера там была менее благоприятна для него, чем до отъезда короля. Изабелла, как регентша, в отсутствие Филиппа пользовалась большой властью и уважением, и дворяне, священники и дамы, окружавшие её, могли говорить смело всё, что думали о графе-герцоге. Желая поднять свой авторитет и привести своих врагов в замешательство, Оливарес решил нанести им удар. Король, как известно, был ленив и любил удовольствия, возлагая всю тяжёлую работу на своего фаворита, от которого он полностью зависел. Поэтому министр прекрасно понимал, что без его руководства его повелитель стал бы совершенно беспомощен, и угроза его отставки всегда заставляла Филиппа повиноваться. Таким образом, никакой шаг не мог бы быть более эффективным для того, чтобы заткнуть рты критикам, настроенным против фаворита, чем его протест против пренебрежительного отношения короля к своим обязанностям.
Осенью 1626 года Оливарес опубликовал в Государственной газете «Письмо от графа-герцога Его Величеству, в котором он настоятельно призывает его самостоятельно рассмотреть и уладить текущие и частные дела, не спрашивая мнения совета и, прежде всего, мнения графа-герцога, с тем, чтобы сам король мог взять под полный контроль государственные дела и правительство».
На что Филипп IV ответил покаянным письмом: «Граф, я решил сделать так, как Вы меня просите, ради Бога, себя и Вас. Ничто не сравнится с Вашей смелостью по отношению ко мне, ибо я знаю Ваше рвение и любовь. Я сделаю это, граф, и возвращаю Вам этот документ с таким ответом, чтобы Вы могли сделать его семейной реликвией Вашего дома, чтобы Ваши потомки могли научиться разговаривать с королями по вопросам, затрагивающим их славу, и чтобы они могли знать, какой у них был предок. Я хотел бы оставить его в своих архивах, чтобы научить своих детей, если Бог даст мне таковых, и других королей, как они должны подчиняться тому, что справедливо и целесообразно. Я, король».
Тем не менее, трудовое рвение короля длилось не долго. То ли из-за беспокойства о делах государства, то ли из-за любовных излишеств летом 1627 года Филипп IV серьёзно заболел в Мадриде. Вдобавок, 21 июля умерла его дочь Мария Евгения. Хотя Изабелла уже снова была в положении, исходя из её предыдущих неудачных беременностей, королевство могло остаться без прямого наследника. Больше всего прав на престол было у дона Карлоса, внешне и по характеру удивительно похожего на своего старшего брата. Но при всей своей слабохарактерности этот инфант не был другом Оливареса. Наоборот, первый министр лишил его всех доверенных лиц, большинство из которых приходились родственниками герцогу Лерме. В частности, сестра последнего была гувернанткой Карлоса. Однако не он, а юный Фернандо, отличавшийся от старших братьев большими способностями и пылкостью, возглавил недовольных, когда граф-герцог выгнал его из покоев, примыкавших к апартаментам больного короля, чтобы заселиться туда самому.