Карл V был удовлетворен несомненным успехом губернаторства Франциска Борджиа, и его радовало христианское рвение, что и выразил во время заседания Кортесов Арагона в 1542 году в Монсоне. Разочарованный и утомленный император разоткровенничался перед ним. Он мечтал удалиться от мира, но сначала хотел урегулировать все незавершенные дела. Именно поэтому повсюду его сопровождал сын — дон Филипп, которого в Вальядолиде он провозгласил своим наследником и собирался представить в Сарагосе, в Барселоне и, наконец, в Валенсии: должным образом признанный, принц станет регентом этих королевств, пока его отец-император в Италии, а потом в Германии будет улаживать религиозные конфликты.
В апреле 1534 года Карл возвращается в Барселону, где он должен сесть на корабль. Он встретился со своим другом вице-королем, ставшим теперь герцогом Гандийским. Его отец умер 17 декабря 1542 года, но Франциск, занятый службой, не мог вступить во владение своим герцогством. Из-за шторма порт был закрыт, и во время своего вынужденного пребывания в городе герцог очень долго беседовал со своим повелителем. Снова оба говорили о суетности всего земного. Карл вез с собой портрет своей «ангелоподобной супруги», чтобы в Италии великий Тициан сделал с него точную копию, которую император хотел постоянно иметь при себе.
Воспользовавшись настроением своего повелителя, Франциск осмелился высказать пожелание, чтобы тот освободил его от должности вице-короля. Он настаивает на необходимости своего присутствия в Гандии: необходимо заняться семейными делами и исполнить завещание отца, расплатившись с вассалами и слугами. Карл V согласился, но при условии, чтобы новый герцог вскоре вернулся ко двору. Для пущей уверенности он назначил его мажордомом принцессы Марии Португальской — невесты будущего Филиппа II. Одновременно с этим он выдал герцогине Гандийской — Элеоноре де Кастро — патент первой придворной дамы, а двум из их дочерей — титулы дам дворца инфанты.
Донья Мария приехала только в конце 1543 года. В Саламанке ее встретил наследный принц Испании, и там их брак наконец осуществился — до этого он был заключен по доверенности. Поздний приезд инфанты, возражения королевы Португалии по поводу назначения герцогини, которую она не любила, наконец, смерть Марии Португальской после рождения сына 12 июля 1545 года — все это избавило герцога и герцогиню Гандийских от тягостной службы при дворе.
Франциск и Элеонора с удовольствием вернулись в свои владения. С ними приехали их младшие дети, которых они пытались воспитать вдали от интриг и продажности придворных. В течение трех лет они спокойно и патриархально управляли герцогством Гандийским и маркизатом Ломбэ. Герцог достойно наградил бывших слуг своего отца, а потом перестроил Гандийскую больницу и передал в нее новую мебель. Он укрепил берег, куда часто высаживались берберийские отряды, являвшиеся грабить рабов, — им помогали обрабатывавшие земли мориски. Озабоченный обращением крестьян в своих владениях, герцог договорился с отцом Араосом о создании миссии Иезуитов. До приезда монахов он постарался облегчить богослужения: в Ломбэ основал доминиканский монастырь. Как и его отец, он никогда не упускал случая набожно следовать за священниками, которые шли причащать больных.
Герцогиня помогала мужу во всех его благотворительных начинаниях, не пренебрегая, однако, светскими обязанностями. Она всегда была около супруга на праздниках и приемах, оживлявших маленькую столицу. Замок был достроен, а владения расширены за счет покупки соседних земель. В жизни герцогской семьи мирно чередовались земные и небесные заботы. Катастрофа случилась в 1546 году — у герцогини началась анемия. Врачи не знали, чем ее лечить. Герцог искал спасения своей супруги в молитвах.
Однажды, молясь, он настойчивее, чем обычно, попросил Христа о выздоровлении Элеоноры. Вдруг ему показалось, что фигура на распятии ожила, и он отчетливо услышал слова, воспроизведенные позже во время процесса его канонизации: Si tu quieres que te deje a la Duquesa mas tempo en esta vida, yo lo dejo en ti mano. Pero te aviso que a ti no te conviene esto (Если ты хочешь, чтобы я сохранил пока жизнь герцогине, я даю тебе возможность самому принять решение. Но я предупреждаю, что это тебе не нужно).
Герцог воззвал к Богу в пылкой молитве: «О, Господи, самое малое, что я могу сделать в ответ на Твою бесконечную милость и великодушие, это вручить Тебе жизни моей жены, моих детей, мою собственную жизнь и все, чем я владею на этом свете. Все это я получил из Твоих рук. Я возвращаю Тебе все, моля Тебя располагать этим, как на то будет воля Твоя».