В ноябре 1532 года Карл V ещё раз пересёк Альпы и вошёл в Мантую 7-го числа, с отрядом бургундских гвардейцев, большим багажом, лошадьми и охотничьими собаками. Его приятные и приветливые манеры произвели большое впечатление на венецианских посланников. Каждый день император отправлялся на охоту или выезжал верхом инкогнито с герцогом и гулял по городу без охраны. Часто люди недоумевали, как отличить его от Альфонсо д'Авалоса, который обычно был рядом с ним и носил тот же испанский костюм из чёрного бархата, расшитый золотом, пока Карл, услышав, как они спрашивают: «Кто он?» с улыбкой не приподнимал шляпу. Ферранте Гонзага и его двоюродный брат, Луиджи Гонзага из Боргофорте, были постоянными спутниками императора, но венецианцы заметили, что Карл говорил о войне и политике только с герцогом Урбино, а охоту и другие развлечения обсуждал с Федерико. На этот раз герцог Мантуанский решил дать серию театральных представлений и попросил свою мать разрешить оборудовать комнаты на первом этаже старого замка под сцену. Подготовка была масштабной и стоила Джулио Романо немалых хлопот. По просьбе Федерико Тициан прислал ему в помощь искусного и «очень приятного художника» Винченцо из Брешии, который написал большое полотно с императором на коне в сопровождении охраны, которое было подвешено к крыше на золотых шёлковых шнурах.
Великолепные картины в новых залах замка Кастелло, и, прежде всего, портрет герцога кисти Тициана, произвели глубокое впечатление на любящего искусство монарха, который неоднократно заявлял, что хотел бы, чтобы этот мастер написал его собственный портрет. После чего Федерико отправил срочного гонца в Венецию, умоляя Тициана немедленно приехать в Мантую, и добавил постскриптум, в котором просил художника привезти с собой свежие запасы рыбы. Тициан, однако, не смог покинуть Венецию и согласился присоединиться к императору в Болонье, где тот должен был снова в декабре встретиться с папой. В День Святого Андрея состоялась торжественная месса, на которой присутствовали герцоги Феррары, Урбино, Милана и Мантуи, а маркиз дель Васто был награждён орденом Золотого руна.
5-го числа в Кастелло состоялся бал, и маркиза Изабелла сидела за столом императора, заменив свою беременную невестку. Когда ужин закончился, Карл взял хозяйку под руку и повёл её к столам, за которыми сидели другие гости, и «сам обслуживал их самым галантным образом в мире». Из-за сильного снегопада Федерико отменил последнюю охоту и приказал приготовить для императора сани. Вскоре пришло известие о прибытии папы в Болонью, и Карл не мог больше медлить.
– Все дамы, – писал венецианский посол, – с восторгом ждали новых развлечений и проклинали папу за то, что он помешал их удовольствиям.
В середине месяца Карл отправился в путешествие в сопровождении герцогов Мантуи, Феррары и Милана и проследовал в Болонью, остановившись по дороге в Корреджо, где он посетил Веронику Гамбара.
13 марта 1533 года герцогиня Маргарита Палеолог родила сына и наследника, который получил имя Франческо по настоянию своей бабушки Изабеллы д'Эсте. Долгожданное событие было отпраздновано с большим торжеством, которое продолжались три дня, и буйная молодежь Мантуи, дав волю своему ликованию, развела огромный костёр, в котором сгорели двери лавок, сиденья дворца юстиции и даже стулья из собора.
Прежде чем покинуть Италию, император решил организовать брак Джулии Арагонской, отвергнутой невесты Федерико, с Джованни Джорджо Палеологом, немощным старым маркграфом Монферратским. Вероятно, узнав об этом, сын Изабеллы рвал и метал: а вдруг его кузина всё же родит пожилому маркграфу наследника? На его счастье, произошло неожиданное: 29 апреля 1533 года Джованни Джорджо после венчания отправился в своё местечко Казале, чтобы подготовиться к торжественному въезду жены. Затем маркграф выехал ей навстречу и по дороге внезапно рухнул с коня. В результате он умер на руках у Джулии. Однако Федерико напрасно радовался: герцог Савойи тоже предъявил свои права на Монферрат. Во избежание военного конфликта между ними Карл V наложил арест на наследство Маргариты Палеолог и только в 1536 году передал ей маркизат, благодаря чему Федерико удвоил свои владения.
В мае 1534 года Альфонсо д'Эсте отправился в Милан на свадьбу своего племянника Франческо Сфорца. Возможно, именно по его предложению Тициан тогда написал портреты жениха и его юной невесты, племянницы императора Кристины Датской. А 31 октября герцог Феррары внезапно скончался, всего через три месяца после смерти своего врага, папы Климента VII. Но потеря брата, к которому Изабелла была нежно привязана с самого раннего детства, не повлияла на узы, связывающие её с Феррарой. Когда зимой Рене заболела после рождения своей второй дочери Лукреции, Эрколе II написал своей тёте, умоляя её провести карнавал в Ферраре и развлечь его больную жену. Изабелла с радостью откликнулась на его призыв и 30 января 1536 года написала своему сыну, герцогу Федерико, о своём благополучном прибытии в Феррару: