Несмотря на все усилия, его задача была невыполнимой из-за религиозных противоречий между испанцами и англичанами, а также экономической конкуренции между обеими странами и их претензий на господство в море. После полугодовой работы герцог обратился к императору с просьбой отозвать его и поставить во главе военных действий в Германии. Однако Карл отклонил эту просьбу. Лишь когда в следующем году было объявлено, что Мария беременна и от этого англо-испанского брака можно теперь ожидать столь необходимого для реализации планов Карла наследника, герцог получил возможность покинуть Англию и прибыть к Карлу в Нидерланды. Герцогиня же осталась при королеве.
После менее чем полугодового перерыва перед Альбой были поставлены совершенно новые задачи. Французы вновь вторглись в Италию, и Альба был назначен губернатором Милана и главнокомандующим всей Италии.
Вначале Карл отклонил кандидатуру Альбы. Ему казалось, что этот прямолинейный, ценимый им преимущественно как полководец человек не может быть дипломатом, способным справиться с итальянскими распрями. Кроме того, Альбе необходимо было предоставить полномочия, которые император прежде доверял только члену своей семьи. Однако за это высказался Филипп, который вскоре должен был стать преемником Карла и уже был королем Италии. Возможно, сыграли свою роль незначительные факторы, и прежде всего влияние Руя Гомеса, принца Эболи. Последний надеялся, что в решающий момент, когда новый властитель займет свое место, он сможет избавиться от опасного соперника, который своей бестактностью задел его честь. Он готов был скорее примириться с тем, что король удовлетворит желание Альбы иметь широкие полномочия, чем с тем, что тот останется при дворе.
Итак, Альба отбыл, получив должность, которая ему, почти 50-летнему, предоставляла доселе не виданную им самостоятельность. Однако начало было малообещающим. Впрочем, герцог был принят в Милане с радостью. Было известно о его неподкупности, хотя он и считался скупым. Терпели его гордость; чем более высокого мнения он был о себе, тем больший авторитет имела подчиненная ему область. То, что он небогат и не будет утопать в роскоши, утешало в осознании собственной бедности.
Однако о его политических и военных способностях существовали различные мнения. Многие боялись его искусства скрывать свои планы, стремления завязать дружеские отношения с не слишком любимой Венецией, а некоторые сомневались в его военном искусстве. Они считали, что Карл терпел его во главе армии лишь когда сам находился поблизости. Говорили даже, что герцогу было вручено письмо, адресованное «верховному командующему Миланом в мирное время и дворецкому — во время войны».
Когда Альба прибыл, ничего не было готово. Теперь нельзя точно установить, правда ли, что Эболи сорвал пересылку необходимых средств. Во всяком случае, уже через несколько недель Альба находился в таком положении, что опасался самого плохого и для Испании и для своей собственной персоны. В стране стояли французы. Ранее Альба похвалялся, что за несколько недель он очистит страну от врагов и освободит Пьемонт. Теперь проходил месяц за месяцем, не принося никакого прогресса. Приходилось снимать осаду за осадой; местечко Вульпьяно, которое занимало ключевое положение на равнине По, попало в руки французов; войска бунтовали, драгоценности герцогини вновь пришлось заложить. Лишь перемирие, заключенное испанским и французским королями в другом месте и из-за других событий, вызволило герцога из положения, которое могло означать конец его карьеры.
Из-за своей занятости в Италии Альба не смог принять участия в событии, которое можно назвать одним из самых потрясающих в этом столетии: отречении императора Карла V. Оно произошло в Брюсселе в 1556 году, когда Карл передал управление Испанией и Нидерландами Филиппу. Альба больше не видел своего господина. Карл умер 21 сентября 1558 года в монастыре Сан Юсте в Испании. Даже Филипп не так долго хранил память о нем в своем сердце, как Альба. Тридцать лет, которые он провел в тесной работе с императором, были наиболее ценным периодом его жизни. На всю дальнейшую деятельность герцога легла тень, которая, несмотря на растущую власть, никогда не давала ему испытать подлинное удовлетворение. Когда император находился в Нидерландах в связи с церемонией отречения, Альба покинул Милан и, дополнительно облеченный званием вице-короля Неаполя, через Геную и Ливорно отправился в Неаполь. Готовилось событие всемирно-исторического значения — война между католичеством и папистами. Поводом послужило намерение папы объявить о лишении короля Испании папского лена Неаполя. Альбе было поручено вести эту войну.