Давление, оказанное на все слои населения, привело к эмиграции в больших масштабах. Поток эмигрантов устремился из тринадцати провинций в соседние страны, где началась подготовка сопротивления режиму, установленному Аль-бои. Принц Оранский, поклонник Макиавелли, взяв дело в свою руки, сумел направить их волю в единое русло. Его связи доходили до тайного кабинета короля Филиппа, из карманов которого агенты Оранского похищали письма герцога и правительницы Маргариты. В борьбе против него Альбе пришлось вступить на путь, который все больше отдалял от поставленных целей. Его положение ухудшилось, уважение к нему падало. Даже подвластные ему территории и народ начали чувствовать по изданным распоряжениям и действиям испанцев, что их уверенность уменьшилась. Бедность порождала ожесточение. Денег опять не хватало, двухмиллионный доход из Нидерландов в королевскую казну не поступил, солдаты начали роптать. Чем жестче меры, тем решительнее становилось сопротивление. Казалось, все рушится, а герцог «был вне себя от ярости». Участились, причем в самые решающие моменты, приступы лихорадки, а из-за подагры он испытывал длительные боли.
Хотя Альба вновь просил об отставке, Филипп тянул с решением несколько месяцев. Наконец назначил преемника — герцога Медину-Сели, но напрасно Альба ждал его прибытия. В 1571 году он ежемесячно повторял свою просьбу, опять же напрасно, хотя ему казалось, что с середины года в письмах Филиппа сквозит недовольство его правлением.
Дело вновь затянулось, когда Мадридский двор выработал с неким Ридольфи план убийства английской королевы Елизаветы, и Ридольфи сам прибыл к герцогу с его изложением. Хотя папская анафема создавала правовую основу для этого, Альба не спешил давать согласие, поскольку считал Ридольфи непригодным, а английских соучастников под руководством герцога Норфолка неспособными. Он был против любого хода Испании, пока план не приведен в действие. Однако до этого не дошло, поскольку Елизавета получила сведения о заговоре и приказала арестовать Норфолка.
Теперь королю Филиппу хотелось больше всего, чтобы Альба со своим войском погрузился на суда и открыто напал на Англию. Однако герцог считал опасность поражения и его последствия для Испании слишком значительными. Возможно, он также недооценивал перспективы Англии на будущее, которые улучшались в той мере, в какой падало промышленное и финансовое значение Нидерландов. Альба гораздо больше заботился о том, чтобы поддерживать официальные отношения с Англией. Ему даже удалось уладить давний спор, возникший из-за испанских судов с деньгами, которые захватили англичане.
В сентябре 1571 года у герцога вновь случился тяжелый приступ подагры, и он опять напомнил о Медине-Сели. Однако тот не прибыл и через полгода. А герцога ожидало множество новых обязанностей. Он вел откровенную переписку о состоянии университетов и церкви во Фландрии с ученым-мыслителем Ариасом Монтано. Филипп постоянно пользовался его советами во внешнеполитических вопросах. Он также переписывался с доном Хуаном Австрийским, который был назначен главнокомандующим флотом против турок. Альба, очень обрадованный этим назначением, послал ему подробные советы, которые внесли вклад в великую победу на море у греческого побережья при Лепанто. Альба сходился с доном Хуаном во мнении, что, учитывая основательные резервы Османской империи и ненадежность собственных союзников, момент для нападения на столицу турок, которого все ждали, еще не пришел.
К политическим и военным обязанностям добавлялись и другие. Более месяца занял прием Анны, дочери Максимилиана II, когда она задержалась в Нидерландах по пути в Испанию для бракосочетания с Филиппом. Герцог надеялся сопровождать ее в Испанию и тем самым завершить свою деятельность. Вместо этого он получил приказ остаться, и Анну сопровождал его сын Фердинанд, так что герцог потерял свою самую надежную опору.