Примечательно, что, несмотря на такой разлад и осторожность Филиппа, влияние Альбы в эти годы было решающим. Ни к чьим советам Филипп не прислушивался в такой степени, как к советам герцога Альбы.
Впрочем, однажды Альбе пришлось попросить об отпуске. Он уехал в один из своих замков и, несмотря на просьбы Филиппа, вернулся лишь когда были удовлетворены его жалобы на королевского секретаря Эрасо, который поддерживал Эболи. Утверждали даже что из-за отсутствия Альбы застопорилось все управление. Однако это исключено, ибо, как бы ни было важно положение Альбы, Филипп никогда не позволил бы ему приобрести такое влияние.
Политика, которой следовал Филипп и вместе с ним Альба, как и все, что делал Фитипп, «который решил стать нерешительным», согласно старому габсбургскому рецепту, была направлена на выжидание. Со Священной Римской империей Испанию связывали родственные и дружеские узы, у них никогда не было причин для споров. Сам Альба больше не бывал в Германии после отречения Карла V. В Италии Милан, Неаполь и Сицилия находились под крепкой властью Испании. С Генуей и Венецией существовали дружеские отношения; с Папской областью больше не возникало новых политических конфликтов. Бывшего противника Альбы, Павла IV, статую которого римляне низвергли на следующий день после его смерти, сменил Пий IV, затем Пий V, и оба они поддерживали политику Испании.
С трудностями Альба сталкивался преимущественно в Западной Европе: во Франции, Англии и Нидерландах. Однако выхода из конфликтов этих трех стран с Испанией в области религиозных, экономических и национальных интересов Альба не находил. Особенно во Франции, раздираемой гражданской войной, испанские и французские интересы противоречили друг другу. По логике вещей, Альба должен бы поддерживать лотарингскую католическую партию семейства Гизов. Однако пока она была сильна и осуществляла экспансионистскую политику на средства Габсбургов, он должен был стремиться к ее ослаблению, даже если это означало усиление влияния для протестантско-гугенотской стороны под руководством адмирала Колиньи или для партии, руководимой молодым королем Карпом IX и его матерью Екатериной Медичи.
Только в 1564 году, когда казалось, что во Франции все силы находятся в упадке, испанцы смогли выработать целенаправленную политику. Чтобы проводить ее, было принято предложение французов о встрече Филиппа и Карла IX в присутствии королевы-матери Екатерины и ее дочери, испанской королевы Елизаветы. Ничего не характеризует положение герцога Альбы лучше, чем гот факт, что Филипп в последний момент решил не ехать сам, а послать вместо себя на эту встречу королей герцога.
О тайных переговорах, состоявшихся в 1565 году в Байонне, известно только то, что герцог Альба сообщил Филиппу. Точно известно, что встреча не принесла желаемых результатов. Екатерина и Альба были искусными дипломатами, но не политическими мыслителями. Герцог говорил о католической вере и той поддержке, которую она оказывала монархиям; королева говорила о браках и их преимуществах. Альба хотел урегулировать внутреннюю ситуацию во Франции, Екатерина вообще не хотела о ней говорить.
Французы отказались также от какого-либо обсуждения связи Франции с Турцией.
Когда участники встречи расстались, каждый из них был ошибочно убежден в глубоком впечатлении, произведенном им на другого. Хотя формально все было согласовано по желанию Альбы, однако большие усилия в действительности были потрачены зря. Даже если какие-то договоренности и были достигнуты, Екатерина их все равно не выполняла.
Так же мало успеха принесла и политика Альбы в отношении Англии. Красной нитью проходит английская проблема во всех расчетах Испании. Впрочем, воззрения Альбы на Англию отличались благоразумием. Как тогда, так и позднее, когда он правил в Нидерландах или Португалии, он отговаривал от предприятий, которые могли бы привести к конфликту с Англией. Но ни он, ни Филипп в эти первые годы после отречения императора Карла V не могли выработать четкой линии. Однако это становилось все более необходимым, поскольку интриги Англии оказывали все большее влияние на отношения Испании как с ее колониями, так и с Францией или Нидерландами.