Но поражение не сломило его. Возможно, Бадия превратился в мусульманина только внешне, поскольку, как и все жители Ориента, стал фаталистом: все идет так, как должно быть. Его же интересовало то, что будет. По очень запутанному маршруту через Триполи, Кипр, Александрию и Розетту он прибывает (в ноябре 1806 года) в Каир, где его принимали с огромным почитанием, но многие удивлялись, что сириец говорит... с магрибским акцентом. Али-бей объяснил это из-за долгой учебой у испанцев - да поразит Аллах всех этих неверных собак! - и пребыванием в Марокко. Объяснение было принято, и необыкновенно набожный Али-бей направился в Мекку и прибыл туда в ночь с 22 на 23 января 1807 года, что позволило ему украсить "родовое" имя гордым дополнением Эль Хадж (Паломник). Таким образом Бадия Кастильо и Леблих стал, по-видимому, первым европейцем и христианином, которому удалось коснуться Черного Камня Каабы. Опять-таки, если бы его раскрыли, то, согласно обычаю, забили бы камнями. Близость подобного рода опасностей для таких как он людей была приправой, без которой жизнь пресна.
Возвратившись в Каир, Бадия узнал, что в Константинополе янычары свергли с трона султана-франкофила Селима III. Он понял, что французы уже начинают терять влияние на Востоке, и догадался, что те будут стараться восстановить его любой ценой, а для этого им понадобятся тайные агенты... Не задумываясь ни на минуту, он помчался через Дамаск, Константинополь и Бухарест в Париж и предложил свои услуги Наполеону. Но тут его встретило неприятное разочарование. Бадия был уверен, что это он - ас в своей деятельности, а к тому же еще и "мусульманский аристократ" - будет ставить условия. Тем временем, император удостоил его всего лишь нескольких фраз (во время встречи в Байонне), а французская разведка хитроумно выудила от него марокканскую переписку с Годоем и приказала ожидать. Им не хотелось вовлекать в свои дела нестойкого интригана, но не хотелось и того, чтобы "безработный" предложил свои услуги, скажем, англичанам. Ему обещали подготовку какой-то интересной миссии "в подходящий момент", а временно именовали (1810 год) префектом Кордовы, не давая сбежать, хотя и не совсем. В это время Бадия имел какую-то связь с остатками британских коммандос, которые в 1806 году пытались похитить Наполеона в Пруссии (операция "Шахматист") и сейчас осуждались собственными работодателями. Бадия помогал им в этой личной конспиративной деятельности под именем "Калиф".
В 1815 году, после падения Наполеона, Бадия представил новым французским властям "Мемориал о колонизации Африки", предлагая в том числе и установление на одном из восточных тронов какого-нибудь "до совершенства мусульманизированного европейца" (из подтекста следовало, что во всей Европе имеется только один такой гений), Предложение-химера была принята с холодком, и ему вновь приказали ждать. Ждал вплоть до 1817 года, когда было принято решение сделать из него агента на Востоке. 18 января 1818 года он отправился в Африку, на сей раз уже не как Али-бей эль Аббаси, но Хадж Али Абу Отман. Целью его миссии, скорее всего, было склонить к Франции повелителя Египта, Мехмеда Али, и разорвать контакты англичан с Вагабитами.
В Дамаске он высадился в последних числах июля, уже больной дизентерией. Тут им занялся французский консул в этом городе, Шабосо, который по образованию был врачом. Но с того времени здоровье испанца уже никогда не поправилось. Слишком много людей интересовалось его здоровьем, в том числе и англичане. Может потому-то Хадж Али предпринял (несмотря на протесты Шабосо) второе за свою жизнь паломничество в Меккку, зная, что никакой англичанин не сможет пересечь в погоне за ним врат священного города. Он хотел насмеяться над противником, исчезая у него с глаз. Но только это враги посмеялись над ним - до Мекки он не добрался.