Кроме того, в 797 году — спустя всего лишь четыре года после набега ал-Хакама и во время создания Испанской марки — Карл отправил посольство и к халифу. В него входили трое мирян: Лантфрид, Сигизмунд, и иудей Исаак. Согласно документу из монастыря Райхенау под названием «Чудо святого Генезия» («Miracula sancti Genesii»), они отправились на Восток вместе с двумя священниками, посланными Гебхардом, графом Тревизанским, имея поручение привезти из Святой земли мощи святых Генезия и Евгения.
В июне 801 года император, находившийся тогда в Павии и всего двумя месяцами ранее встретившийся с посланцами иерусалимского патриарха, получил известие о том, что в порт города Пизы прибыли послы халифа: это была миссия, посланная в ответ на императорскую. Действительно, в Пизе высадились представитель халифа и посланник эмира города ал-Аббасии (ныне Фустат в Тунисе). Они сообщили императору, что Исаак, единственный из трех посланников, который остался в живых, находился на пути в Европу и вез дары Повелителя правоверных, но был вынужден задержаться на африканском берегу, так как один из даров был довольно громоздким.
За Исааком отправили несколько кораблей, и в октябре следующего года он высадился в городе Портовенере, везя с собой, кроме всего прочего, тот самый дар, который император ждал с таким нетерпением: слона Абу л-Аббаса. Но Карл к тому времени уже вернулся в Ахен, и никто не решился вынуждать животное предпринимать зимой путешествие через Альпы. Поэтому императору пришлось ждать до июля 802 года, прежде чем увидеть слона — животное, о котором так много рассказывали римские хроники, но которое уже много веков не видели на Западе. К сожалению, Абу л-Аббас не смог долго переносить суровый для него климат прирейнских областей, будучи родом из жаркой Индии (прирученных слонов доставляли в Персию именно оттуда). Он умер в июне 810 года. Его смерть глубоко опечалила императора, который привязался к слону, и вызвала живое любопытство у народа: все хотели увидеть, как скелет животного, согласно поверью, превратится в слоновую кость.
Вполне возможно, что Харун, помимо слона, передал Карлу права (пусть даже всего лишь символические) на Гроб Господень в Иерусалиме: очевидно, это было сделано для того, чтобы поколебать традиционный контроль византийских императоров над христианскими святынями. Возможно также — но об этом арабские источники молчат, — что настоящим предметом переговоров между двумя правителями была Испания. Менее вероятно, что на них обсуждались экономические вопросы. Первосортные шерстяные ткани, посланные Карлом Харуну, все же не могли ослепить своим великолепием багдадский двор; а многочисленные мусульманские товары и монеты, которые, если верить Теодульфу Орлеанскому, в 812 году встречались в южной Галлии, где находился такой крупный порт, как Марсель, все же не являются доказательством налаженных связей с Востоком — еще и потому, что прибывавшие туда мусульманские товары, за исключением жемчуга, были, скорее всего, иберийского или североафриканского происхождения. Как бы то ни было, в 807 году Карл еще раз встречался с послами халифа. В том же году он принял и послов патриарха Иерусалимского.
Обеспокоенный дипломатическими связями между Ахеном и Багдадом, а также постоянными волнениями внутри своего государства, которые затронули даже Кордову и Толедо, омейядский эмир ал-Хакам (796–822) смирился с тем, что граница с королевством франков сместилась до самой реки Эбро. Последовал целый ряд соглашений между ним и Карлом (810–812). Но смуты в мусульманской Испании не прекращались: восстание 814 года в Кордове удалось подавить только ценой кровавых репрессий, задействовав для этого эмирскую гвардию — солдатов-рабов, называемых «мамлюками» (от арабского мамлюк — «находящийся во власти кого-либо», «раб»). Не лучше обстояли дела и при следующем эмире Абд ар-Рахмане II (822–852), которому пришлось усмирять восстания в Толедо и Мериде. Он же предпринял безуспешную попытку отвоевать Барселону: неумелый ход, который благодаря своевременному ответу герцога Бернарда Септиманского произвел совсем неожиданный эффект — а именно, укрепил зарождающееся чувство национального самосознания у каталонцев.