Бавария была аннексирована Карлом с меньшими трудностями и немного раньше, чем Саксония. Тассилон, последний герцог Баварии из династии Агилольфингов, получил герцогство в 748 году из рук Пипина III, которому принес клятву верности, но так ни разу и не появился ни на одном ежегодном собрании и не принял участия ни в одной из кампаний Пипина, а затем Карла. Под давлением короля Тассилон принес еще одну присягу в 781 году, а затем и в 787 году, но во второй раз он дал клятву, только когда войско франков приблизилось к границе Баварии. На сейме 788 года он был осужден по подозрению в заговоре с аварами. Жизнь ему сохранили, но отправили в монастырь, а Бавария была разделена между франкскими графами. В IX веке баварцы стали основной силой, поддерживавшей восточнофранкскую монархию, а Регенсбург стал главной резиденцией Людовика Немецкого. Одновременно с Баварией Карл получил беспокойных соседей в лице аваров, которые кочевали по венгерским степям с 568 года. В 791 году он совершил набег на их западные земли, лежавшие между реками Энс и Раба. Укрепленный лагерь (ринг) аварского хана был разграблен в 795 году маркграфом Эриком Фриульским и полностью уничтожен Пипином, вторым сыном Карла, в 796 году. После этого события авары послали в Ахен нескольких своих предводителей, которые заключили мир с императором и приняли христианство. На епископа Арна из Зальцбурга была возложена задача обратить аваров в христианство. В 805 году хан, почувствовав угрозу безопасности для своих племен со стороны славян, принял христианскую веру и признал императора своим покровителем.
Более успешной, но менее значительной в историческом масштабе, чем экспансия франков на востоке, была кампания, во время которой Карл со своей армией воевал с арабами на севере Испании. В 778 году Карл сам командовал экспедицией против Сарагоссы. Она окончилась неудачей, так как Карл не получил ожидаемой поддержки от восставших эмиров. Во время отступления через Пиренеи арьергард франков был уничтожен, но не арабами, а басками — христианами из Памплоны, у которых он вызвал праведный гнев, разрушив стены их города. Эйнгард, биограф Карла, считает это событие незначительным, но судьба маркграфа Роланда, префекта Бретонской марки, который пал в Ронсевальском ущелье с другими известными воинами (15 августа 778 года), вошла в легенды и песни. Чтобы восстановить отношения с испанскими христианами, Карл встал на их сторону во время спора по вопросу адоптианства, когда они признали архиепископа Толедо еретиком. Карл хотел провести границу Франкского государства на южном склоне Пиренеев как внешнее укрепление городов Нарбонна и Септимании. И он преуспел. В 801 году сыном Карла Людовиком была захвачена Барселона. В этом ему помогал граф Вильгельм Тулузский, герой, чье имя, подобно имени Роланда, увековечено в средневековом эпосе. В 807 году Памплона признала покровительство Карла и стала вторым бастионом Испанской марки, пограничной области государства Карла, и защищала подход к Пиренеям как с запада, так и с востока.
Лишь три раза в период с 774 по 799 год Карл возвращался в Италию. В каждом случае основной его целью было укрепление влияния над Ломбардским королевством. В 775 году он подавил восстание в Ломбардии, в котором герцоги Фриуля и Сполето получали поддержку от их соотечественника, независимого правителя Беневенто. Ротгауд Фриульский был лишен герцогства, а Хильдебранд из Сполето, который пользовался покровительством Папы, в 775 году дал клятву феодальной зависимости королю. В 780 и 787 годах Карл пересек Альпы, чтобы доказать свое превосходство над Беневенто. Это стремление он не сумел реализовать до конца. Во время второго визита в Италию он убедил Папу Адриана короновать его сыновей, Пипина и Людовика, королями Италии и Аквитании. Тевтонские земли оставались за самим Карлом и его старшим сыном и наследником. Такой шаг императора говорит о том, что дела в Италии не занимали первое место в его планах и расчетах. Важно заметить, что даже после того, как он стал императором, он продолжал придерживаться плана 780 года. В этом же году, находясь еще в Италии, он принял предложение византийской императрицы Ирины выдать его старшую дочь Ротруду за сына и подопечного Ирины, юного Константина VI. Но Карл расторг это соглашение в 787 году, возможно, потому, что Ирина и ее сын в этом же году призвали VII Вселенский Собор в Никее возродить иконопочитание в Греческой церкви и обратились к Латинской церкви проводить такую политику, которую Карл и франкские священнослужители считали верхом предрассудков и абсурда. Папа Адриан, чьи легаты участвовали в Никейском соборе, согласился с таким решением, но его мнение было проигнорировано королем. В 794 году Карл созвал собор Франкской церкви во Франкфурте, который заклеймил поклонение иконам (идолам). На собрании присутствовали посланники Папы и представители Итальянской, Испанской и Английской церквей. Аргументы, которыми оперировали Карл и его советники, перечислены в Libri Carolini (Книге Каролингов), четырех трактатах, написанных в период с 789 по 791 год по приказу короля и опубликованных от его имени. Неизвестно, руководствовался ли Карл религиозным пылом или желанием дискредитировать Византийскую империю — в Libri Carolini решительно оспаривают право Константина VI быть законным наследником Римской империи, — но у нас нет доказательств того, что Карл стремился в то время сам занять это место. Возможно, долгая борьба за искоренение сакского язычества явилась причиной того, что Карл и Франкская церковь с таким жаром участвовали в этом споре. Непоправимого разрыва с Византийской империей не произошло, а в 798 году Ирина отправила послов в Ахен, чтобы сообщить Карлу о том, что Константин VI свергнут с престола и она признана преемницей своего сына. Среди Франкских священнослужителей бытовало мнение, что с Константином поступили бесчестно, а женщина неспособна управлять империей. У нас нет оснований предполагать, что послам Ирины не был оказан радушный прием, однако в 800 году Карл позволил Папе Льву III короновать себя императором Римской империи.