В то время как Папа стремился связать юного короля вассальной зависимостью и по возможности отдалить от управления (в 1202 году он организовал помолвку с дочерью короля Арагона, также папского ленника), канцлер использовал свое положение, чтобы обогатить себя и свою родню. Уже через двадцать лет сказочное богатство норманнских королей было разбазарено. Такому развитию событий немало поспособствовало то, что Марквард смог в 1201 году захватить и Палермо, и Фридриха Роджера. После его смерти в 1202 году добыча попала в руки таких искателей приключений, как рыцари Вильгельм Каппароне и Дипольд фон Швайншпойнт, чьим преемником в 1207 году снова стал канцлер Вальтер.
Упрямые германские оккупанты должны были сильно досаждать Папе. Когда предводительствуемое его легатами наемное войско ничего не смогло сделать против них, он воспользовался помощью, предложенной с другой стороны. Зять последнего незаконного норманнского короля Танкреда, французский граф, в качестве наследства требовал графства Лечче и Тарент, и когда он пообещал направить своих рыцарей против немцев, то Иннокентий взял его под свою опеку. Сицилийские сарацины, и прежде всего разбойничьи горные племена, попали под влияние противника также легко, как и бароны, а в остальном продолжали обогащаться при каждом удобном случае.
В конце концов к этой борьбе «всех против всех» присоединились еще два итальянских приморских города: пизанцы ради привилегий в торговле по традиции поддержали немцев, а генуэзцы выступили против них.
В этом политическом хаосе Фридрих (второе имя Роджер было вскоре забыто) с четвертого по седьмой год жизни рос в относительной безопасности, но с началом правления Маркварда для него начался период неопределенности и материальной нужды.
К этому времени относятся первые описания внешности и характера Фридриха, в котором рано начала угадываться выдающаяся личность. Когда Марквард фон Аннвайлер занял крепость в Палермо, некоторые из его солдат захотели «наглядно» растолковать семилетнему королю, что попытка бежать бессмысленна. Однако тот, чрезвычайно разгневанный открытым неуважением к своему «величеству» защищался, как маленькая кошка, а потом разорвал свою одежду, как пленник, и расцарапал сам себя. Правда о настоящем плене речь не шла. В течение следующих лет юный король блуждал по улицам и переулкам «своей резиденции», как уличный мальчишка, свободный и одновременно под бдительным надзором. Богатые граждане часто из жалости спасали его от голода. Необходимо отметить, что его чудесное знание языков, его ранняя уверенность в общении с различными людьми и острый взгляд на вещи формировались в эти годы. Канцлер Вальтер фон Палеария был крайне удивлен развитием своего «подопечного», когда в год перед совершеннолетием Фридриха (наступившим по норманнским законам в четырнадцатилетнем возрасте) он снова смог приехать в крепость Палермо. Приблизительно в это время было написано письмо, чей неизвестный автор, вероятно, описывает своему знакомому из окружения папского опекунского совета Фридриха, снова живущего довольно обеспеченно: «Фигуру короля ты можешь представить себе соответственно его возрасту, не меньше и не больше. Но природа наделила его выносливыми, сильными членами и крепким телом. Никогда не сидит на месте, весь день в движении. Чтобы проверить свою силу упражнениями, он тренируется и умеет обращаться уже со всеми видами оружия. Вот оружие в его руке, вот он взмахивает мечом, которым владеет лучше всего... Натягивать лук и попадать в цель копьем он выучился благодаря долгим тренировкам. Отборные, быстрые скакуны – его друзья. Никто не сравниться с королем во владении уздой и шпорами. Весь день до наступления ночи он упражняется то с одним, то с другим оружием, а также посвящает еще несколько часов чтению и трудам по истории.
Его поведение выдает королевское происхождение, а выражение лица и властная величественность явно принадлежат повелителю. Его высокий лоб и добрые блестящие глаза притягивают взоры гостей, люди ищут его взгляда. Пламенный, остроумный и понятливый, он ведет себя несколько неблагопристойно, но это исходит не из его натуры, а скорее является следствием общения с грубыми людьми. Меж тем его королевские манеры и благая склонность к доброте постепенно избавят его от всего дурного. Во всяком случае, он не переносит указаний и во всем полагается на собственную голову. Насколько можно видеть, ему кажется позором то, что он обязан подчиняться опекуну и быть мальчишкой, а не королем. Поэтому он всячески избегает любого надзора со стороны опекуна и часто переходит границы того, что подобает королю (отчего, конечно, весьма страдает его репутация).