В поисках утешения Роберт обратился к своему старшему брату Людовику и единственному взрослому, проявившему к нему доброту, — францисканскому монаху по имени Франциск ле Брюн, который был воспитателем детей с раннего детства и из сострадания сопровождал в Арагон, чтобы взять на себя заботу об их обучении. Франциск принадлежал к течению в францисканском братстве под названием спиритуалы — мистикам, которые относились к обету бедности гораздо серьезнее, чем остальные члены их ордена. После семи лет обучения у Франциска старший брат Роберта, Людовик, приобрел склонность к ночному возлежанию на холодном полу в пароксизме экстатической молитвы, был тайно пострижен в монахи и рукоположен в священники. Не будучи готовым зайти так далеко, Роберт сохранил привязанность к спиритуалам, которая пережила его арагонское заточение. Несомненно, что в тюрьме он выучил и латынь на которой так блестяще писал свои проповеди.
В 1295 году, с помощью папства, между Неаполем и Арагоном было достигнуто соглашение. Папа признал и короновал Карла Хромого королем Сицилии, и остров был официально возвращен под власть Анжуйской династии. Арагонскому королю Хайме II, потерю острова, компенсировали передачей двух других — Сардинии и Корсики. Чтобы закрепить сделку и предотвратить конфликты в будущем, была достигнута договоренность о двойном перекрестном браке: Хайме II должен был жениться на сестре Роберта Бланке, а старший брат Роберта Людовик — на сестре Хайме II Иоланде. После заключения этих двух браков заложники должны были быть освобождены.
Карл Хромой сам отправился сопровождать свою дочь Бланку в Испанию, где обнаружил, что, находясь в плену, Людовик дал обет безбрачия и развил в себе такое отвращение к женщинам, что не мог есть в их присутствии и даже не поцеловал свою мать после семилетней разлуки. Карл был вынужден в последнюю минуту внести изменения в брачные планы и с неохотой отправил Роберта к алтарю вместо старшего брата. Ничего не поделаешь, кто-то должен был жениться на Иоланде.
Роберт вернулся в Неаполь в компании отца, братьев и Иоланды. Их приезд был очень радостным, но за время отсутствия Роберта многое изменилось. Его младший брат Филипп, самый близкий к нему по возрасту, стал уже взрослым, и братьям пришлось заново знакомиться. Избежавший плена, Филипп успел произвести на отца впечатление как способный военачальник и государственный деятель, и в награду Карл одарил его титулом принца Тарентского и должностью генерального викария Сицилии. Филипп не был единственным братом, с которыми Роберту пришлось встретиться. За время его плена родители значительно расширили семью и теперь у Роберта было еще три новых брата и три новые сестры.
Не обошли семью стороной и трагедии. За полгода до возвращения Роберта от болезни умерли его старший брат Карл Мартел, наследник трона, и его жена Клеменция. По праву первородства, согласно которому наследство передавалось через первенца, старший сын Карла Мартела, Шаробер (Карл Роберт), после смерти своего отца, должен был быть признан новым кронпринцем Неаполя. Но осиротевшему Шароберу было всего семь лет, когда умер его отец, и Карл Хромой посчитал, что Неаполю нужен сильный взрослый человек для наследования трона. Сицилийцы же, с которыми не посоветовались во время переговоров между Неаполем и Арагоном, восстали против навязанных им условий и избрали своим королем младшего брата Хайме II, Федериго III. Федериго, уязвленный таким ударом по престижу старшего брата, принял эту честь, собрал армию и занялся укреплением своего положения на острове. Карл Хромой не для того вел два десятилетия кропотливых переговоров, чтобы отдать Сицилию новому претенденту из Арагонского дома. Вызов, брошенный Федериго III неаполитанской власти, должен был быть принят, и конечно же не семилетним ребенком.
Как второй сын, Людовик был естественным кандидатом на роль наследника своего отца, но тот будучи глубоко религиозным человеком не захотел этого делать. Карл приказал ему облачиться в роскошные одеяния из дорогих тканей, но Людовик предпочел носить простую белую монашескую рясу с капюшоном. Отец настаивал, чтобы он ездил верхом на коне, но францисканцы-спиритуалы должны были ходить пешком и обязательно босиком и Людовик не впадая в крайность выбрал себе в качестве средства передвижения не лошадь, а смирного мула. Когда Людовик категорически отказался есть с серебряных тарелок, которые использовались во время пиров, король Карл наконец сдался. На церемонии в Кастель-Нуово, в 1296 году, Людовик публично отказался от своих прав трон в пользу Роберта и вскоре после этого был принят в лоно Церкви. Чтобы убрать с дороги ставшего ненужным Шаробера, Карл передал ему права на королевство Венгрия, которые было частью приданого жены Карла, Марии, и отправил его подрастать и управлять своим новым королевством, выделив ему небольшую армию. Одобрение Папы узаконило то, что в противном случае могло быть расценено как беспринципная узурпация прав Шаробера, и таким образом Роберт, маленький метатель камней, стал наследником Неаполитанского трона.