Роберт был слишком смел в своем полном пренебрежении общественным мнением, и не проходит много времени, как старый кожевник сбрасывает свою одежду, подобно личинке, сбрасывающей кокон, и предстает во всем великолепии, в сверкающем наряде придворного гофмейстера. Герлева заняла место герцогини, что было противозаконно и настолько оскорбило гордость знатных дам и джентльменов, что никакие великодушие и щедрость Роберта не могли противостоять этому. Нравы в то время были достаточно свободными, но общественное мнение требовало соблюдения законов и этикета. Весь аристократический двор потомков Рольфа, вся доблесть, образованность и религиозность Нормандии были оскорблены в мгновение ока. Недовольство нарастало, пока дядя герцога, архиепископ Руана, не призвал племянника к ответу за этот грех и за оскорбление родственников. В конце концов он отлучил Роберта от церкви и предал анафеме всю Нормандию.
Каким-то образом этот конфликт был все-таки улажен, и именно тогда Роберта призвали погасить уже упомянутую ссору во Фландрии и поддержать права французского короля. Успех в этом предприятии добавил к его владениям район Ваксен, расположенный между Нормандией и Францией. В результате нормандское герцогство расширило свои границы до самых стен Парижа. Вскоре другие важные вопросы увели в сторону общественное обсуждение. На то, чтобы спровоцировать вспышку гнева герцога, не оставалось времени. И уже никто не обращал особого внимания ни на досадное присутствие Герлевы в замке герцога, ни на неуместное, по мнению обывателей, благополучное развитие и процветание ее сына.
Спустя какое-то время герцог Роберт объявил о своем намерении совершить паломничество в Иерусалим. Он стремился продемонстрировать свою набожность и как можно больше поднять авторитет, так что это долгое путешествие необходимо было совершить пешком. Бароны умоляли его не делать этого, поскольку при таких неспокойных взаимоотношениях между Нормандией и Францией ничто не было бы более опрометчивым шагом, чем оставить герцогство без хозяина. "Поверьте мне, — решительно возражал Роберт, — я вовсе не собираюсь оставлять вас без господина. Вот мой молодой сын, который вырастет и с божьей помощью продемонстрирует свою доблесть. Я приказываю вам признать его своим лордом, поскольку я объявляю его наследником и отдаю ему все герцогство Нормандия".
Роберт, герцог Нормандии, совершает паломничество в Иерусалим
В совете воцарилась гробовая тишина, и как бы ни ругали Роберта за глупые эгоистичные поступки, в тот момент, когда он упрашивал рыцарей и епископов признать своим наследником невинного ребенка, нельзя не проникнуться жалостью и состраданием к бедному отцу. Нам жаль герцога, когда его естественное чувство к своему ребенку всякий раз наталкивается на неприятие. Используя все свои красноречие и авторитет, он умоляет исполненных презрения слушателей до тех пор, пока они не уступают. Они предупредили его об опасностях того времени, о том, что может произойти за время его отсутствия в предоставленном своей участи герцогстве, о возможных провокациях его врагов, возмущенных самим фактом существования внебрачного сына. Однако у Роберта хватает смелости настоять на своем, оставив незаконнорожденного сына во главе герцогства в качестве преемника. Он даже отправляется к королю Франции и убеждает того признать недостойного тезку Лонгсворда своим вассалом и следующим герцогом. Он также встречается с Аланом из Бретани, который соглашается быть опекуном. Наконец недовольные бароны присягают на верность маленькому лорду. Как мучительно далось им это снисходительное повиновение!
После того как все формальности были завершены, Роберт, не теряя времени, отправился в путь. Он стремился к святыням Иерусалима, отделенного от него утомительными милями пути, горами и болотами, всевозможными опасностями. Он демонстрировал свое покаяние особенным образом: называл свой путь приятным путешествием, потому что, хотя и шел пешком, тратил огромные суммы, раздавая милостыню людям, которые выходили приветствовать его. Впереди ехали герольды, которые готовили ему помещение для ночлега и обеспечивали прием. По мере продвижения к цели огромная процессия лошадей, конюхов, навьюченных мулов становилась все длиннее. Однажды они перекрыли ворота города, и смотритель, не зная, кто перед ним, набросился на герцога, задав ему хорошую взбучку, чтобы заставить процессию поспешить. Роберт остановил своих спутников, которые уже собирались поколотить стражника, и сказал, что весьма полезно показать себя смиренным и терпеливым и что подобные страдания очищают душу.