Роберт покинул старый замок Рольфа в Руане и поселился в Фалезе. Несомненно, у нового герцога были неприятные ассоциации с залом Рольфа, где несчастный Ричард был так внезапно поражен смертельным недугом. Фалезский замок с его охотничьими угодьями, прекрасными лесами, чистыми реками и выгодным расположением раз и навсегда стал любимым жилищем Роберта.
Туда он привез свою жену Эстриту, сестру Кнуда, которая до этого была женой датского короля Ульфа. Там он жил и свободно общался со своей знатью, снисходительно относясь к подданным, с которыми зачастую был излишне фамильярен.
У него было достаточно шансов проявить свою доблесть. Однажды на Болдуина-старшего из Фландрии напала армия сына Болдуина Лисла. Несчастный граф был вынужден спасаться бегством и искать убежища в Фалезе. Любой повод для начала войны казался вполне допустимым в Нормандии, так как в стране было полно людей, а земля уже с трудом кормила их. Так что Роберт повел людей во Фландрию и проявил такую решительность, что больше подобных набегов не было. Фландрия оказалась в подчинении, как если бы платила по старым счетам. В конце концов все знатные люди, поддерживавшие вождя, покинули его, и все они, и молодой Болдуин в том числе, стали молить Роберта о мире. Впоследствии Фландрия и Нормандия стали дружественными странами и вскоре образовали мощный союз двух королевских домов.
Однажды прогуливаясь по Фалезу (возможно, в переодетом виде), любвеобильный Роберт заметил молодую девушку, которая, стоя босиком в неглубоком ручье, полоскала белье. Она весело смеялась в группе подруг, занятых тем же. Это была Арлетта, если называть ее по-саксонски, или, по-нормандски, Герлева. Ее отец — пивовар и кожевник, которого пригласили в Нормандию как хорошего мастера по изготовлению изделий из кожи и их продаже. Изобилие охотничьих угодий и пастбищ способствовало тому, что в дешевой коже недостатка не было. Однако торговля этим товаром считалась занятием унизительным, а профессия кожевника была одной из самых непрестижных. Если бы мы не были в этом уверены, то могли бы предполагать, что нормандская знать незаслуженно стыдила и упрекала этого человека (которого звали Фулбертом).
Влюбившись в Герлеву, герцог Роберт, казалось, совсем забыл о своей законной жене. Даже кожевник пытался возражать против увлечения герцога его дочерью. Но разве можно противостоять могуществу великого человека? Разумеется, Фулберт смирился с неизбежным с большим достоинством и впоследствии проявил себя верным вассалом и сторонником своего лорда и хозяина. Роберт, похоже, на всю жизнь сохранил чувство, охватившее его тогда, когда он впервые увидел прелестное стройное создание, повернувшее к нему смеющееся лицо. Вскоре на том месте, у ручья, где Роберт впервые увидел женщину, которая стала главной в его жизни, появился небольшой замок. Герцог не женился на ней, хотя Эстрите пришлось уехать. Однако у них родился сын, которого назвали Вильгельмом и который сам добавил к своему имени титулы "Великий" и "Завоеватель", что не избавило его от печальной участи до конца своих дней страдать от слухов о своем позорном и низком происхождении. Это было подло, как если бы в наши дни насмехались над человеком и упрекали его в бесчестье, которого тот не заслуживает. Однако из всех знаменитых людей, о незаконном рождении которых известно из истории, Вильгельм чаще других награждался оскорбительным титулом — "незаконнорожденный". Он добился большой славы, он был великим человеком своего времени. Однако в силу обид, зависти, предубеждений или, возможно, каких-то ошибок с его стороны его всегда обвиняли в позоре, который не был его позором. Незаконнорожденный! Внук кожевника! Ему никогда не позволяли забыть, что эти титулы также принадлежат ему, несмотря на героизм, военные успехи или укрепление нормандского господства.
Гордость нормандской знати была уязвлена позорным союзом Роберта с Герлевой. Все его родственники, которые имели хоть какие-то права на герцогскую корону, были вне себя от ярости. У Эстриты не было детей, и этот пухлый розовощекий малыш, который рос в доме кожевника, был заклятым врагом всех этих гордых лордов и джентльменов. Фалез был средоточием скандалов и насмешек. Сплетни о жизни Роберта переносились от деревни к деревне по Нормандии и Франции. Рядовые горожане смеялись в лицо баронам и придворным, когда те проходили по улицам Фалеза. Однажды один старый бюргер, живший по соседству с кожевником, предложил Вильгельму Талвасу, главе одного из самых знаменитых нормандских семейств, пойти с ним посмотреть на сына герцога. Лорд Алансона очень разозлился, когда всмотрелся в невинное детское лицо. Он почти явственно чувствовал те беды, которые обрушатся на его голову и которые таит в себе до поры эта энергичная молодая жизнь. И как ни проклинал он вновь и вновь наивного ребенка, его слова были лишь отголоском страха, который полз по Нормандии.