Каковы бы ни были лучшие черты королевского характера и его прежние цели по отношению к своим королевству и герцогству, по мере того как он становился старше, его репутация ухудшалась. Должно быть, управление людьми стало казаться ему неблагодарным занятием, и он все меньше беспокоился о том, чтобы смягчать суровость своих вассалов. Его взаимоотношения с домочадцами всегда были островком света в его суровой тяжелой жизни, но со временем даже любимая жена Матильда перестала оказывать ему поддержку и огорчала его, защищая их беспокойного сына Роберта, который был ее любимцем. Роберт и его мать правили Нормандией, когда он был еще ребенком, а его отец находился в Англии. Они, похоже, впоследствии всегда были союзниками, даже когда Роберт вырос и потребовал прав на Нормандию, что разозлило его отца. Немедленный отказ привел отпрыска в такое бешенство, что он стал объезжать королевские дворы Европы, жалуясь на проявленную несправедливость. Он увлекался музыкой и танцами, тратил уйму денег, которые королева всегда готова была высылать ему. У него был дар нравиться, хотя на большее он был неспособен.
Впоследствии Вильгельм обнаружил, что существует тайный посланник, который доставляет запрещенные передачи строптивому принцу. К счастью, гонцу удалось укрыться в монастыре по соседству. Он облачился в соответствующую одежду и, можно надеяться, искренне принял монашеский обет. Вот что рассказывает Ордерик Виталий о встрече, состоявшейся между королем и королевой: "Кто же в мире, — вздыхал король, — может надеяться найти верную и преданную жену? Женщина, которую я любил всей душой и которой доверял королевство и сокровища, поддерживает моих врагов, обогащает их моей собственностью, тайно вооружает их против моей чести, возможно, желая погубить меня". Матильда отвечала: "Не удивляйся, умоляю тебя, потому что я люблю моего первенца. Будь Роберт мертв и окажись он в могиле на глубине семи футов под землей, если моя кровь могла бы вернуть его к жизни, она бы потекла к нему. Как я могу наслаждаться роскошью, в то время как сын испытывает нужду? В моем сердце нет жестокости! Ты не властен заглушить любовь материнского сердца". Хроникеры уверяют, что король не наказал королеву, а между тем Роберт ссорился с братьями и выказывал открытое неповиновение отцу. Тем не менее он всегда встречал сочувствие со стороны матери.
Вскоре обнаружилось, что король Франции готов, из зависти к могуществу Вильгельма, поддержать его сына. Роберт укрылся в одном из замков Франции и при каждом удобном случае совершал разорительные вылазки в Нормандию. Во время одного из таких набегов Вильгельм напал на него. Отец и сын сражались друг против друга, не зная об этом, до тех пор пока король не был сброшен с лошади, в чем Роберт впоследствии публично покаялся. Спустя какое-то время (когда вступились бароны), уступив мольбам и стенаниям Матильды, Вильгельм согласился на примирение. Он даже сделал сына своим наместником в Нормандии и Бретани.
В 1083 году королева умерла, и не нашлось никого, кто сказал бы хоть слово против ее благоразумия, добродетелей или набожности. Не было лучшей женщины ни в одной монастырской келье Нормандии, чем эта, которая несла тяжкое бремя нормандской короны и закончила печальную миссию правления покоренным народом так хорошо, как только могла. Жалко было смотреть, как король переносит горе. Вдобавок ко всему, вскоре в Новом лесу был убит их второй сын Ричард. Это место стало местом несчастий королевского двора. Затем последовала другая неприятность, которая затронула не только королевские чувства, она вызвала отчаянный гнев.
Вильгельм был добр ко всем родственникам со стороны матери, особенно к своему сводному брату Одо, епископу Байе. Он оказал ему много почестей и задолго до рассматриваемых событий пожаловал титул вице-короля Англии. Однако даже этого оказалось недостаточно для честолюбивого священнослужителя. Под предлогом сбора налогов (нет сомнения, он ссылался на скупость и алчность короля) он организовал процветающую систему поборов. Вскоре обнаружилось, что у него были амбиции занять папский престол в Риме и что он использовал деньги для подкупа кардиналов и завоевания доверия итальянской знати. Он купил дворец в Риме, роскошно обставил его и начал снаряжать флот, груженный сокровищами, на остров Уайт. Однажды, когда корабли были почти готовы к отплытию, а группа джентльменов, участвующих в предприятии, спокойно ожидала на берегу, внезапно появился Вильгельм. Король сурово отчитал собравшихся. Он говорил о неверности Одо, несмотря на полное доверие, которое ему всегда оказывалось, об угнетении им Англии, об обирании церквей и конфискации их земель, сокровищ и о том, что он добился, чтобы эти рыцари отправились вместе с ним в Рим, — эти воины, которые поклялись отражать нападения врагов на королевство!