Дружба Байрона с графом Клэром, которому было тогда всего лишь одиннадцать лет, началась именно в тот год и длилась всю жизнь в ореоле романтического идеала. Байрон писал: «Моя дружба была очень страстной, но вряд ли я вспоминаю сейчас о ком-нибудь из друзей. Однако знакомство с лордом Клэром началось раньше и длилось дольше всего…»
23 июня 1803 года Байрон написал матери: «Сегодня меня перевели в старший класс, и мои отношения с доктором Друри наладились». Директор начал ценить характер Байрона. Он говорил лорду Карлайлу: «Он талантлив, ваше сиятельство, что прибавляет еще больше блеска его титулу». Ответ опекуна был краток: «Вы правы!»
Адвокату Хэнсону наконец удалось сдать Ньюстед в аренду на пять лет лорду Грею де Рютину, молодому двадцатитрехлетнему человеку, за 50 фунтов в год. Миссис Байрон переехала в дом под названием «Бергидж Мэнор» в Саутвелле недалеко от Ноттингема. Когда Байрон вернулся на летние каникулы, то увидел красивый трехэтажный деревянный дом с небольшим садом. Он располагался в сонном маленьком городке, где жило не больше трех тысяч человек, в конце главной улицы перед зеленой лужайкой. Здесь Байрону показалось скучно по сравнению с Лондоном и Хэрроу. Через несколько дней он отправился в Ньюстед, где поселился вместе со смотрителем Оуэном Мили.
Молодому лорду пришелся по душе Ансли-Холл, где жила его кузина Мэри Чаворт, ставшая к тому времени прелестной девушкой во всем обаянии юности. Иронический ум Байрона забавлял ее, а его явственное восхищение льстило девушке, которая, впрочем, была равнодушна к нему, поскольку была уже помолвлена с Джоном Мастерсом, молодым сквайром с элегантными манерами, увлекающимся охотой на лисиц.
Байрон каждый день приезжал к Мэри из Ньюстеда и вскоре безумно влюбился в нее. Ничем не компрометируя себя, Мэри вела себя дружелюбно и даже кокетливо. «Случайные» поцелуи и прикосновения идеализировались в мыслях влюбленного юноши, на чувственность которого уже оказывали влияние нежные и сентиментальные стихи Томаса Мура. «Когда мне было пятнадцать лет, – вспоминал Байрон, – я переплывал реку в лодке в скалистом месте под Дербиширом. В этой лодке могли уместиться только два человека. Течение несло лодку под скалы. В лодке со мной была М. Ч., в которую я был давно влюблен, но не говорил об этом, и все же она узнала сама».
В середине сентября он был настолько влюблен, что и слышать не хотел о возвращении в Хэрроу, несмотря на просьбы матери. Когда Хэнсон по просьбе Друри спросил о причине, то получил ответ от отчаявшейся миссис Байрон: «Я не могу заставить его вернуться в школу, хотя последние шесть недель сделала все, что в моих силах. У него нет других известных мне причин, только любовь, безумная любовь, худшая из всех болезней. Короче говоря, мальчик влюблен в мисс Чаворт, и со дня приезда в графство он не был со мной и трех недель, все время проводя в Ансли». Но терпеливая мать, памятуя о своем увлечении отцом Байрона, сдалась и позволила сыну остаться до следующих каникул.
Однако в скором времени юный влюбленный стал беспокойным и угрюмым, поняв, что «она вздыхает не о нем». Хмурый мальчик наскучил Мэри, и она не принимала его всерьез. Он часто сидел, задумавшись, лениво играя со своим носовым платком, часами стрелял в деревянную дверь террасы. Несмотря на красивое лицо, склонность к полноте делала его просто неуклюжим школьником. Разрядка наступила однажды вечером, когда он услышал или кто-то сказал ему, что Мэри говорила служанке: «Что! Неужели я стану обращать внимание на хромого мальчишку!» В гневе он выбежал из дому и вскоре вернулся в Ньюстед. Однако мысли о Мэри Чаворт не оставляли его. Позднее он говорил Томасу Медвину: «Она была идеалом красоты моей юности; и все мечты о небесной натуре женщин я почерпнул из того обожания, которым мое воображение окружило Мэри. Я говорю «воображение», потому что в действительности я отнюдь не считал ее, да и всех других представительниц женского пола, ангелами».