Летом Саутвелл показался Байрону более приятным. С помощью семьи Пигот он сошелся с другими жителями города, включая молодых леди, которые жаждали познакомиться с ним. Несмотря на все попытки быть терпимым, Байрону не удавалось справиться с приступами бешенства своей матери. «В детстве она испортила меня, – писал Байрон Августе, – а теперь переменилась: по любому пустяку она устраивает страшный скандал, и все разговоры с ней кончаются ссорой, когда речь заходит о предмете моего искреннего и постоянного презрения, лорде Грее де Рютине. Как-то она обронила такую странную фразу, что я подумал, уж не влюбилась ли вдова в лорда».
В любую свободную минуту Байрон приходил к семье Пигот. Элизабет участливо относилась к мальчику, хотя и без особого интереса. С ней не приходилось изображать пылкого поклонника и можно было быть искренним и откровенным. Они обменивались книгами и писали другу чуть хвалебные и чуть романтические стихи. В их отношениях преобладала нежность, смешанная с кокетством. И все же Байрона не оставляли мучительные мысли о Мэри Чаворт. По всей видимости, он опять возвращался в Ансли и тайно встречался с ней. Позже он говорил Медвину: «Я был серьезен, а она капризна. Она любила меня как младшего брата, смеялась надо мной и обращалась со мной как с мальчишкой». Они расстались на холме неподалеку от Ансли, который он так поэтично описал в стихотворении «Сон» («…увенчан диадемой деревьев»). Мэри собиралась замуж, и ее мысли были далеко. Отчаяние и душевная боль чуть не свели Байрона с ума. Когда мать, уязвленная колкими замечаниями насчет лорда Грея, сказала, что его детская любовь Мэри Дафф вышла замуж, у него начался припадок.
Разочарования юности привели к зарождению цинизма, которым прекрывалось уязвленное самолюбие. Выразив сочувствие Августе по поводу ее горя (ее дядя генерал Ли возражал против ее брака с его сыном), Байрон добавил: «И все-таки прости меня, дорогая сестра, мне немного смешно, потому что любовь, по моему скромному мнению, полная чушь, смесь романтики, обмена любезностями и обмана…»
Байрон был рад осенью опять вернуться в Хэрроу. Получив отказ от девушки, столь безумно любимой им, он стал искать любви и признания у своих школьных друзей. Им он не казался неловким и неизящным, неспособным польстить сердцу молодой капризной дамы. Его отношения с друзьями не омрачались женским тщеславием и ужимками. Итак, Байрон привык к обществу мальчиков, моложе его, особенно подобных лорду Клэру и лорду Делавару, чья красивая внешность удовлетворяла его тягу к прекрасному, которая подогревалась в нем в женском обществе. Если здесь и присутствовал элемент полового влечения, то он сам об этом не подозревал и после случая с лордом Греем считал это отвратительным и вполне довольствовался нежной дружбой.
Если в Хэрроу Байрон не отдавал себе отчета в подоплеке близких отношений с друзьями, то, возможно, понял это в Кембридже и позже – во время первого путешествия в Грецию. Несомненно одно: если проследить весь жизненный путь Байрона, то можно увидеть, что влечение к юношам сохранилось в нем на всю жизнь. Однако, по-видимому, он не ощущал стыда и вины за слишком близкие отношения с друзьями в Хэрроу. Хобхаус, который знал эту склонность Байрона, написал на полях страницы, где Мур превратно истолковывал отношения поэта с друзьями: «Мур ничего не знает или не говорит о главной причине такого поведения Байрона». Любовь Байрона к женщинам полностью удовлетворяла его духовные потребности на всем протяжении его жизни. Об этом было давно известно. И эти факты многое могут объяснить в характере Байрона и пролить свет на его взаимоотношения с мужчинами и женщинами. Многие друзья замечали в натуре Байрона женственность. 7 июля 1827 года Мур записал в своем дневнике: «Вечером говорили с Д. Киннэрдом о Байроне. В его характере много женского: нежность, темперамент, капризы, тщеславие. Чантри отмечал нежные, чувственные черты нижней части его лица и твердые, мужественные – верхней».
Байрон был знаком с трудами философов-скептиков и деистов XVIII века и, обладая своевольным и независимым характером, часто выражал неординарные воззрения, которые шокировали его друзей, привыкших мыслить стандартно. В Хэрроу он как-то сказал Медвину: «Я подрался с лордом Калторпом из-за того, что он под моим именем написал: «Проклятый атеист».