Байрон был готов покинуть дом своих предков, где его постигло горькое разочарование, но в ноябре приехал лорд Грей, снова вернув аббатству былое притяжение. Грей был испорченным юношей на восемь лет старше Байрона. Больше всего его интересовало оружие, и в лунные ночи они с Байроном ходили стрелять фазанов. Байрон провел в аббатстве все каникулы, но еще до того, как ему исполнилось шестнадцать, случилось нечто непредвиденное, и он уехал из Ньюстеда с твердым намерением больше никогда не видеться с лордом Греем. Хотя он никогда подробно не рассказывал об этом случае, однако намеков было достаточно, чтобы понять, что пресыщенный лорд Грей попытался перейти грань обычной дружбы, что отвратило его молодого спутника. На полях экземпляра «Жизни» Мура Хобхаус сделал пометку: «…в их отношениях произошло нечто, что впоследствии наложило отпечаток на моральные воззрения Байрона».
В конце января Байрон вернулся в Хэрроу. К школе его привязывали лишь старые и новые друзья. Он даже отказался вернуться в Саутвелл на пасхальные каникулы. В единокровной сестре Августе он нашел верного друга. «Надеюсь, ты не припишешь мое пренебрежение стремлению к обожанию, – писал он, – это скорее застенчивость – неотъемлемое свойство моего характера. Ты самое близкое мне в мире существо, с которым меня связывают родство и искренняя привязанность». Чем шире становилась пропасть между ним и матерью, тем сильнее он привязывался к Августе. В следующем году его чувства к ней отразились в письмах. «Я не примирился с лордом Греем и никогда этого не сделаю, – признавался он, – причины прекращения нашей дружбы я не могу назвать даже тебе, моя дорогая сестра… Однако они достаточно веские, потому что хотя я и страстен по натуре, но не прерываю связи по глупой прихоти».
От скуки Саутвелла Байрона спасла встреча с семьей Пигот, жившей по соседству. Элизабет Пигот, девушка старше его на несколько лет, впервые увидела его на празднике, устроенном ее матерью, где его приходилось упрашивать принять участие в играх, потому что сам он был слишком застенчив. Элизабет он запомнился «толстым застенчивым мальчиком с гладко зачесанными волосами». Но когда он пришел к ним на следующий день, Элизабет удалось растормошить его и заставить чувствовать себя как дома.
Однако на следующий день он уехал в Хэрроу. В письме к матери звучит небывалое для него честолюбие: «…передо мной лежит путь к богатству и славе. Я поднимусь на вершины успеха или погибну в этой борьбе». Всем было ясно, на каком поприще он хочет удовлетворить свои честолюбивые стремления. Он мечтал стать оратором в парламенте. Во время лондонских каникул он влюбился в театр, особенно в монологи знаменитых актеров, и даже ходил в палату общин, чтобы послушать выступления политических деятелей. В своих самых смелых мечтах он видел себя последователем Берка и Шеридана. В Хэрроу его теперь интересовали только публичные выступления. Он так упорно готовился к ним, что заслужил похвалу доктора Друри, который, как Байрон вспоминал потом, «свято верил, что я стану прославленным оратором, если судить по моему голосу, жестам, яркой декламации, страстности и плавности речи».
«До последнего года я ненавидел Хэрроу, но потом мне тут стало даже нравиться», – писал Байрон в 1821 году. Он жадно читал и был полон самых разных мечтаний. Его знания «были так широки и многообразны, что возбуждали подозрение, будто я собирал информацию только из рецензий, потому что за книгой меня никто не видел, ведь я всегда был беззаботным и проказливым. Правда состоит в том, что я читал за едой, читал в постели, читал тогда, когда никто больше не читает; с пяти лет я прочитал множество самых разных книг».
Вероятно, Байрон, как доктор Джонсон, «выхватывал из книг самую суть». В кембриджском дневнике он набросал список книг, прочитанных им до пятнадцати лет. Он упоминает «Исповедь» Руссо, жизнеописания Кромвеля, Карла XII, Екатерины II, Ньютона и дюжины других; книги по юриспруденции Блэкстона и Монтескье; книги по философии Пэйли, Локка, Бэкона, Хьюма, Беркли, Драммонда, Битти и Болинброка («Гоббса я терпеть не могу»); поэзию – упоминает «всех британских классиках и большинство современных поэтов, Скотта, Саути и других, некоторых французских поэтов в оригинале, из которых Сид мой самый любимый; немного из итальянской поэзии, бесчисленное количество стихов греческих и римских поэтов; по богословию – Блэра, Портея, Тиллотсона, Хукера – очень утомительно». В 1803 году он открыл для себя поэзию Александра Поупа, которая оказала большое влияние на его литературные вкусы. Байрон пишет, что прочитал около четырех тысяч романов, включая произведения Сервантеса, Филдинга, Смоллетта, Ричардсона, Генри Макензи, Стерна, Рабле и Руссо. Прочитав после смерти Байрона этот внушительный список, его друг Хобхаус написал: «Я склонен верить словам лорда Байрона о том, что он прочитал все эти книги, но точно могу сказать, что он никогда впоследствии не давал понять, какими знаниями владеет».