Однако под чутким руководством своей няни Агнес Грей Байрон узнал и полюбил поэзию библейских псалмов. С ней же, а потом с ее сестрой Мэй он целиком прочитал некоторые книги Библии. «Я не устаю восхищаться этими священными книгами, – писал он впоследствии Джону Меррею, – и до того, как мне исполнилось восемь лет, успел прочитать их от корки до корки, в особенности Ветхий Завет, который я прочитал с удовольствием. Новый Завет оказался для меня сложен».
История Каина и Авеля рано завладела его воображением. В возрасте восьми лет он с восторгом читал «Смерть Авеля» Гесснера. Странная мысль, что он рожден для зла, еще более окрепла после прочтения готического романа Джона Мура «Зелуко», чей герой-злодей, ненавидевший все человечество, по велению Рока совершал злодеяния помимо своей воли.
Несомненно, Байрону удалось преодолеть излишнюю чувствительность по поводу своего физического недостатка, потому что он не только часто упоминал о своей хромоте, но и начал принимать участие в играх и бегать. Бравируя этим недостатком и желая подчеркнуть свою схожесть с другим мальчиком, страдавшим от подобного недуга, он говорил: «Посмотрите-ка, по Броуд-стрит ковыляют два косолапых мальчика».
Когда Байрон научился на равных общаться со своими одноклассниками, мать начала постоянно твердить ему о его превосходстве не только в качестве потомка Гордонов, но и как наследника пэров Байронов. Когда кто-то из гостей, желая польстить, сказал, что в будущем надеется читать речи Байрона в палате общин, мальчик гордо ответил: «Нет, если вы и будете читать мои речи, то это будут речи в палате лордов».
Сохранилось свидетельство о по крайней мере одном визите к прабабушке Байрона, Маргарет Дафф Гордон, в Банфе, вероятно во время летних каникул 1795 года, когда миссис Байрон заказала портрет сына художнику Джону Кею из Эдинбурга. В скромном ангельском личике семилетнего ребенка с вьющимися волосами до плеч, изображенного с луком и стрелами, невозможно распознать избалованного и проказливого мальчика.
Возможно, в том же году Байрон впервые встретил свою кузину Мэри Дафф. Годы спустя он напишет в своем дневнике: «Я помню все, что мы сказали друг другу, все наши проявления нежности, ее лицо, свое беспокойство, бессонные ночи, помню, как изводил служанку матери, чтобы она написала Мэри письмо от моего имени… Естественно, тогда я не имел никакого представления об интимных отношениях, и все же мои страдания и любовь к этой девочке были настолько сильны, что порой я начинаю сомневаться, был ли я настолько к кому-нибудь привязан в зрелые годы…»
В 1795-м или 1796 году Байрон провел каникулы в долине реки Ди в сорока милях от Абердина, рядом с Брэмаром. Живописная долина Ди располагала к прогулкам, а вдалеке открывался вид на Морвен и Локна-Гар. Именно там Байрон влюбился в шотландские горы и долины. Он носил национальный наряд клана Гордонов из темно-синей шерстяной ткани в светло-зеленую с желтым клетку. Если не считать одной вспышки гнева, мать относилась к Байрону хорошо и не стесняла его свободы. У него была возможность упражняться в плавании в реках Ди и Дон. Впоследствии плавание, где хромота не была помехой, стало его любимым видом спорта.
Из Англии пришло известие, что пятый лорд Байрон скончался. Произошло это вскоре после десятого дня рождения мальчика. На следующий день ему сообщили, что теперь он шестой лорд Байрон Рочдейльский, после чего он спросил у матери, «заметила ли она происшедшие с ним перемены, потому что он сам не заметил никаких». Смущение он испытал в школе, когда директор прислал за ним, дал ему пирог и вино и сказал, что теперь он лорд. Позже Байрон рассказывал своему другу Хобхаусу, что «угощение и почтительное обращение к нему директора дали ему почувствовать всю высоту его теперешнего положения». Когда в классе без предупреждения произносили его новый титул «Dominus de Вуron» и все в молчании глядели на него, мальчик разражался слезами.
Лондонский агент миссис Байрон, мистер Фаркухар, попросил своего друга Джона Хэнсона с Чэнсери-Лейн заняться ее делами. После переговоров с душеприказчиком старого лорда Хэнсон понял, что миссис Байрон напрасно надеется получать от поместья ежегодный доход в 2000 фунтов: после уплаты всех долгов не на что будет даже похоронить старого лорда. Он умер 21 мая, но только в августе Байроны смогли закончить все дела в Шотландии и начать новую жизнь в Англии. Они смогли переехать туда только благодаря тому, что миссис Байрон продала свою мебель, выручив 74 фунта 17 шиллингов.