Мальчик с самого раннего детства очень болензненно относился к своей хромоте, возможно, потому, что часто мать в раздражении напоминала ему об этом, так же как и окружающие. Чужая няня, встретившая мальчика с Агнес Грей на прогулке, заметила: «Какой красивый ребенок! Жаль, что у него такая нога». Глаза Байрона вспыхнули от гнева, он ударил ее своим маленьким хлыстиком и крикнул: «Не смей так говорить!»
Миссис Байрон оказалась в состоянии обставить квартиру на первом этаже дома по Броуд-стрит, 64, в престижном районе в самом центре молодого города, и шла на любые жертвы, лишь бы ее сын ни в чем не нуждался, насколько этого позволяли их скудные средства. Крайне отрывочные и смутные сообщения о ранних годах жизни Байрона оставляют впечатление, что его мать била его каминными щипцами или разбивала о его голову тарелки. Однако эти семейные сцены больше свойственны бурной юности Байрона в Англии. В детстве Джордж был любящим сыном, хотя и отличался шаловливым, чувствительным и крайне мнительным нравом.
Необычному сочетанию аристократической гордости и либеральных воззрений Байрон обязан матери. Позднее он писал Джону Меррею: «Моя мать (с ее сатанинской гордостью по поводу восхождения рода Гордонов к Стюартам) постоянно подчеркивала превосходство Гордонов над англичанами Байронами». С другой стороны, она сочувствовала Французской революции. В 1792 году она написала миссис Ли: «Полагаю, что наши взгляды резко отличаются, потому что я разделяю воззрения демократов и не думаю, что следует возрождать монархию после всех предательств и клятвопреступлений, совершенных королем».
Сама обстановка, окружавшая Байрона в его ранние отроческие годы, проведенные в Абердине, обусловила его приверженность взглядам шотландцев среднего класса, с которыми он постоянно встречался на улицах, а потом и в школе. Миссис Байрон ощущала себя бедной родственницей, хотя и была связана кровными узами с лучшими семьями в северных графствах.
В первой школе, где учился Байрон, не было ничего аристократического. На узкой улочке, известной под названием Лонг-Эйке, неподалеку от их дома на Броуд-стрит, мистер Джон Боуэрс держал смешанную школу для среднего класса, расположенную в мрачном, похожем на склад доме с плохо освещенными комнатами, низким потолком и пыльным полом. Именно здесь маленький мальчик в красной курточке и нанковых брюках провел бесцельно весь год с щеголем Боуэрсом. Вспоминая об Абердине, Байрон напишет: «Я ничему не научился в этой школе, кроме как повторять односложные высказывания, вроде «Бог создал человека, возлюбим же его», узнавая их на слух и не имея понятия о буквах». В течение следующего года под руководством более опытного преподавателя он научился читать и начал изучать латынь по «Грамматике» Раддимана.
В 1794 году, когда Байрону было шесть лет, произошло событие, которое в корне изменило всю его дальнейшую жизнь. Внук «Жестокого лорда» Байрона был убит на Корсике пушечным ядром, и Джордж Гордон стал наследником титула и земель своих предков. Миссис Байрон опять стала гордо поглядывать на окружающих и более уверенно наносить визиты своим влиятельным родственникам.
Позже маленький Джордж посещал Абердинскую среднюю школу в Скулхилле, неподалеку от Броуд-стрит. Низкое одноэтажное серое каменное здание, вмещавшее 150 мальчиков, было построено в 1757 году. Единственным предметом, изучавшимся в школе, была латынь, которую преподносили традиционным методом, что делало все уроки смертельно скучной рутиной. Джордж Бэйрон Гордон (а именно в таком виде его имя было внесено в школьные списки, возможно, чтобы передать произношение абердинцев) не прилагал больших усилий для изучения латыни и оставался посредственным учеником, хотя в четвертом классе поднялся на пятое место по успеваемости среди двадцати семи учеников. Дополнительно он изучал правописание в школе мистера Дункана.
Байрон начал читать до того, как пошел в среднюю школу. Он вспоминал: «Ноллс, Кантемир, Де Тотт, леди М.В. Монтагю, переводы Хокинсом «Турецкой истории» Минье, «Арабские сказки», путешествия, книги по истории Востока, которые только можно найти, а также Рико были прочитаны мною тогда, когда мне не исполнилось еще и десяти лет». «Турецкая история» Ноллса, по его словам, «была одной из первых книг, из всех прочитанных мною в детстве, которая доставила мне истинное наслаждение, и, наверное, оказала влияние на мое последующее желание увидеть Восток и придала восточный колорит моей поэзии». Наравне с книгами по восточной истории, пишет Байрон, «я предпочитал историю морского флота, «Дон Кихота» и романы Смолетта, особенно же Родерика Рэндома, а также питал особенное пристрастие к римской истории. В детстве я не мог читать стихи, не испытывая при этом неохоты и отвращения».