В следующем году он жил с семьей Паркинс в Ноттингеме, где за его здоровьем наблюдал Лавендер, врач, называвший себя хирургом, который пытался выпрямить изуродованную ногу мальчика, натирая ее маслом и засовывая ее в специальную колодку, причинявшую пациенту страшную боль. Матери Байрона он написал письмо, из которого ясно видно, насколько серьезно относился врач к своим обязанностям по отношению к молодому лорду. Он предложил, чтобы мистер Роджерс, домашний учитель молодых мисс Паркинс, каждый вечер приходил к Байрону. «…Если вы не одобрите мой план, то можете повесить на меня клеймо болвана, чего я не в силах буду вынести». Даммер Роджерс занимался обучением молодого лорда несколько месяцев, познакомив его с трудами Вергилия и Цицерона.
На каникулах и в свободное время Байрон приезжал в Ньюстед, чтобы играть роль важного вельможи. Пистолеты пятого лорда Байрона завораживали его. Мальчик подражал своему предку, обучаясь стрельбе (привычка, которой он не изменял всю жизнь), и постоянно носил в карманах пальто заряженное оружие.
Хэнсон убедил родственника Байрона, графа Карлайла, стать опекуном мальчика. Во время следующего визита в поместье летом 1799 года адвокат понял, что необходимо разлучить избалованного, но многообещающего ребенка с матерью и поместить его в среду, сочетающую доброжелательность с дисциплиной, где он сможет получить более последовательное образование. Было очевидно, что Лавендер просто-напросто мучил ребенка без всякой пользы. Важнее всего было отправить его в Лондон, где его ногу бы осмотрели профессиональные хирурги. Когда адвокат покинул поместье в начале июля, Байрон уехал с ним. В Лондон взяли и Мэй Грей, чтобы она следила за регулярным бинтованием ноги ребенка.
Байрон впервые увидел Лондон, если не считать воспоминаний младенчества, 12 июля, когда экипаж проехал через Старый Бромптон к дому Хэнсонов на Эрл-Корт в Кенсингтоне. На следующий день Хэнсон встретился с лордом Карлайлом и доктором Джеймсом Бэйли по поводу ноги Байрона. Бэйли произвел тщательный осмотр и рекомендовал им мистера Шелдрейка, который занимался изготовлением специальных приспособлений для выправления деформированных конечностей, однако впоследствии они отказались от его услуг, изготовив взамен специальный ботинок.
Хэнсон знал, что миссис Байрон понадобится помощь, чтобы дать сыну подобающее образование, и они совместно составили петицию королю, которую должен был поддержать лорд Карлайл. 24 августа 1799 года герцог Портленд ответил, что мистер Питт получил указание выделить семье Байрон ежегодное содержание в сумме 300 фунтов из цивильного листа. Хэнсон также устроил, чтобы Байрон начал учиться в маленькой школе в Далвике, которой руководил шотландец, доктор Гленни.
Мэй Грей отправили в Ньюстед, и Хэнсон просил миссис Байрон уволить девушку. Он сказал, что в Ноттингеме она «постоянно била его (Байрона), так что у него иногда болело все тело, и приводила в дом различных знакомых самого гнусного происхождения и вида». Однако Хэнсон кое-что утаил. После смерти Байрона он говорил Хобхаусу: «Когда Байрону было девять лет, в доме матери девушка-шотландка приходила к нему в постель и проделывала с ним различные вещи». Сам Байрон, очевидно, вспоминал именно об этом периоде своего детства, когда в 1821 году в «Отдельных воспоминаниях» писал: «Страсти во мне проснулись очень рано, так рано, что мне никто не поверит, если я скажу и опишу все подробности». Если в то время Байрону было девять лет, то, по-видимому, все началось в Шотландии и продолжалось некоторое время, пока он не рассказал Хэнсону. Вероятно, Мэй Грей нанесла ему не физическую, а психологическую травму. Разочарование, постигшее его, когда он увидел, как она раздает свои ласки другим после их близости, могло вызвать приступ ревности, побудивший мальчика все рассказать Хэнсону. Это приключение с якобы набожной девушкой, которая научила его читать Библию, могло стать дополнительной травмой и отчасти вызвать его постоянную ненависть, направленнную против лицемерия и ханжества верующих.
Дисциплина в Далвике была не слишком строгой. Байрон нашел хороших друзей и спал в кабинете самого мистера Гленни, где получил доступ к его библиотеке. Однако он намного отставал от других мальчиков в знании латинской грамматики, без чего невозможно было обучение в английской школе. Все рождественские каникулы он проводил с детьми Хэнсона на Эрл-Корт. Он полюбил этот дом, где его любили и восхищались им и стар и млад. Хэнсон с женой отправились в аббатство, и миссис Байрон приехала с ними в Лондон, где сняла квартиру на Слоун-Террас. Вскоре она стала так докучать лорду Карлайлу, что он отказался иметь с ней дело. Ее неотесанность и буйный нрав привели к тому, что ее нахождение в Лондоне стало настоящим наказанием для сына и обузой для лорда Карлайла, доктора Гленни и Хэнсона.