В 1765 году в Лондоне, в таверне на Пэлл-Мэлл состоялась встреча ноттингемширских сквайров и знати, многие из которых были связаны родственными узами. Злобный Лорд и его кузен Уильям Чаворт затеяли спор о том, как лучше подвешивать дичь; взаимное ожесточение зашло столь далеко, что мужчины перешли в верхнюю комнату, где при свете единственной свечи Злобный Лорд проткнул шпагой живот своего оппонента. После недолгого заключения в Тауэре за убийство он был помилован его друзьями пэрами и освобожден после уплаты скромного штрафа. Злобный Лорд возвратился в Ньюстед и становился все более несносным; жена покинула его. Он обрюхатил одну из служанок, которая называла себя леди Бетти. Его сын и наследник Уильям должен был жениться также на наследнице, но вместо этого сбежал со своей двоюродной сестрой. В отместку Злобный Лорд велел вырубить большую дубовую рощу, а две тысячи оленей, обитавших в его лесах, были зарезаны и проданы на мэнсфилдском рынке за гроши. В последнем приступе мстительности он заложил свои права на угольные шахты в Рочдейле, лишив дохода всех будущих наследников. И все же Байрон гордился благородством своего происхождения, забывая добавить, что многие из его родни были скотами и проходимцами, по временам впадавшими в помешательство и, как выразился Томас Мур, постоянно страдавшими от «вторжения в их жизнь финансовых затруднений».
В августе, когда Шальной Джек не вернулся, чтобы дополнить семейный портрет, Кэтрин с маленьким сыном отправилась в почтовой карете в Абердин, где ей вновь пришлось снимать комнаты над магазином. Ее муж появлялся время от времени лишь для того, чтобы тянуть деньги из женщины, чей доход теперь уменьшился до 150 фунтов в год. Отвратительные скандалы, которые сопровождали его появление и которые, как утверждает Байрон, он помнил, не оставили у ребенка, по его собственному выражению, «вкуса к семейной жизни».
В Абердине жизнь матери и ребенка была спартанской и довольно неспокойной. Кэтрин, склонная к крайностям, переходила от неуемной любви к приступам гнева; сын, с его необузданным нравом, платил ей той же монетой. Соседи рассказывали, что миссис Байрон нередко бранила сына, называла его «хромуша», а через пять минут утешала поцелуями. Он со своей стороны развлекался тем, что во время церковной службы втыкал булавки в пухлые руки матери. Он не желал подчиняться. В шотландском пледе сине-зеленых тонов — цвета Гордонов — Байрон разъезжал на пони с хлыстом в руках и, если кто-то смеялся над его хромотой, пускал хлыст в ход и приговаривал: «Не смей так говорить!»
Шальной Джек писал из Франции сестре, которая была и его любовницей, умоляя ее «приехать ради Христа», так как у него нет ни крова, ни прислуги, а питаться приходится объедками. В августе 1791 года в Валансьене он умер от чахотки, продиктовав двум нотариусам завещание, в котором оставлял своего трехлетнего сына ответственным за его долги и расходы на похороны. Кэтрин ухитрилась их оплатить, заняв более тысячи фунтов под наследство, которое должна была получить после смерти своей бабки. Когда она узнала о смерти мужа, ее вопли были слышны по всей Брод-стрит: глубина ее скорби «граничила с помрачением рассудка». В довольно напыщенном письме, адресованном золовке, к которой она обращалась «моя дорогая сударыня», Кэтрин, описав свою безмерную печаль, попросила прядь волос покойного мужа в память о том времени, когда она и ее «милый Джонни» любили друг друга.
В пять с половиной лет Байрон стал настолько неуправляем, что Кэтрин отдала его в школу в надежде, что там мальчика приучат к послушанию. Отчуждение в семье, скандалы, обращение «хромое отродье» в устах матери, частые наказания — все это оставило столь глубокий след в его памяти, что много лет спустя в драме Байрона «Преображенный урод» мать называет сына, горбуна Арнольда, демоном и ночным кошмаром, когда тот молит ее не убивать свое дитя из ненависти к его отталкивающей внешности.