Следующий сэр Джон Байрон, верный, хотя и не очень удачливый командующий войсками Карла I, 24 октября 1643 года стал бароном Байроном Рочдейльским в графстве Ланкастер. Этот лорд Байрон потерял большую часть своего состояния в гражданской войне и последовал в ссылку за Карлом II. В награду за усердную службу король сделал его рогоносцем, поскольку Пепис пишет, что вторая жена лорда Элеонора была семнадцатой любовницей Карла II. Его старший брат Ричард унаследовал титул и выкупил аббатство, конфискованное парламентом.
Уильям, пятый лорд, поступил служить на флот, но потом вышел в отставку и вернулся в Ньюстед, где приобрел скандальную славу благодаря своему весьма неординарному образу жизни. В Лондоне он успел заслужить репутацию повесы. В Ньюстеде он построил небольшой замок на берегу одного из озер, который, по слухам, стал местом, где происходили небывалые вакханалии. Он также построил две укрепленные крепости на берегах озера и устраивал между ними бутафорские бои на маленьких военных кораблях. Его прозвали «Жестокий лорд Байрон» после того, как он убил своего родственника и соседа Уильяма Чаворта на дуэли в лондонском клубе в 1765 году после пьяной ссоры; предметом спора был вопрос: как лучше всего сохранять дичь? Уильям был оправдан пэрами в палате лордов и вернулся в аббатство. В порыве мрачной мизантропии после побега его сына с бедной кузиной старый лорд вырубил в лесах поместья все древние дубы и убил двести семьдесят оленей, туши которых потом продал на рынке.
Брат «Жестокого лорда» Байрона Джон, дед поэта, был не менее колоритной фигурой, хотя и отличался относительной мягкостью нрава. В 1740 году, в возрасте семнадцати лет, он поступил на флот гардемарином. Кораблекрушение, голод и тяготы, подстерегавшие его во время путешествия по Южным морям, были описаны им в «Повествовании», опубликованном в 1768 году. В 1748 году он женился на своей кузине Софии Треваньон, давней близкой подруге миссис Трейл и любимице доктора Сэмуэля Джонсона. До того как Байрону даровали титул вице-адмирала в 1778 году, он повидал так много штормов, что его прозвали «Джек Дурная Погода». Его многочисленные любовные приключения давали богатую пищу для пикантных историй на страницах бульварных газет. Но еще до смерти старого адмирала в 1786 году его старший сын («Безумный Джек») настолько превзошел своего отца по части амурных похождений, скандалов и расточительности, что бывший моряк лишил его наследства.
Отец поэта, родившийся в Плимуте 7 февраля 1756 года, посещал Вестминстерскую школу и французскую военную академию, где изучил язык и вошел во вкус «приятного времяпровождения и мотовства», став притчей во языцех. Некоторое время он служил в британской армии в Америке по назначению гвардии. Но к 1778 году он, по-видимому, отказался от чина капитан-лейтенанта и вернулся в Лондон, чтобы вести жизнь светского человека. В том же году красивый капитан сбежал с утонченной изящной леди Кармартен, женой мистера Фрэнесиса, маркиза, а впоследствии пятого герцога Лидса. Она была единственной дочерью покойного графа Холдернесса, который оставил ей поместье, приносящее 4000 фунтов в год, очень соблазнительный доход, поскольку доходы капитана, а также терпение его семьи порядком истощились. После того как леди Кармартен развелась с маркизом, они поженились и уехали во Францию, чтобы избежать скандала и встреч с кредиторами капитана.
Вполне вероятно, что бесшабашный Байрон был по-своему верен богатой наследнице, потому что они прожили во Франции до самой ее смерти 26 января 1784 года. Она родила ему троих детей, двое из которых умерли в младенчестве, а выжила только последняя дочь, Августа, единокровная сестра поэта, которая родилась в 1783 году. Позднее поэт так ответил на обвинение, предъявленное его отцу, в том, что «бессердечное поведение» последнего причинило его жене много горя и свело ее в могилу: «Помимо своей бессердечности, он, согласно свидетельствам тех, кто знал его, отличался еще добродушием и веселым нравом, однако был беспечен и развращен… Отнюдь не из-за своего «бессердечия» молодой офицер гвардии соблазнил и увез маркизу, женился на двух наследницах. Верно и то, что он был очень красивым мужчиной, что говорит само за себя».