Часто капитан испытывал родственные чувства к своей сестре, миссис Ли, особенно когда мог получить от нее чек. Если он уезжал, миссис Байрон тосковала. Она находила отдушину в смешанном чувстве ненависти и любви к сыну, который напоминал ей мужа. Поэт вспоминал: «Моя мать, рассердившись на меня (и надо признаться, я давал ей для этого немало поводов), говорила: «Ах ты, щенок, ты настоящий Байрон, такой же дурной, как твой отец!» Но уже в следующее мгновение она покрывала его поцелуями.
Содержание миссис Байрон уменьшилось до 135 фунтов, потому что пришлось заплатить 300 фунтов – долг, который успел сделать ее супруг, находясь в Шотландии. И по-видимому, он вернулся туда еще в сентябре 1790 года, чтобы вытянуть очередную сотню фунтов из суммы, идущей от оплаты аренды поместья бабушкой миссис Байрон. Эти деньги были ему необходимы для возвращения во Францию. После этого его видели в Валансьене, в доме сестры, когда он волочился за служанками и актрисами. Жена и сын больше не увидели его.
Письма капитана Байрона к сестре похожи на те, что его ставший знаменитым сын впоследствии написал из Венеции, где вовсю развлекался на карнавале: «И в кого, ты думаешь, я влюблен? В новую актрису, приехавшую из Парижа. Наверное, я уже влюблялся в треть женского населения Валансьена, особенно меня очаровала девушка из «Красного орла», местного постоялого двора. Я как-то заглянул туда, потому что шел сильный дождь. Очень красивая и высокая, и мне все эти любовные дела еще не наскучили».
В отчаянии миссис Байрон настолько забыла гордость, что обратилась к миссис Ли с просьбой одолжить ей 40 фунтов, потому что ее имущество было описано кредиторами, «все из-за долгов, которые мне пришлось оплатить по вине его расточительности». По-видимому, миссис Ли была тронута этой жалобной просьбой, которая была прислана в конверте, запечатанном красным сургучом с девизом гордых Байронов. Но Джеку Байрону нужны были только деньги для удовлетворения своих прихотей. В письме к сестре 16 февраля 1791 года он высокомерно отзывался о своей супруге и лишь однажды упомянул о сыне: «Что касается миссис Байрон, я рад, что она пишет тебе. Когда находишься далеко от нее, она кажется приятной дамой, но я клянусь всеми апостолами, что ты не проживешь с ней и двух месяцев, потому что если кому и удалось притерпеться к ней, так это мне. Что до моего сына, я рад слышать, что он здоров. Но ходить он не может, потому что нога его искривлена».
Летом Джек Байрон погрузился в трясину распутства и долгов. Трагедия, виновником которой стал он сам, подошла к концу 2 августа 1791 года. Возможно, это было самоубийство. Он оставил завещание, иронично назначая Джорджа Гордона «наследником моего личного недвижимого имущества, ответственным за оплату моих долгов и похорон».
Когда миссис Байрон получила весть о смерти мужа, даже на улице были слышны ее рыдания. Она написала миссис Ли: «Не верю, что когда-нибудь смогу справиться с горем; необходимость, а не намеренное желание разлучило нас, по крайней мере с моей стороны, и я лелею надежду, что так же чувствовал себя мой муж. Невзирая на его слабости, которые не заслуживают худшего имени, я всегда искренее любила его». Мальчику было три с половиной года, когда умер его отец. Позже он говорил Томасу Медвину: «Я прекрасно помню его, и с раннего детства у меня появился страх перед семейными узами от вида домашних ссор».
Миссис Байрон потребовалось все мужество, чтобы продолжать жить и воспитывать сына на жалкий доход, оставшийся после смерти мужа. Она всю себя отдала воспитаню своего больного ребенка. В письме к миссис Ли в Лондон она просила «помочь достать специальную обувь для Джорджа». Позднее она более подробно поведала о физическом недостатке сына: «Правая нога Джорджа повернута вовнутрь, так что он при ходьбе опирается на ребро ступни».