Байрон быстро насытился этой шальной любовью. К тому же у него завязывался новый роман. Каролина потеряла самообладание и на балу у леди Хитеркот учинила скандал: разбитым стеклом (по другой версии — ножницами) порезала себе руки, заявив присутствующим, что ее покалечил Байрон. Наутро о происшествии заговорил весь Лондон. Это, однако, не помешало ей через некоторое время отправиться к нему в дом. Не застав поэта, она оставила записку. Байрон не вернулся к леди Каро, но написал эпиграмму, где спародировал записку. Чтобы отомстить, она написала роман «Гленарвон», герой которого, Байрон, наделен всеми мыслимыми и немыслимыми пороками. По настоянию родителей леди Каро уехала в Ирландию.
Им суждено было встретиться еще раз, спустя годы. Это случилось после тяжелой нервной болезни Каролины. Когда она стала приходить в себя, муж предложил прогуляться. Каролина ехала в коляске. Впереди верхом скакал муж, Вильям Лэм. По дороге им встретилась траурная процессия. На вопрос сэра Вильяма: «Кого хороните?» — сопровождающие ответили: «Лорда Байрона». Леди Каро не расслышала слов, а муж не рискнул их повторить. По другой версии, узнав, что хоронят Байрона, она потеряла сознание и выпала из коляски.
Новой любовницей Байрона после расставания с Каролиной стала леди Оксфорд. Но и ею он вскоре пренебрег. В последнюю минуту поэт отказался от совместного путешествия на Сицилию, потому что получил письмо от Августы, в котором та извещала о своем приезде. Они давно не виделись. Байрон знал о неудачном замужестве сестры из ее писем — сумбурных и длинных. Ей было двадцать семь лет. Она остро ощущала одиночество. Опеку и помощь предлагал ей только младший брат, все более занимавший ее мысли.
Августа приехала в Лондон, и с первого взгляда Байрон пленился ею — это было словно колдовство. Прежде никто из женщин не нравился ему так, как Августа, хотя она была вовсе не красавицей. Только внимательно приглядевшись, можно было оценить совершенные черты ее лица. Брату же нравился в ней байроновский профиль и байроновская легкая картавость. В Августе поэт видел не сестру, а женщину, которой присуще подлинно байроновское очарование. Он, самолюбивый, самовлюбленный, разглядел в прекрасном облике сестры свой собственный портрет.
Но особенно связывало их духовное родство. Внешне замкнутые, оставаясь вдвоем, они отбрасывали всякую скованность — говорили обо всем и над всем смеялись. Августа, обладавшая удивительным чувством юмора, умело подражала другим, и вместе они с удовольствием играли «в кого-нибудь». Она не слишком разбиралась в поэзии, не была интеллектуалкой, говорила так, как писала — сумбурно и туманно, забывая обсуждаемую тему.
Байрон, однако, любил ее болтовню, нежно называл «»своей гусыней» и великолепно развлекался в ее обществе. Кто-то из его биографов заметил, что в любви искал он радостной дружбы, выхода своей умственной энергии и родственных чувств. Он скоро понял, что это возможно именно с Августой. Поэт не устоял перед страшным соблазном, поддался ему. Моруа утверждает, что Байрону всегда было достаточно только подумать об опасной страсти, чтобы она начала его преследовать. Так случилось и на этот раз.
Было лето. Лондон потихоньку разъезжался на каникулы. Августа, будучи фрейлиной королевы, жила в Сен-Джеймском дворце, что, кажется, льстило ее брату. Вместе они бывали на балах и приемах, вместе ходили в театры, все более сближаясь и сильнее очаровываясь друг другом. В доме Байрона на Беннет-стрит жила лишь старая экономка. Байрон мог свободно принимать Августу. Трудно придумать более подходящие условия для бурного романа.
Августа простилась с ним в начале сентября. Она возвращалась домой беременной. Молодая женщина, уже родившая троих детей и, несмотря ни на что, любившая своего мужа, хорошо понимала двусмысленность собственного положения. Теперь, размышляя о случившемся, она осознавала, что никогда не сумела бы отказать ни в одной просьбе «бэби Байрону», ни в одном его капризе. Брат же утверждал, что она отдалась ему скорее из сочувствия, чем из страсти.
После отъезда Августы ему было одиноко, хотя вскоре должен был наступить «светский сезон». Ничто не тянуло его на балы, на встречи или театральные премьеры. Он охотно воспользовался приглашением своего приятеля по Кембриджу, Джеймса Виддебурна Вебстера, и уехал в его имение Астон-Холл. И там за четыре ночи написал поэму «Невеста из Абидоса» о преступной любви сестры и брата.