Каролина стала любовницей Байрона, причем весьма настырной и ревнивой. Она устраивала для него приемы, писала ему письма и сама доставляла их на дом, переодетая пажом или кучером. Вскоре «леди Каро» наскучила поэту, он хотел ее бросить, но это оказалось делом трудным. Потеряв самообладание, она учинила громкий скандал своему возлюбленному, разбила окно и осколками стекла порезала себе руки, заявив присутствующим (а все это происходило на балу), что ее покалечил Байрон. Кстати, об их шумном романе был снят в конце XX века в Великобритании фильм под названием «Леди Каролина Лэмб». Заглавную героиню сыграла Сара Майлз.
Роман леди Каро с Байроном длился семь с половиной месяцев: с 25 марта по 9 ноября 1812 года. Рассказывают, что они встретились много лет спустя. Каролина Лэмб была уже старой и ехала с мужем в экипаже, навстречу им повстречалась траурная процессия. На вопрос мужа Каролины: «Чьи это похороны?» — ему ответили: «Лорда Байрона». Леди Каро не расслышала этих слов, а муж не рискнул их повторить.
Но это произошло много лет спустя. А тогда, после кровавой сцены, имевшей шумный общественный резонанс, Байрону пришлось спешно уехать в Оксфорд, где его утешительницей стала Джейн Элизабет Скотт, 40-летняя жена графа Харли.
В июле 1813 года произошло то, что назревало давно: 25-летний Байрон и 21-летняя Аугуста вступили в кровосмесительную связь. Джордж с детства старался опекать Аугустину и всегда нежно к ней относился. «Помни о том, дорогая сестра, что ты самый близкий мне человек… на свете, не только благодаря узам крови, но и узам чувства».
Платоническая любовь перешла в сексуальные отношения. Позднее Байрон утверждал, что Аугуста отдалась ему скорее из сочувствия, чем из страсти. Для него сестра являлась страшным соблазном, который долго его искушал. Знаток человеческих душ Андре Моруа считает, что Байрону всегда достаточно было только подумать об опасной страсти, чтобы она начала его преследовать. А как заметил кто-то из великих, чтобы избавиться от искушения, надо ему поддаться. И поэт поддался.
Положение сложилось крайне двусмысленное и запутанное. Аугуста была замужем и имела троих детей, а тут еще и «дитя греха»: она родила от Байрона дочь Медору. Продолжать отношения было чрезвычайно опасно, и они в конечном счете расстались. Байрон дарит Аугусте свой портрет, а она в ответ прядь своих волос и письменное признание на французском:
Само собой разумеется, тайну их отношений скрыть не удалось. Как отмечает один из биографов поэта, Байрон никогда не хотел и не умел скрывать свои дела, считая справедливым их судьей только себя. Атмосфера вокруг светского нарушителя морали сгущалась, и тот наконец понял, что стоит перед выбором — либо уехать из Англии, либо жениться и коренным образом изменить жизнь. Женитьба была бы для него сумасшествием, но именно поэтому ему подходила… Его избранницей стала Анабелла Мильбанк. Казалось бы, все прекрасно: молода, хороша собой и богата. К тому же наивна. Анабеллу увлекали больше математика и метафизика, чем сплетни и пересуды вокруг мужа.
Но… ничего хорошего из этого брака не вышло. Байрон не только не любил свою супругу, но и дурно с ней обращался. Жизнь превратилась в кошмар для обоих. Не исправило положения и рождение дочери Ады. Все это происходило еще до разрыва с Аугустой. Отношения брата с сестрой вскоре стали известны Анабелле. Будучи созданием весьма кротким, она была готова примириться с жизнью втроем, но и это не сохранило мира в их семье. «Я была близка к сумасшествию, — писала Анабелла, — но, чтобы не допустить чувства мести, вычеканила в себе другое чувство — романтического прощения».
Все кончилось разводом и разделом имущества. Леди Байрон покинула лондонское жилище на Пикадилли, 13, и с маленькой дочкой отправилась в Кирби. Байрон никогда больше их не видел. Но, покидая Англию, он написал письмо Анабелле: «Я уезжаю, уезжаю далеко, и мы с тобой уже не встретимся ни на этом, ни на том свете… Если со мной что-то случится, будь добра к Аугусте, а если и она к тому времени станет прахом, то к ее детям».
25 апреля 1816 года Джордж Гордон Байрон покидает берега Альбиона.