Вернувшись в Лондон, Байрон обзавелся экипажами, прислугой, принимал многочисленных гостей. Приданое жены в десять тысяч фунтов быстро улетучилось, вскоре та же участь постигла и восемь тысяч его наследства. Ему даже пришлось продать свои книги. Восемь раз описывали его имущество, причем описали даже кровать молодоженов. Все это не могло понравиться Анабелле, привыкшей с детства к комфорту. Начались ссоры, выводившие вспыльчивого Байрона из себя. Однажды он бросил в камин часы, а затем разбил их щипцами. К тому же молодой жене не давала покоя неверность Байрона. Его выбрали в дирекционный комитет одного из театров, и его постоянные интрижки с актрисами, певичками и танцовщицами стали новым источником семейных раздоров.
Положение становилось все труднее. В палате лордов его старательно избегали, на улице оскорбляли. Байрон понял, что для него в этой стране места нет. И стал готовиться к отъезду. Прежде всего, надо было урегулировать формальности, связанные с супружеством, на чем очень настаивал отец Анабеллы. Затем — прощание с Августой.
Они встретились в последний раз ровно год спустя после рождения Медоры: в середине апреля 1816 года, в Пасхальное воскресенье. Уж не было тех веселых, беззаботных часов, когда они столько смеялись и никогда друг другу не перечили. Над ними тяготела печаль расставания, неясное предчувствие, что разлука эта — навсегда. Провели грустный вечер, и Августа впервые плакала, говоря, что ее мучают угрызения совести.
После ее ухода Байрон засел за письма. Он писал Анабелле: «Я уезжаю, уезжаю далеко, и мы с тобой уже не встретимся ни на этом, ни на том свете. Если со мной что-то случится, будь добра к Августе, а если и она к тому времени станет прахом, то к ее детям».
Он отправил письмо своему юридическому поверенному Джону Хансону и попросил, чтобы тот время от времени посылал ему сведения о дочери Августы. Писал Байрон Августе и во время своего путешествия по Швейцарии. В Италии переписка прервалась, но потом возобновилась, когда Байрон написал ей: «Дорогая моя. Говорят, расставание убивает слабые чувства и укрепляет сильные. К сожалению, мои чувства к тебе — это соединение всех чувств и всех страстей!»
В Венеции Байрон поселился возле площади Святого Марка. Его очередной любовницей стала Марианна Сегати, жена владельца дома. Почти одновременно он завел еще одну любовницу — Маргариту Кони, жену булочника. В 1818 году поэт переехал во дворец Мосениго, хозяйка его также стала любовницей поэта. Но Маргарита быстро надоела Байрону, и он попросил ее вернуться к супругу. В ответ же получил удар ножом. К счастью, итальянка только легко ранила его в руку. Почти половина заработанных им денег уходила на случайных женщин, счет которым он давно потерял.
Летом 1819 года в Венеции он познакомился с графиней Терезой Гвиччиоли, молоденькой «тициановской блондинкой с прекрасными зубами, густыми локонами и чудесной фигурой», чем-то напоминавшей ему сестру. Ослепительная красавица с длинными золотистыми волосами, ниспадавшими сверкающим водопадом на плечи, — весь ее облик был окутан романтической тайной. «Его удивительные и благородные черты, звуки его голоса и неописуемое очарование, исходившее от него, — писала в своих воспоминаниях графиня Гвиччиоли, — делали его созданием, оставлявшим в тени всех людей, которых я встречала до сих пор». «Ее разговор, — замечал Байрон в одном из писем, — остроумен, не будучи легкомысленным. Не претендуя на ученость, она прочитала лучших писателей Италии. Она часто скрывает то, что знает, только из страха, как бы не подумали, что она хочет похвастаться образованностью. Ей, наверное, известно, что я не выношу ученых женщин. Если у нее синие чулки, то она заботится все-таки о том, чтобы их закрывало платье».
Замужество графини не стало препятствием для любовных свиданий, поскольку 60-летний муж красавицы предоставил ей полную свободу. Гвиччиоли поселилась на вилле своего возлюбленного, безнадежно скомпрометировав себя в глазах высшего света, в особенности своих земляков. Мораль итальянцев допускала тогда присутствие «друга», более того, именно он считался настоящим супругом, правда, при соблюдении всех условностей. Гвиччиоли набросила на свои отношения с поэтом романтический флер, желая возродить в Байроне веру в истинную любовь.