В расшитом золотом алом наряде и шляпе с плюмажем он привлекал всеобщее внимание. Его тонкие черты были женоподобны, и даже султан Махмуд II, принимавший его, сидя на троне в желтом атласе и тюрбане, украшенном сверкающими бриллиантами, полагал, что английский лорд на самом деле — «женщина в мужской одежде».
В Константинополе Байрон выучил три самых насущных турецких слова: «сводник», «хлеб» и «вода». Тем временем Хобхауз готовился к отъезду домой, уступая настоятельным требованиям отца. В июле 1810 года «Сальсетт» вошел в греческую гавань Кеос, и двое друзей расстались. Хобхауз пишет, что они «прослезились», когда делили надвое букетик цветов, а Байрон ликовал, что год пребывания в чистилище в компании Хобхауза закончился. Однако вскоре он вновь стал писать другу полные теплоты письма: «Я действительно люблю тебя, Хобби, — у тебя так много хороших качеств и так много плохих!»
Байрон вернулся в Афины и поселился во францисканском монастыре XIV века у подножия Акрополя в окружении мальчиков и взрослых мужчин. Ему наскучили «девы Афин», так как их матушки старались склонить его к женитьбе.
Химеттус — перед глазами, Акрополь — за спиной. Питаясь вальдшнепами и кефалью, попивая вино в компании монахов, Байрон был безоблачно счастлив, его дни — «сплошная необузданность с утра и до ночи». В этом эдеме, среди мужчин и отроков, он избрал своим любимцем одного «эльфа», пятнадцатилетнего Николо Жиро, ученика в монастыре. В письме к Скиннеру Мэтьюзу он писал, что намерен освободить мальчика от последнего запрета.
Надо признать — либо с одобрением, либо с осуждением, — что все поступки Байрона отличались либо бесспорной смелостью, либо вопиющим разгулом. Однажды вечером, когда он возвращался в город с прогулки по лесу, он увидел, что турецкие стражи собираются сбросить в море зашитую в мешок женщину, виновную в запретной любви. Угрозами и подкупом Байрону удалось освободить женщину, позднее той же ночью он тайно посадил ее на корабль, отбывающий в Фивы. Слухи об этом рыцарском поступке ходили в среде англичан, живущих в Афинах. Поговаривали также, что Байрон был любовником пострадавшей и тем самым виновником того, что она чуть не погибла. Сам же Байрон был непривычно скрытен. Этот эпизод и порожденный им ужас заставляли его «холодеть при одном воспоминании», и чувства эти он воплотил в поэме «Гяур», написанной в 1813 году.
Тридцатипятилетняя англичанка леди Эстер Стэнхоуп, еще одна неутомимая путешественница, которой вскружил голову Египет и которую Хобхауз назвал «необыкновенно властной особой», как раз в это время жила в Афинах со своим юным любовником Майклом Брюсом. С борта своего баркаса она заметила Байрона, ныряющего в Пирейской бухте, где он ежедневно купался. И хотя ее любовник сразу же попал под обаяние Байрона, с леди Эстер этого не произошло. В ее присутствии Байрон становился довольно нерешительным, даже нервозным. Байрон признался, что никогда не станет вступать с ней в «препирательство». Она считала его позером. Своему врачу, доктору Мэриону, который путешествовал вместе с нею, она сказала, что Байрон — «это сплошное корыстолюбие и своенравие, а все, что он говорит и делает, имеет скрытый мотив». Услышав историю спасенной турчанки, леди Эстер сказала, что Байрон хотел выглядеть «своего рода Дон Кихотом». Вместо всеобщих рукоплесканий его красоте леди Эстер отметила пороки во внешности поэта: «слишком близко поставленные глаза и насупленные брови». Это полностью противоречит другому описанию Байрона, сделанному хирургом Форрестером со шлюпа «Алакрити», который спустя годы написал, что выразительная морщинка, рассекавшая лоб Байрона, «исчезала с мимолетной быстротой Авроры Бореалис». Леди Эстер пародировала Байрона перед своими английскими друзьями: его привычку теребить завиток на лбу и глупую аффектированную манеру обращаться к слугам на новогреческом.
Итак, даже когда Байрон был захвачен водоворотом восточных приключений, какие-то отблески рассказов о них все же достигали аристократических салонов Лондона. В письмах матери и мистеру Хэнсону он все чаще требовал денег, но письма Хобхаузу и Скроупу Дейвису пестрят описаниями любовных утех с «эльфами», как он их называл, «безмерно счастливыми и ребячливыми». Николо, «по его собственной очень настойчивой просьбе», везде следовал за ним, и, как он написал Хобхаузу, это было нечто похожее на щенячьи сексуальные игры. Однако Томас Мур описывает эту связь как чисто «братскую».