Ала да сдържи обещанието, се оказало извънредно трудно за Ливия, защото Тиберий бил най-полезният министър и най-преуспяващият пълководец на Август и дълго време старецът отказвал да разисква по въпроса сериозно. Тиберий обаче заявил, че е болен, и подхвърлил, че отсъствието му ще избави Луций и Гай от много неловки моменти: признал, че не се разбира добре с тях. Август все не се съгласявал. Гай и Луций били още момчета, съвсем неопитни и във войните, и в държавните работи, и той не можел да разчита на каквато и да е подкрепа от тяхна страна, ако избухнели сериозни размирици било в града, било в провинциите или пък по границите. Той осъзнал, за пръв път може би, че засега Тиберий бил единствената му подпора в подобни критични положения. Отхвърлил молбата на Тиберий и заявил, че изобщо не желае да слуша неговите доводи. И тъй като усилията му излезли неуспешни, Тиберий отишъл при Юлия и с преднамерена грубост й заявил, че бракът им се бил превърнал в такъв фарс, щото той не бил в състояние да живее в същия дом с нея нито ден повече. Предложил й да отиде при Август да му се оплаче и да каже, че съпругът й — грубиянин, се отнася с нея тъй отвратително, че тя не ще може да живее спокойно, докато не получи развод. Август, казал й Тиберий, по семейни причини за жалост нямало да се съгласи на развод, но вероятно щял да го прокуди от Рим. А пък той бил готов да приеме дори изгнанието пред мисълта за съжителство с нея.
Юлия решила да изличи от спомените си някогашната си любов към Тиберий. Той не само се отнасял към нея с най-дълбоко презрение всякога, когато оставали насаме, но вече бил започнал тайничко да се впуска в ония свои нелепи гнусни авантюри, които по-късно караха всички благоприлични хора да се отвращават от него; а тя знаела за това. Затуй го послушала и се оплакала на Август с думи много по-горчиви, отколкото Тиберий (който пък бил достатъчно суетен да си въобразява, че тя все още, въпреки всичко, го обича) очаквал. Август открай време с мъка сдържал неприязънта си към Тиберий като към свой зет — което естествено окуражавало партията на Гай — и се втурнал разярен из стаята, ругаейки Тиберий с всички хулни думи, които му идвали на езика. Но въпреки това напомнил на Юлия, че тя и само тя си е крива за разочарованието си от този съпруг, за чийто характер той неведнъж я бил предупреждавал. Освен това, макар да я обичал и окайвал от все сърце, той не бил в състояние да разтрогне брака. Да позволи раздяла между дъщеря си и зет си, на чийто съюз било придадено такова политическо значение, било невъзможно, а бил уверен, че и Ливия ще погледне на нещата като него. Тогава Юлия го помолила да отпрати Тиберий някъде поне за година-две, защото за момента не можела да търпи присъствието му дори на хиляда мили от нея. Август се съгласил и само след няколко дни Тиберий вече пътуваше към остров Родос, който той много преди това си бе избрал като идеалното място за усамотение. Но Август, макар че го беше удостоил с титлата народен трибун по изричната молба на Ливия, бе дал безусловно да се разбере, че ако никога вече не види лицето му, няма да съжалява.
Освен главните участници в тази драма друг не знаеше защо Тиберий напуска Рим и Ливия използува нежеланието на Август да разисква въпроса в полза на Тиберий. Тя „поверително“ съобщи на близките си, че Тиберий е решил да се оттегли в знак на протест срещу скандалното поведение на партията на Гай и Луций. Добави също така, че Август искрено му съчувствувал и отначало отказвал да приеме оставката му, обещавайки да укроти виновниците; но Тиберий обяснил, че не желаел да се смразява още повече със синовете на своята жена, и демонстрирал твърдостта на решението си, като цели четири дни се лишил от храна. Ливия доведе докрай този фарс, съпровождайки Тиберий до кораба му в Остия — пристанището на Рим, и умолявайки го от името на Август и от свое име да премисли решението си. Нареди дори тъй, че всички членове на собственото й семейство — по-малкият син на Тиберий — Кастор, майка ми, Германик, Ливила и аз самият — да я придружим и да подсилим значимостта на събитието, като присъединим молбите си към нейните. Юлия изобщо не се появи и отсъствието й съвпадна отлично с впечатлението, което Ливия се стараеше да създаде — а именно, че се съюзява със синовете си срещу своя съпруг. Беше странна, но добре изиграна сцена. Майка ми изпълни ролята си отлично, а трите деца, които бяха предварително подготвени, изрекоха репликите си, сякаш дълбоко си вярваха. Аз стоях удивен и занемял, докато Ливила ме ощипа така, че избухнах в сълзи и се проявих дори по-добре и от тях. Бях четиригодишен по онова време, а чак в дванадесетата ми година Август неохотно беше принуден да повика чичо ми в Рим, защото политическото положение се беше променило сериозно.