Но въпросът за наследяването на властта над Римската империя занимава колкото ума на съпругата Ливия, толкова и съзнанието на самия император Август. Октавиан предпочита властта да премине в непосредствените продължители на собствения му род, кръвните му роднини — синовете на собствената му дъщеря Юлия, а не в ръцете на доведените му деца, родени от Ливия. Съпругът на Юлия, Марк Агрипа, обаче, който би бил подходящ приемник на императорската корона от Август, умира през 12 г. пр.Хр. и дъщерята на императора се оказва в положението на твърде важна партия, за да остане задълго вдовица. Ливия добре разбира това и решава, че ако синът ѝ Тиберий се омъжи за Юлия, това без съмнение би повишило шансовете му един ден да седне на императорския трон. По заповед на Август Тиберий се съгласява, макар и против волята си, да се разведе със съпругата си Випсания и да се ожени за Юлия. Но твърде скоро става ясно, че Тиберий и Юлия са съвсем неподходящи един за друг. Тиберий е хладно пресметлив егоцентрик, лишен от всякакви емоции и топли чувства. Докато Юлия е твърде сексуална, болезнено привързана към еротиката нимфоманка, която не би могла да живее със стеснителния в леглото Тиберий. Личният живот на Юлия е толкова скандален, че довежда до собственото ѝ низвергване и до неизбежния провал на плановете на Ливия по отношение на Тиберий. По този повод Сенека пише:
„Божественият Август пратил дъщеря си в изгнание, понеже надминала по безчестие всички осъдителни значения на тази дума, като постоянно скандализирала императорското семейство; приемала любовниците си на тумби; организирала нощни оргии из целия град; дори форумът и трибуната, от която баща ѝ обявил въвеждането на закони против прелюбодеянието, били използвани от дъщерята за нейните изстъпления; тя организирала своите любовни срещи и посред бял ден, край статуята на Марсий, където надминавала по своята престъпност прелюбодейките, и като истинска проститутка заявявала открито правото си да върши и най-големите безсрамия в обятията на първия срещнат мъж.“
Когато императорът — дотогава държан в неведение — най-накрая узнава за начина на живот на дъщеря си, той я изпраща в жестоко изгнание на остров Пандатерия24. Нейният съпруг Тиберий, който едва ли страда от това, че Юлия излиза от живота му, преживява дълбоко унижение от избухналия по този повод скандал. Когато по-късно става император, той спира хранителните ѝ дажби и — както се твърди — я оставя да умре от глад. Така Тиберий слага край на един брак без любов, който е принуден да сключи и понася. След това майка му започва да го тласка към заемане на позицията на престолонаследник на Август. Поради тези причини един от днешните биографи на императора нарича неговия живот „училище по злопаметност“.
Съдбата също помага на Ливия да осуети първоначалните планове на своя съпруг по отношение на престолонаследието. Внуците и най-близки кръвни роднини по мъжка линия на Август — Гай и Луций, които биват възпитавани да станат достойни за наследяването на императорската мантия, умират млади. Тогава императорът решава да привлече и последния си жив внук — Агрипа Постум, заедно с Тиберий като евентуални наследници на престола. Но дори за младата си възраст Агрипа вече има репутация не по-добра от тази на майка му Юлия: „с брутален и буен нрав“, „крайно ограничен по ум и като характер“, „твърде голям невежа, изпитващ глупава гордост от физическата си сила“. „Колкото повече растеше — пише Светоний в посоченото по-горе съчинение — толкова по-неуправляем ставаше, но и толкова по-луд, с всеки изминал ден.“ Неговата непригодност за властта е толкова очевидна, че той е изпратен в изгнание на остров Планезия (днешния остров Табарка в Средиземно море), където е ликвидиран вероятно по заповед на умиращия си дядо и с мълчаливото съгласие на Тиберий, който вече е единственият кандидат за наследяване на императорската власт.
Без особено желание, но по необходимост Август се съгласява Тиберий да стане негов престолонаследник. „След като жестоката съдба ме лиши от моите синове — бил казал Август според записаното от Светоний — нека Тиберий Цезар бъде моят наследник на престола.“ „Тази фраза — продължава Светоний — потвърждава подозренията на някои съвременници, че Август е избрал своя наследник не толкова, защото го е харесвал, а поради липсата на друга възможност.“