Потеряв отца, Люций был осужден расти и без материнской ласки. Придворные успехи Агриппины кончились худо. Из трех сестер своих, император Кай Калигула наиболее любил Друзиллу, выданную фиктивным браком за М. Лепида. Этот последний, — внук Юлии Старшей и М. Випсания Агриппы, правнук Августа, решил сам подобраться к верховной власти, отняв ее у сумасшедшего зятя. Возник дворцовый заговор, во главе которого, кроме Лепида, стоял главнокомандующий германской армией Корнелий Лентул Гетулик, и в который вовлеклась Агриппина и младшая сестра ее Юлия Ливилла, — как можно думать, не только по честолюбию, но и по преступной привязанности к свояку и кузену своему, Марку Эмилию Лепиду. Этот человек имел успех в потомстве Германика, так как был мужем одной сестры, предполагается любовником двух других и укоряется как «мужская любовница» их державного брата. Умысел был обнаружен: заговорщики потеряли головы, а сестер соучастниц Калигула отправил в ссылку на остров Понтию в Тирханском море (ныне Понца). Имения их были взяты в казну. Агриппина, высланная из столицы, стала нищей сама и оставила сына почти что на улице.
Мальчика приютила тетка, Домиция Лепида, — та самая, которая, в супружестве с М. Валерием Мессалою Барбатом, то есть Бородатым, подарила миру Мессалину, и та самая, что, в последний год Тиберия, обвинялась в кровосмешении с братом своим, отцом Нерона. Опекуном имущественным назначен был к Люцию некто Асконий Лабеон — вероятно, по завещанию Кн. Домиция Аэнобарба: впоследствии Нерон, прося у сената почестей для покойного отца, прибавил к тому и ходатайство о консульских знаках для Аскония Лабеона, как бы свидетельствуя общность своего доброго отношения к памяти бывшего отца и к бывшему опекуну. Во всяком случае, факт этот говорит в пользу Лабеона: из своего грустного детства император не вынес горечи к этому человеку, что между опекунами и опекаемыми бывает не часто. Только благодарности Нерона Лабеон обязан тем, что имя его осталось в истории: был опекун, которому цезарь выпросил консульские знаки, — больше о нем решительно ничего не известно. Отсюда можно предположить, что опекунские обязанности свои Лабеон нес только формально, не вмешиваясь в жизнь и воспитание мальчика, захваченного Домицией Лепидой. Имущественно оберегать у Люция, покуда жил Кай Цезарь, было нечего: державный дядя обобрал родителей младенца дочиста.
Что касается Домиции Лепиды, эта женщина, при всем своем распутстве и легкомыслии, кажется, не лишена была способности проникаться острой жалостью к покинутым и беспомощным. Известно о Лепиде, что она была в ссоре со своей дочерью Мессалиной, когда ту отверг и осудил на смерть Клавдий Цезарь, — однако, узнав, что дочь одинока, всеми брошена, в смертельной опасности, Лепида забыла свое неудовольствие, поспешила к Мессалине и осталась при ней, ободряя ее до последнего конца. Надо думать, что подобный же порыв жалости побудил Лепиду принять к себе маленького племянника, последнего мужского потомка Аэнобарбов. Могло быть, конечно, и так, что надзор за одиноким ребенком поручили ей просьбы умирающего или завещание покойного Кн. Домиция, связанного с Лепидой отношениями любви, быть может, и впрямь не только братской. Во всяком случае, Агриппина в этом добром деле не имеет части. Ради нее Лепида, конечно, не разжалобилась бы. Между пожилыми золовками Домициями и молоденькой невесткой Агриппиной жила непримиримая ненависть, питаемая и семейными скандалами, и партийными интригами двора. Истинная дочь Аэнобарбов, Лепида обладала столь же беспокойным характером, таким же ненасытным честолюбием, как и Агриппина, при той же неразборчивости в средствах к придворному, политическому и денежному успеху. Взять ребенка на воспитание, разумеется, далеко еще не значит его воспитывать. С Люцием в доме тетки обращались, по-видимому, очень мягко, — кажется, даже слишком баловали его, — но у не очень старой еще и не охочей стареть, влиятельной львицы Палатинского двора вряд ли находилось много свободного времени и внимания для малютки- племянника. Будущий император рос на руках рабской дворни, под надзором двух дворецких или вольноотпущенных: один был танцовщик, а другой парикмахер. От нечего делать, в свободное от хлопот по дому время, они обучили мальчика азбуке. Едва ли не с тем он и остался до одиннадцати лет.