Калигула жил вместе со своей матерью Агриппиной, братьями и сестрами с 20 до 28 года, когда ему исполнилось шестнадцать. Невозможно точно определить его пребывание у Ливии, прабабки, так как она умерла в 29 году; видимо, он провел у нее менее одного года. Наконец, его бабка Антония приняла Калигулу к себе жить между 29 и 30 годами. Но в это время, по исполнении девятнадцати лет, он уехал с Тиберием на Капри. Таким образом, Калигула десять лет находился под женским влиянием, и трудно оценить этот период его жизни, не зная характера женщин, которые управляли его развитием.
Что Калигула получил от своей матери? Он был третьим сыном, и Агриппина отдавала предпочтение старшему Нерону, но до 25 года, похоже, царило семейное согласие. Ничто не свидетельствует, что юный Гай был лишен материнского внимания, напротив, о нем все заботились, он жил в хороших отношениях со своими старшими братьями. Агриппина была превосходной матерью, ее плодовитость вошла в поговорку, как и ее супружеская любовь. Она разделяла жизнь своего мужа, и ее целомудрие было выше всех подозрений. Но, вероятно, ключ ее поведения лежал в повышенной чувственности, что отличало ее мать Юлию I и сестру Юлию II, которые были удалены из Рима за бесстыдство. Эта чувственность была удовлетворена в браке и рождении детей. Но так как Тиберий помешал повторному браку, вдова прославилась как целомудренная и воздержанная женщина, что давалось ей с большим трудом, учитывая ее характер. Она гордилась своим происхождением, ведь она была внучкой Августа, который ее очень любил. При этом она словно забывала, что ее отец Агриппа был выходцем из семьи малозначительной и принадлежал к сословию всадников. Агриппа выкупил свое происхождение и распоряжался тремя консулатами, занимая значительные провинциальные должности. Агриппину поддерживали все «друзья» Германика, которые потеряли вместе со своим покровителем самые лучшие надежды и перенесли свои чаяния на его старшего сына Нерона. Агриппина была окружена сторонниками Германика, и этот круг аристократов концентрировал в себе недовольство. Тиберий много страдал от высокомерия Юлии I, которая должна была выйти за него замуж по приказу, и вот он снова нашел в Агриппине бесцеремонность по отношению к нему. Она не колебалась ни дня, полностью расстроив жертвоприношение, обратившись к нему с горькими упреками, и Тиберий ответил, что она «гневается потому, что не царствует» (Тацит, Анналы, IV, 52). Умирающий Германии, который хорошо знал свою жену, советовал ей смирить свое высокомерие в интересах их детей. Теперь известно, что она придерживалась этого совета более пяти лет после его смерти, но когда ее старший сын должен был стать квестором и был окружен почестями, опять начинается ее несдержанное отношение к власти.
Второй знатной матроной в семье была Ливия, прабабка Калигулы. Ей тогда исполнилось 85 лет. С рождения она принадлежала двум великим семьям: Клавдиев и Ливиев, поскольку ее отец, урожденный Клавдий, был воспитан в семье Ливиев. Его мать Альфидия, напротив, по происхождению была из семьи муниципальных нобилей Фонтеев. Из наших документов можно предположить, что имел место неравный брак, по крайней мере, так считал сам Калигула (Светоний, 23, 3). Она родилась 30 января 58 года до н.э., вышла замуж еще совсем молодой за своего двоюродного брата Тиберия Клавдия Нерона. От этого брака родились Тиберий (16 ноября 42 года до н.э.) и Друз I (апрель 38 года). 17 января 38 года она вышла замуж, достигнув соглашения со своим первым мужем, за Августа, с которым создала примерную супружескую пару. Ее целомудрие было известно всем, так же как и ее сдержанность, но плодовитостью она не отличалась, поскольку не смогла родить Августу ни одного ребенка. Она сопровождала своего мужа почти во всех его путешествиях, но при его жизни получила мало признания. Ливия была добродетельной супругой и матерью, глубоко привязанной к своим детям, озабоченная тем, чтобы обеспечить им хорошее будущее. Калигула назвал ее «Улисс в юбке», что подчеркивает ее хитрый ум. Действительно, она по праву выступала в качестве первого советника своего мужа и затем и сына. Имела ли она большое влияние? Несомненно, ее роль была преувеличена и в первую очередь ее друзьями, которые этим хвалились. До конца жизни признаки заискивания, проявленные в форме публичного уважения, были оказаны ей повсюду, но в области управления делами она была осторожна, вероятно, потому, что не нашла общий язык с Агриппиной, женой своего внука. Тацит считает, что именно после ее смерти Тиберий начинает злоупотреблять властью. Калигула приходил к ней по возможности скрытно, чтобы предстоящий судебный процесс против Агриппины не коснулся самого младшего из ее детей. Вероятно, что в эти драматические моменты 28-29 годов Калигула сопоставлял поведение своей матери и бабушки: одна полна искренности и высокомерия, другая была приветливой и скрытной, и, наверное, более умной.