Муж Сервилии Марк Брут был марианцем и врагом Суллы. В 83 г. до н. э. он занимал должность народного трибуна и стал инициатором выведения колонии в Капую, чем вызвал к себе ненависть со стороны оптиматов. Когда Сулла установил свою диктатуру, Брутто ли бежал, то ли, подобно молодому Цезарю, был вычеркнут из проскрипционных списков по просьбам влиятельных друзей. Во всяком случае, в 78 г. до н. э. он действовал в Италии. Когда в следующем году Марк Эмилий Лепид поднял восстание с целью свержения сулланского режима, Брут примкнул к нему и стал его легатом. По поручению Лепида он набрал войско в Северной Италии и с ним захватил город Мутину. Однако в скором времени сюда подошел с войсками Помпей. После осады он разбил Брута и захватил Мутину. Брут попал в плен, и Помпей на следующий день приказал его убить. Так сын Брута, которому еще не было и восьми лет, стал сиротой, а Сервилия вдовой.
Сервилия была дамой любвеобильной, и как раз в то время, когда родился ее сын, у нее развивался бурный роман с Цезарем, который был ненамного старше ее. Это, видимо, не было простым увлечением. Уже много позже, в 63 г. до н. э., когда Катон и Цезарь в сенате спорили о судьбе арестованных участников заговора Катилины, Цезарю принесли какое-то письмо, и Катон, подозревая, что Цезарь получил весть от заговорщиков, потребовал, чтобы Цезарь это письмо прочитал вслух. Цезарь передал его Катону, и тот, к своему стыду, увидел, что это любовное послание его сестры Сервилии, после чего он бросил его назад Цезарю. И Цезарь, видимо, всю жизнь оставался к ней неравнодушен. В 59 г. до н. э., будучи консулом, он подарил Сервилии жемчужину колоссальной стоимости в 6 миллионов сестерциев, а еще позже, уже во время гражданской войны, продал ей же за бесценок богатое конфискованное поместье. Из-за этого романа многие считали Брута в действительности сыном Цезаря. Может быть, и сам Цезарь в глубине души думал так же. Накануне битвы при Фарсале он приказал сделать все возможное для спасения Брута и откровенно радовался, узнав, что Брут спасся. В роковой день 15 марта 44 г. до н. э., когда на Цезаря напали заговорщики, он, увидев среди них Брута, воскликнул: «И ты, дитя!», после чего перестал сопротивляться. Сам же Брут всегда считал себя сыном своего законного отца и всю жизнь ненавидел Помпея за его убийство.
Сервилия была не только любвеобильной, но и очень честолюбивой и весьма энергичной женщиной. Вскоре она вышла замуж за Децима Юния Силана, от которого имела трех дочерей, которых она затем выдала замуж за видных политических деятелей своего времени. Сервилия была одной из тех женщин, которые за кулисами пытались вершить судьбу государства. Она оказывала довольно сильное влияние на своего мужа Силана, игравшего известную роль в политической жизни того времени и ставшего в 62 г. до н. э. консулом. Влияние сестры ощущал и Катон, особенно в молодости. По инициативе Сервилии оставшийся без отца мальчик был усыновлен ее родным братом Квинтом Сервилием Цепионом и стал именоваться Квинтом Цепионом Брутом. Но в 67 г. до н. э., когда Бруту было 18 лет, умер и Цепион. Хотя официальным считалось имя, данное при усыновлении, Брута чаще называли именем, полученным при рождении. Фактическим же его воспитателем стал другой дядя — Катон. Нельзя не учитывать и влияние матери, которую Брут почитал все свою жизнь. Она очень гордилась своим происхождением из рода Сервилиев, который всегда выступал против любых покушений на свободу римского народа, и эту гордость передала сыну.
Марк Юний Брут получил прекрасное образование и воспитание. Его учителем был Стабилий Эрот, грамматик, в свое время рабом, привезенный из Сирии вместе с будущим известным поэтом Публием Сиром. Еще будучи рабом, Эрот прославился своей ученостью, за что и был отпущен на свободу. Он вошел в круг той части римской знати, которая была оппозиционна Сулле, ибо во времена его диктатуры он бесплатно обучал детей проскрибированных родителей. Поэтому совершенно естественно, что Эрот стал учителем сына павшего Брута старшего и племянника Катона. Сам Катон старался привить своему воспитаннику любовь к философии, которой увлекался он сам. Правда, в отличие от дяди, бывшего поклонником стоицизма, Брут увлекся платонизмом. Это произошло, по-видимому, в Афинах, куда юный Брут, как и многие другие молодые римские аристократы, отправился пополнять свое образование. В Афинах в это время платоновскую школу — Академию — возглавлял Антиох из Аскалона, который стремился очистить учение Академии от скептицизма и вернуться к подлинному учению Платона. Брут подружился с его братом Аристом, выделявшимся красноречием и добродетелью, он надолго стал другом и образцом для Брута. Известно, что Брут и сам писал философские сочинения: «О доблести», «Об обязанностях», «О терпении». Увлекался Брут и историей. Даже в довольно драматические моменты своей жизни он делал выписки из «Истории» Полибия, «Анналов» Целия Антипатра и других исторических сочинений. В молодости Брут писал стихи, но в особенности увлекся ораторским искусством, чему учился на Родосе, куда, по-видимому, уехал после пребывания в Афинах. В эпоху бурной политической жизни, когда многие вопросы решались на форуме или Марсовом поле, риторика часто открывала путь к блестящей политической карьере. Брут часто писал речи только ради упражнения. Так, в конце 50-х гг. им была составлена речь в защиту Милона, не произнесенная, но известная образованным людям. Его знания и быстрота ума позволяли ему в любой момент приступить к написанию речи независимо от того, предназначалась ли она для произнесения или лишь для прочтения. Хотя публичных речей Брут произносил не так уже много, он был известен как оратор. Недаром позже Цицерон сделал его одним из персонажей своих трактатов об ораторском искусстве. В этом искусстве Брут примыкал к аттической школе, которая противопоставляла пафосу и некоторой напыщенности азианистской школы простоту и ясность.