О молодости Карла почти ничего прочного не известно в истории; ученые до сих пор не смогли точно определить, где именно он родился. Легенда и поэзия имели здесь полный простор пополнять своими вымыслами пробелы исторических известий. Баснословное предание называет Карла сыном тайной любви, рассказывая, что он родился под счастливым созвездием на мельнице в Стефановском имении близ Фрейзинга, воспитывался у мельника под именем его сына, рос в обществе буйных товарищей без всякого образования и присмотра, проводил время в том, что дрался, охотился, скакал верхом. Впрочем, это предание не лишено и некоторого исторического значения: Карл, действительно, был плодом связи его отца Пипина Короткого с Бертрадой или Бертой, дочерью Хариберта, графа Лионского, — плодом, явившимся на свет ранее, чем Пипин и Берта вступили между собой в законный брак. Точно так же и его воспитание не многим должно было отличаться от того, какое нарисовано преданием. Оно состояло из военных, гимнастических упражнений, в верховой езде, охоте и плавании; по словам современного Карлу биографа, в этом последнем искусстве Карл достиг такого совершенства, что, по справедливости, никто не мог превзойти его. Несомненно, что с детства же Карл получил и хорошее религиозное воспитание; при дворе его отца было немало духовных лиц, с которыми Пипин стоял в дружественных, близких связях, да и сам Пипин отличался замечательной привязанностью к Церкви. Религиозность стала выдающейся характерной чертой и его сына, Карла Великого.