В июле 1854 года в Мюнхен ворвалась эпидемия холеры, унося за собой много жизней. Люди стремительно покидали столицу. Максимилиан вместе с семьей задержался на это время в Берхтесгадене. Как Виттельсбахи ни старались избежать заражения, но пришло горе и в их семью. В то время, когда эпидемия пошла на спад, она прихватила с собой последнюю жертву – королеву Терезу. Любимая бабушка Людвига и Отто умерла 26 октября. Дети сильно скорбели. Из-за своего малого возраста они не присутствовали на похоронной церемонии.
Вплоть до 18-летия кронпринца Людвига граф де Ла Розе оставался его воспитателем и наставником. В воспитании и обучении Людвига также принимали участие военный инструктор барон Эмиль фон Вульффен и майор Карл фон Орфф. Также преподавателями Людвига выступали профессор Франц Штайнингер, декан Георг Карл Райндль и несколько других господ. Кронпринц Людвиг никогда не посещал государственную школу, в отличие от своего кузена принца Вильгельма Прусского (1859–1941), позднее кайзера Вильгельма II. Обучение Людвига проходило в частном порядке в Мюнхенской резиденции и замке Нимфенбург. Воспитатели и учителя прививали юным принцам христианские добродетели, любовь к Богу и ближним, а также честность, трудолюбие, послушание, скромность и умеренность, развитое чувство ответственности по отношению к другим, исполнение долга, бережливость и самоуважение. Образование характеризовалось строгостью и дисциплиной. Король Макс строго следил за исполнением своих распоряжений. Граф Ла Розе пробуждал в Людвиге интерес к богатому прошлому династии Виттельсбахов и вдохновлял на ответственное подражание.
Развитое чувство величия и неприступности маленький недотрога Виттельсбах показал с раннего детства. Однажды приглашенный королем в Хоэншвангау поэт и минералог Франц фон Кобелль увидел, как Людвиг, занимаясь гимнастикой, вскочил на балюстраду. Испугавшись, что кронпринц может упасть, Кобелль поймал мальчика и удержал от источника опасности. Людвиг с укоризной посмотрел на него и лишь годами спустя напомнил ему, что тот осмелился тогда прикоснуться к нему.
Национал-либералы, антиклерикалы подвергали критике воспитание баварского кронпринца, которое было противоположным воспитанию прусских принцев. Критики не избежали воспитатели и учителя Людвига, которых упрекали, что они не смогли правильно подготовить кронпринца для важного поста будущего короля Баварии. И даже по мнению Отто фон Бисмарка: «Если бы воспитание короля Людвига было доверено не оторванным от жизни профессорам и иностранным преподавателям, а немецким офицерам… тогда король остановился бы, вероятно, на земле, от которой он происходил, и не заблудился бы в облаках туманного Парнаса…»
В образовании прусских принцев тоже хватало изъянов: оно было далеко не идеальным, более жестким, приоритет отдавался военной муштре, а не гуманитарным наукам. Лишь при образовании принца Вильгельма его родители Фридрих Прусский (1831–1888) и Виктория Саксен-Кобург-Готская (1840–1901) решили внести изменения и поставить в первенство гуманитарные науки над военными, но, конечно, и плац никто не отменял.
Помимо обучения на досуге с графом де Ла Розе Людвиг совершал прогулки, ловил рыб, гонялся за бабочками, посещал праздничные мероприятия, как юный кронпринц рассказывал в письмах к своей любимой няне.
Выбор этого воспитателя, по мнению многих, был не очень хорошим, потому что граф привил молодым принцам высокомерие. Строгий, старомодный, обыденный и милитаристский в своих взглядах граф Ла Розе полагал, что обоим принцам следует общаться только с дворянами. Однако под накрахмаленной внешностью Ла Розе оставался добросердечным человеком. Он показывал Людвигу особенность его положения как будущего короля, что на нем будет лежать особая ответственность, учил воспитанника, что кронпринц должен в будущем быть первым, держать надлежащую дистанцию от подчиненных и простых людей, только коротко приветствовать лакеев и тому подобное. Другие воспитатели и преподаватели также поддерживали эти черты, так как это казалось им уместным для будущего короля. Они потакали желаниям кронпринца, удовлетворяли его требования, были услужливыми и, сами того не осознавая, взрастили в Людвиге ощущение полноты власти. Результатом воспитания стало развитие у Людвига высокой самооценки, что иногда его делало неприступным и даже высокомерным. Граф Ла Розе отмечал в характере юного кронпринца сильно развитое своеволие и упрямство.
Кронпринц отчетливо проявил свое упрямство, когда отказался порадовать своего дедушку Людвига на день рождения декламацией его сочиненного стихотворения. Поэзия деда не впечатляла экзальтированную натуру Людвига, который отдавал больше предпочтения немецким классикам.