Людвиг, как старший ребенок и как наследник престола, чувствовал свое превосходство над младшим братом и этим пользовался в детских играх, желая быть всегда лидером. Любезный Отто уступал настроениям старшего брата, но иногда по-детски протестовал, требуя и себе преимуществ. В общественности не замечали детских разногласий между братьями, когда они с матерью гуляли по улицам Мюнхена или когда гармоничную семью видели из окон Мюнхенской резиденции. В основном, конечно, отношения двух братьев оставались даже спустя много лет добрыми и дружескими. Людвиг всегда испытывал к Отто теплые чувства.
Бросались в глаза внешнее различие, как и характеры обоих принцев. Худощавый, хрупкий, долговязый Людвиг с темными волосами и сияющими синими глазами, в то время как у кареглазого белокурого Отто было коренастое, крепкое телосложение. Родители определили для каждого из детей любимый цвет: для Отто красный, а для Людвига синий. В соответствии с этими цветовыми предпочтениями подбиралась для них одежда, школьные принадлежности, книги, мелкие декоративные предметы. Став взрослым, Людвиг сохранит свое предпочтение к синему цвету.
Любящий уединенность, застенчивый, серьезный, сдержанный Людвиг с романтическим и мечтательным характером был противоположностью отрытому, общительному, подвижному реалисту Отто. Порой оба мальчика проявляли нерешительность, и, чтобы дети не росли изолированно от других детей, а становились более уверенными в себе, родители и воспитатели поощряли детские игры в войну и солдатиков, приглашали в гости к обоим принцам других детей для совместных игр. К числу их товарищей по играм относились сыновья принца Луитпольда кузены Людвиг и Леопольд, дети герцога Макса Баварского из Поссенхофена, принцы Гессенские и троюродный брат граф Максимилиан фон Хольнштайн. Вся застенчивость Людвига и Отто улетучивалась, когда они играли с детьми герцога Макса, иногда к веселым играм присоединялась и королева Мария.
Герцог Макс Баварский (1808–1888) принадлежал к линии неправящих Виттельсбахов, герцогов in Bayern. В браке с принцессой Людовикой Баварской (1808–1892), дочерью короля Максимилиана I, у герцога Макса родилось восемь детей: Людвиг Вильгельм (1831–1920), Елена Каролина Тереза (1834–1890), Елизавета Амалия Евгения (Сиси) (1837–1898), Карл Теодор (1839–1909), Мария София Амалия (1841–1925), Матильда Людовика (1843–1925), София Шарлотта Августа (1847–1897), Максимилиан Эмануэль (1849–1893).
Игры принцев с сыновьями Луитпольда не всегда были мирными, уже с самого малого постепенно развивалось соперничество между Людвигом и его кузеном-тезкой, которое лишь с годами усилится. Те гости, кто вел себя невежливо по отношению к принцам, больше не допускались на следующее приглашение, как было с графом Тони Арко, который однажды дал пощечину Людвигу.
Дети простых придворных были также приятелями по детским играм у юных принцев. С сыном медика фон Гитля Людвиг играл в церемонию рыцарства, при этом брал у своей няни Сибиллы синюю накидку, и она служила ему в игре рыцарской мантией. Также Хелена, дочь историка и государственного деятеля Вильгельма фон Дённигеса, часто присоединялась к играм с Людвигом. В своих мемуарах она вспоминала о тех безоблачных днях детства: о фантастических играх в эльфов, когда гардины и портьеры становились цветами и одеждой, в которые дети закутывались. Хелена упоминала также об играх в плевки, о детских перебранках и потасовках, в которых Людвиг вырвал клок ее волос, о том, как они ломали игрушки, откручивая оловянным солдатикам головы.
Мария Шульце, биограф королевы Марии, упоминает о рождественском посещении принцами других детей и добросердечности юного кронпринца Людвига: «…На Рождество оба принца приезжали в школу Макс-Йозеф-Штифт (Max-Joseph-Stift), чтобы готовиться к празднику с местными детьми, это было большой рождественской радостью. Оба обращались со всеми терками, ступками и другими атрибутами кукольной кухни настолько превосходно, что королева Мария решила доставить радость школьным детям. В первый день нового года она появилась с большим количеством прекрасных безделушек и устроила маленький розыгрыш. При этом принцы помогали, и кронпринц Людвиг доказал, что обладал добрым сердцем, когда сразу передал симпатичный флакон малышке, которая вытянула одного клоуна Хансвурста».
О добросердечности Людвига говорит еще другой случай, упоминаемый биографом Л.И. Кремером, когда в июне 1851 года маленький кронпринц с братом и родителями был в Байройте в замке Эрмитаж. За совместным обедом с родителями Людвиг обратил внимание на солдата на посту. Он спросил у отца, голоден ли солдат и мог ли он дать ему кусок мяса. Макс II возразил сыну, что солдат стоит на страже и не должен ни от кого ничто принимать. Ответ отца не удовлетворил Людвига, и он сказал, что в таком случае он может тихо подкрасться к охраннику и положить ему незаметно в карман еду. Кронпринцу разрешили так поступить в соглашении с флигель-адъютантом фон дер Таном. Позднее Отто подражал Людвигу, положив часовому целый торт.