О щедрости маленького Людвига передает Карола фон Ширндинг в своих воспоминаниях из институтских годов: «Однажды Людвиг обнаружил в маленькой капелле в конце сада Нимфенбурга фигурку воскового младенца Христа, который был уложен на соломе. Его брату Отто было откровенно жаль, что младенец Христос лежал на грубой подстилке. Людвиг подумал: „Мы можем помочь ему“. Осторожно он поднял младенца Христа и положил шелковый платок на сено. „Ткань новая“, – сказал он младенцу Христу и положил его сверху. Принц Отто указал, что дома спохватятся, если заметят отсутствие платка. Людвиг возразил ему: „Определенно нет, Отто, только побранят, если мы теряем что-то, то только из-за беспорядка. Однако этот платок послужит теперь более высокому господину, чем я, и я счастлив, что смог это сделать для него“».
Экс-король дедушка Людвиг и экс-королева бабушка Тереза с удовольствием по воскресеньям собирали всех детей во дворце Виттельсбахов. По воспоминаниям кузена Людвига, принца Леопольда, от бабушки дети получали картинки для раскрашивания и немного карманных денег, играли в башне с попугаями и парой обезьянок, подарком из Греции. Дедушка и бабушка сами лично обслуживали детей за столом, раздавая шоколадный напиток и кренделя, угощая бургерами и картофельным пирогом.
Таким образом, мы видим, что кронпринц Людвиг и его брат Отто с детства были окружены не только детскими товарищами по играм, но и взрослыми. Ранние утверждения, что баварские принцы ни с кем в детстве не дружили, не соответствуют действительности. И лишь только становясь взрослее, кронпринц Людвиг предпочитал все чаще оставаться наедине с самим собой, и общение с товарищами сокращалось.
Однажды теолог Игнац фон Дёллингер застал Людвига одного в затененной комнате, сидящего на диване. Он поинтересовался у кронпринца, не скучает ли тот, и предложил ему почитать, чтобы чем-то заняться. Людвиг ответил, что ему совсем не скучно и он себя так развлекает, выдумывая различные вещи.
Весну и лето Людвиг и его брат Отто проводили в замке Хоэншвангау, осень в замке Нимфенбург, а зиму в Мюнхенской резиденции. В замке Хоэншвангау Людвиг провел не только детство и юность, но и большую часть своей жизни. На первом этаже замка располагались апартаменты Марии, на втором – комнаты Максимилиана, а на третьем этаже детские комнаты. Живописная природа Альгойских Альп, горные ущелья, голубые озера Альпзее и Шванзее и изумрудный лес завораживали юного принца. Именно в Хоэншвангау зародилась любовь Людвига к природе, особенно к горам, и эта привязанность сохранилась на протяжении всей его жизни. Поэтому совсем неудивительно, что три его замка – Нойшванштайн, Линдерхоф и Херренхимзее – были построены в живописных уголках. Уже будучи королем, Людвиг выступал защитником окружающей среды.
Не только природа, но и сам замок Хоэншвангау с его выразительными фресками, написанными Михаэлем Неером и Лоренцо Кваглио на тему средневековых сказаний, будоражили богатое воображение Людвига. Особенно впечатляли его изображения и легенда о лебедином рыцаре Лоэнгрине. Изображенные фигуры Средневековья, благородные рыцари, императоры, короли, герцоги и другие герои германского эпоса пробуждали романтические фантазии Людвига, вызывая растущее чувство самосознания. Именно в этой почве романтических грез проросли семена – первые идеи о строительстве замков, о чем передает Луиза Кобелль: «Изображения средневековых сказаний на стенах замка Хоэншвангау давали ему часто повторное наглядное обучение, и вид лебедя оказывал на него непреодолимое влияние, которого он там видел во всех возможных изображениях повсюду. Ежегодное пребывание в этом рыцарском замке стимулировало оживленную фантазию Людвига больше, как романтизм, унаследованный Людвигом от отца, как и от дедушки любовь к искусству и строительству».
Также у поэта Карла Хагеля можно прочесть, как сказочно-романтическая аура Хоэншвангау влияла на юного Виттельсбаха: «Если молодой Людвиг летом приезжал в Хоэншвангау, прошлое манило его также в этом родительском доме – легенды и история на стенах. Там он видел рыцаря-лебедя Лоэнгрина, как он на Рейне трубит в рог, чтобы объявить о своем приезде императору; тут – мать Карла Великого в тихом Вюрмтале ожидала своего спасителя и мстителя. Он видел своих предков высоко на коне, с обнаженным мечом в вечном Риме и под пальмами на Ниле. Там он видел всех этих императоров и герцогов, миннезингеров и крестоносцев из хроники Хоэншвангау… Когда Людвиг смотрел вдаль из сада замка, где шумит высокий водопад, то находил мир прекрасным. Разве это не естественно, что юное воображение населило прекрасный мир с теми высокими цветными образами?»