С 1838 по 1847 год у Каролины и барона фон Кюнсберга родилось пятеро детей, которые долгое время считались незаконнорожденными: Вильгельм Максимилиан (1838–1909), Вильгельмина Мария Каролина (1841–1889), Иоганн Фридрих Вильгельм Карл (1842–1876), Рудольф Филипп Вильгельм Госвин Карл (1844–1910), Ида Вильгельмина (1847–1872).
Сын Каролины Макс фон Хольнштайн, который, несмотря на неупорядоченные семейные отношения его родителей, часто бывал в замке Фронберг, играл и воспитывался вместе со своими сводными братьями и сестрами. Большую часть времени он находился вместе с отцом, но также бывал и с матерью. Как отмечалось ранее, замок Фронберг находился по соседству с Шварценфельдом. Разлука родителей наложила определенный отпечаток на формирование характера графа Макса. Он не был обласкан материнской любовью, что оставило след в душе юного графа. Упрекать Каролину, что она была плохой матерью, которая полностью бросила маленького Макса и прекратила о нем заботиться и любить, – это не совсем верно. Конечно, больше внимания, любви и заботы она отдавала своим другим детям, которые появились на свет от барона фон Кюнсберга, но о Максе она также старалась не забывать, и он ей был дорог и любим.
Из-за разбитого брака родителей Макс фон Хольнштайн часто также бывал при баварском дворе. Он был наряду с принцами Гессенскими другом детства принцев Людвига и Отто Баварских. Хоть граф Макс и принадлежал к королевскому роду, но из-за своего морганатического происхождения не мог пользоваться всеми привилегиями. Он получил образование в резиденции в тени своих королевских троюродных братьев. Любовь к лошадям объединяла интересы графа Хольнштайна и кронпринца Людвига с юности. Так между ними возникла дружба.
Шли годы. 30 июня 1857 года умер граф Карл Теодор фон Хольнштайн в возрасте 59 лет. После смерти графа фон Хольнштайна дорога к алтарю его овдовевшей супруги Каролины была наконец свободной. 21 сентября 1857 года Каролина вышла замуж за барона Вильгельма фон Кюнсберга. Бракосочетание состоялось в паломнической церкви Wallfahrtskirche в Кройцберге в Швандорфе. Их дети были узаконены 7 июля 1859 года и носили отныне имя фон Кюнсберг, бароны и баронессы фон Фронберг.
Все же счастье супругов фон Кюнсберг продолжалось недолго. Историк, этнограф Альфред Вольфштайнер отмечает, что здоровье Каролины, возможно, было ослаблено многочисленными родами, она умерла 24 июля 1859 года в возрасте 44 лет в замке Фронберг. Доподлинно точно неизвестно, от чего умерла Каролина. Саркофаг с останками графини стоит в соседнем помещении, прилегающем к часовне замка. Ее сын Макс уже в возрасте 24 лет остался круглым сиротой. Надгробный камень барона Вильгельма фон Кюнсберга находится также в замке Фронберг.
Граф Макс начал свою придворную карьеру в 50-х годах XIX века как камер-юнкер и офицер 1-го кирасирского полка (тяжелая кавалерия). 31 марта 1855 года он был назначен юнкером, 22 апреля 1859 года унтер-лейтенантом и также был призван на придворную службу. 28 ноября 1861 года графа повысили до звания ротмистра, 21 ноября 1870 года он получил майора, 24 июля 1879 года звание подполковника и, наконец, 24 октября 1884 года назначен полковником.
Также граф фон Хольнштайн являлся наследственным рейхсратом баварской короны и относился к либеральному меньшинству 1-й палаты парламента. Одно время граф Макс состоял адъютантом у своего дедушки принца Карла Баварского.
В 1857 году после смерти отца Карла Теодора графу Максу перешли по наследству владения в Верхней Баварии. Частым местопребыванием графа был в основном замок Шварценфельд. Благодаря предприимчивой жилке Хольнштайна регион Верхнего Пфальца процветал. Здесь возникло большое частное прудовое рыбное хозяйство Баварии. Карпы, щуки, судаки из графских прудов пользовались большим спросом за столом у аристократов. Зеркального карпа из Шварценфельда подавали к трапезе даже на печально знаменитом «Титанике».