Потребовалось время и терпение, чтобы вдолбить в голову Каспара простейшие вещи, известные каждому ребёнку, что домашние животные отличаются от людей и что мячик подпрыгивает не потому, что он хочет прыгать. Такие же усилия потребовались для того, чтобы отучить его от хлебно-водной диеты и заставить есть каши.
Каспар делал успехи в обучении чтению и письму, проявлял интерес к садоводству, но всё же сохранял определённые странности в поведении. Всё, что он считал прекрасным, он называл «красным»,
(в оригинале выпадение текста)
дала у него под эти две категории. Никто даже не догадался дать ему краски, а ведь люди, у которых больше денег, чем ума, могли бы устроить настоящую битву за картины Хаузера.
Вскоре Каспар проявил удивительную предприимчивость для «совершенного идиота», неожиданно объявив о своём намерении написать историю своей жизни. Он приступил к своей работе, в то время как весь Нюрнберг чуть ли не сгорал от любопытства. Но позднее любопытство сменилось на тревогу, когда семнадцатого октября многообещающий автор был найден без сознания и с раной головы в подвале Даумера. Он приходил в сознание несколько дней. Когда Каспар, наконец, очнулся, то сообщил, что его ударил по голове мужчина с «чёрным лицом», вероятно, подразумевая кого-то в маске.
Это преступное нападение на того, кто в определённой степени прославил Нюрнберг, вызвало взрыв негодования среди высших должностных лиц города и особенно бургомистра. Юношу переправили в более надёжное место и дали ему в охрану двух полицейских. Позже, в июне 1830 года, его снова переселили, отдав под опекунство господина фон Тачера.
Через восемь месяцев после этого британец лорд Стэнхоуп, которому пришлось по душе дитя Нюрнберга, обратился к городским властям за разрешением взять его к себе. Переговоры затянулись на месяцы, и всё-таки Стэнхоуп, добившись оформления документа о передаче Каспара в его руки, отправил юношу в декабре 1831 года в Ансбах на попечение своего друга доктора Манера. Этот новый опекун пришёл к заключению, что блестящие умственные способности Каспара не что иное, как фикция, а в действительности у него ум восьмилетнего ребёнка. Он доложил об этом Стэнхоупу, который тут же утратил к этому делу всякий интерес и оставил Каспара в Ансбахе, больше не предпринимая никаких усилий, чтобы взять его в Англию.
Жители Ансбаха с восторгом и любопытством смотрели на Каспара, как будто они видели перед собою слона, украденного из соседнего цирка. Но этого слона не осчастливили меньшие по количеству толпы народа и уж совсем малое число сладких булочек. Каспар был слишком избалован большим вниманием к его персоне, и ему хотелось, чтобы так всё и оставалось. Он мечтал вернуться в Нюрнберг. Шло время, и он становился всё более удручённым. Он совершил краткосрочную поездку в Нюрнберг, и это ещё больше усилило его желание вернуться туда насовсем.
В полдень 14 декабря 1833 года Каспар Хаузер, шатаясь, вошёл в дом своего друга — священника в Ансбахе. Держа руку плотно прижатой к боку, он из последних сил произнёс несколько неясных слов о том, что какой-то мужчина нанёс ему удар острым предметом в городском саду. Его доставили домой, где доктор обнаружил, что у него серьёзная рана в области левой части грудной клетки.
На следующий день Каспар смог дать более подробное объяснение этому происшествию. По его словам, он был приглашён в городской сад незнакомым человеком, предложившим открыть Каспару тайну его родителей, взяв взамен клятву молчания. Получив клятву, мужчина вручил ему маленький кошелёк, нанёс удар острым предметом и убежал. С целью нахождения кошелька были проведены поиски. Наконец, его обнаружили. В нём находилось бессмысленное послание, подписанное буквами «М.Л.О.» Нападавшего найти не смогли.
Рана дала осложнения, и 17 декабря Каспар Хаузер умер. Ансбах и Нюрнберг были ошеломлены этим известием. Слухи о происшествии распространились по всей Германии и докатились до её границ. Разгорелись бурные споры. Среди людей циркулировали самые различные слухи. Закоренелые скептики клялись, что Каспар совершил крупнейший обман века. Истинные его почитатели утверждали, что он стал несчастной жертвой скандала в самых высоких кругах. А некоторые с большой уверенностью, но безо всяких доказательств, заявляли, что он был наследником баварского престола.