В июле 1831 года фон Тухер вместе с Каспаром и полицейским офицером по имени Хикель предприняли поездку в Венгрию, но найдёныш не узнал ничего и не понимал местных наречий. В октябре того же года один венгерский аристократ с сыном посетил Каспара. Тот якобы вспомнил, что в детстве отзывался на имя Иштван и некоторые венгерские слова показались ему знакомыми.
В ноябре 1831 года лорд Стенхоуп отправился в Ансбах, в гости к фон Фейербаху, передав Каспару золотые часы, кольцо и цепочку, а также 500 гульденов наличными. Фон Тухер разрешил Каспару оставить у себя подарки, но деньги забрал, мотивируя это тем, что найдёныш был слишком молод, чтобы распоряжаться столь крупной суммой. Из-за этих денег Каспар впервые рассорился со своим опекуном, требуя, чтобы с ним перестали обращаться как с младенцем. Фон Тухер, понимая, что найдёнышу вскружила голову лесть, написал Стенхоупу отчаянное письмо, умоляя оставить Каспара в покое, но безрезультатно.
21 ноября 1831 года лорд Стенхоуп официально потребовал передачи ему опекунства над Каспаром, обещая дать тому достойное образование и воспитание. Попытки фон Тухера и фон Фейербаха собрать деньги по подписке в фонд Каспара Хаузера и, таким образом, обеспечить его будущее успеха не имели. Каспар 24 ноября поддержал просьбу лорда, и она была удовлетворена. 10 декабря лорд перевёз Каспара в Ансбах и поселил в доме школьного учителя Иоганна Георга Мейера, изводившего Каспара мелкими придирками. Для охраны Каспара в Ансбахе был назначен отставной солдат, который должен был раз в день посещать дом, чтобы убедиться, что с найдёнышем всё в порядке, и сопровождать его во время прогулок. Стенхоуп уехал 28 января 1832 года и прислал Каспару несколько сентиментальных писем, но больше не вернулся в Ансбах.
Тем временем распространились слухи, что Каспар на самом деле является наследным принцем Бадена (официально – умершим в колыбели в 1812 году). В марте 1832 года фон Фейербах поехал в Мюнхен, где беседовал с королевой Баварии Каролиной, и начал своё расследование. Он передал офицеру полиции Эберхардту портрет Каспара и прядь его волос, чтобы определить, не был ли Каспар ребёнком, родившимся у священника Гутенбера и девицы Кинингшайм. Но эта версия не подтвердилась.
Каспара определили переписчиком бумаг в ансбахский апелляционный суд. Работа занимала несколько часов в день, остальное время он продолжал брать уроки у Мейера. Четыре раза в неделю к Каспару ходил учитель латинского языка. 20 мая 1833 года он прошёл лютеранскую конфирмацию.
29 мая 1833 года фон Фейербах, разбитый параличом, скончался. Распространились слухи, что его отравили, так как он слишком близко подошёл к разгадке тайны Каспара Хаузера. Сам фон Фейербах тоже так думал. Правая рука уже не действовала, потому на листе бумаги он с трудом вывел левой: «Мне что-то подсыпали». Записка эта осталась в семье Фейербах и была затем утрачена. Врачи описали болезнь фон Фейербаха как «имевшую нервный характер», но причин её понять не могли. Трижды казалось, что полицай-президенту становится лучше, но всякий раз его состояние вновь резко ухудшалось. Каспар был глубоко потрясен известием о его смерти.
29 сентября 1833 года Каспару Хаузеру предположительно исполнился 21 год. Он совершил поездку в Нюрнберг, где встретился с Биндером и Даумером и был представлен королеве Каролине и её сыну, королю Людвигу. В октябре 1833 года лорд Стенхоуп объявил о возвращении в Ансбах и попросил найти для него гостиницу, но не приехал. В ноябре он вновь написал, что собирается в гости, на сей раз в сопровождении жены и дочери, и вновь обещания не сдержал. В начале декабря Хикель уехал из города. 11 декабря Каспар навестил его жену и во время визита обронил мимоходом, что один «знакомый» приглашает его в городской парк посмотреть, как будут копать артезианский колодец. Фрау Хикель посоветовала ему не ходить, а вместо этого посетить бал, который должен был состояться в ближайшие дни. Каспар последовал её совету.
14 декабря 1833 года Каспар до полудня работал в суде, затем отправился к пастору Фурману, чтобы помочь ему изготовить несколько упаковок для рождественских подарков. Закончив работу, в сопровождении пастора он покинул дом, но на полпути извинился, заявив, что ему нужно зайти к «юной фрейлейн», живущей по соседству, но в три часа дня направился прямиком в городской парк, где неизвестный, отведя его в укромное место под предлогом передачи некоего важного документа, ударил его в грудь длинным ножом. Мейер считал, что «Хаузер сам нанёс себе рану, чтобы снова вызвать к себе внимание». Когда Каспар в этот субботний день около четырёх часов пришёл, шатаясь, к Мейеру, тот не поверил его рассказу.