Ежедневно Каспара приводили в полицейский комиссариат, чтобы изучить получше и чтобы он сам постепенно привыкал к обществу людей. Полицейские дарили ему яркие ленточки или монетки, отчего он приходил в восторг, повторяя «Лошадка, лошадка». Один солдат принёс ему игрушечную деревянную лошадь. Каспар обрадовался ей, «словно старому другу, чьего возвращения долго ждал», и вплоть до того, как пришло время уходить, не расставался с лошадкой, украшая ей шею монетками, ленточками и всем, что успел за это время получить от полицейских. Найдёныш горько плакал, когда пришло время идти к себе; унести игрушку с собой у него попросту не хватило сил. Вернувшись на следующий день, он уже не обращал внимания ни на что более, кроме своей игрушки, и сидел возле печи, возя игрушку по полу туда-сюда, украшая обрывками бумаги, ленточками и всем, что попадало под руку. Догадавшись о его желании взять лошадку с собой, полицейские отнесли её в комнату Каспара, где она заняла своё место подле кровати, так что найдёныш мог видеть её постоянно и играть целыми днями. В скором времени его деревянное стадо увеличилось до пяти лошадок, с которыми он стал неразлучен.
Ни в религии, ни в деньгах он совершенно не разбирался, грамматики не знал и употреблял выражения типа «я говорить, вы понимать». Он реагировал лишь на имя Каспар и сам о себе говорил исключительно в третьем лице. Память у найдёныша была невероятно цепкой, одного раза ему хватало, чтобы запомнить внешность каждого визитёра и позднее без запинки назвать его по имени.
Сколько Каспар помнил себя, он постоянно находился в крохотной каморке, в которой нельзя было ни встать, ни лечь во весь рост. Целыми днями он сидел, прислонившись спиной к стене, или ползал по полу. В каморке было два окна, забитые досками так, что внутрь почти не проникал свет, и потому стояли будто бы вечные сумерки. Кроме того, в каморке была печь, которую топили снаружи, и дверь, постоянно запертая, которую опять же снаружи только и можно было открыть. В полу была проделана дырка, внутри её находилось нечто вроде ночного горшка, куда предполагалось справлять нужду. Кормили его хлебом и водой. К нему приходил «черный человек», который учил его грамоте, а за провинности бил палкой по рукам.
Однажды ночью наставник грубыми движениями разбудил юношу, взвалил его на спину и вынес наружу, после чего, по словам Каспара, «стало совсем темно». Он не знал, сколько времени прошло после того, как неизвестный поднялся с ним вверх по холму или по лестнице, но затем его накормили, неизвестный поставил его на ноги и, обхватив сзади руками, стал учить ходить. Таким образом, кое-как переступая, Каспар продвигался вперёд. Неизвестный раз за разом повторял фразу о кавалеристе, пока мальчик не запомнил её наизусть, не понимая, что она значит. Каждая попытка поднять голову пресекалась окриком и приказом смотреть себе под ноги.
Затем они отправились в путь. Несколько раз, когда он уставал, его клали на землю вниз лицом, потом снова поднимали, и путь продолжался. Так они шли вдвоём два дня и две ночи. Несмотря на проливные дожди, они не останавливались на отдых в постоялых дворах, не разговаривали с встречными крестьянами, спали на голой и грязной от дождя земле. На третий день неизвестный переодел Каспара в чистую одежду, надел на него ботинки, после чего идти стало куда тяжелее; затем незнакомец, показав на ряды домов вдали, назвал их «большой деревней», научил, что спрашивать и как искать дорогу к Новым воротам, сунул ему в руки конверт и исчез навсегда.
Ансельм фон Фейербах отметил, что потрясение ребёнка, когда на него вдруг навалились звуки и краски внешнего мира, вполне естественно. Не исключено, что Каспара везли в телеге, пока он был в бессознательном состоянии, или в его питьё вновь подмешали опий. Поэтому определить, сколько времени продолжался путь, невозможно. Фейербах указал, что момент появления был выбран исключительно удачно – на Троицын день обитатели Нюрнберга имели обыкновение отправляться прочь из города, и шанс появиться незамеченными был велик. Биндер полагал, что неизвестный, доставивший Каспара в Нюрнберг, хорошо знал город и окрестности и, возможно, в прошлом служил в городском гарнизоне или в одном из квартировавших здесь полков.
С 18 июля 1828 до октября 1829 года Каспар жил у Даумера. У него появилась собственная комната и настоящая постель. Каспар уверял, что, лёжа в этой постели, он стал видеть сны. Уже к концу августа он научился говорить и писать (хотя и с орфографическими ошибками), связно выражать свои мысли, заинтересовался собственным прошлым и своей потерянной семьёй.