Его отец давно лелеял мечту сделать хотя бы из одного ребенка вундеркинда, возможно следуя примеру Моцарта. Таким образом, Карл Мария уже в трехлетнем возрасте начал заниматься музыкой с отцом и со своим сводным братом Фридолином, правда, сначала безуспешно. «Карл, ты можешь стать кем угодно, но музыкантом не станешь никогда», — однажды в отчаянии воскликнул Фридолин. Однако отец настоял на том, чтобы занятия музыкой продолжались, хотя в то же время Карл Мария обучался живописи, рисованию, чеканке на меди, как он сам рассказывал позже: «Живопись и музыка занимали все мое время. В первой я, к счастью, имел успехи, я писал миниатюры маслом, пастелью, работал также гравировальной иглой. Но неожиданно эти занятия прекратились, и музыка вытеснила наконец все полностью. Все произошло неосознанно». Вскоре это понял и отец, который делал все возможное, чтобы из хрупкого и болезненного мальчика, который был скорее в тягость кочующей семье, сделать музыкального вундеркинда.
Осуществлению этого намерения способствовало одно обстоятельство: его мать Женевьева по прибытии труппы в Гильдбургхаузен на Верре — шел 1796 год — серьезно заболела, и следовательно, семья должна была долгое время жить вдали от труппы. Карла Марию отдали в ученики тогда еще молодому капельмейстеру и композитору Иоганну Петеру Гейшкелю, который вовремя сумел привести в порядок сумбурные и дилетантские знания своего ученика. В его автобиографическом романе говорится: «По настоящему лучшими навыками сильной, выразительной игры на фортепьяно и такой же тренировкой рук я обязан доброму, строгому и прилежному Гейшкелю из Гильдбургхаузена (1796–97)». С этих пор обучение быстро продвигалось, а его отец, все еще обуреваемый мыслью о вундеркинде, теперь больше, чем раньше стремился отдать своего сына в хорошие руки. Когда в 1797 году, после улучшения здоровья матери, семья отправилась в Зальцбург, Франц Антон использовал возможность и послал Карла Марию учеником к Михаэлю Гайдну, который даже бесплатно давал уроки фортепьянной игры, контрапункта и пения. Хотя Вебер позже и писал, что они остались чужими, что учился он недолго и с большими трудностями, в это время появилось его первое произведение 6 фугетт op. 1, которое опубликовал его отец и которое в «Allgemeine Musikalische Zeitung» получило положительный отзыв.