В 1791 г. Карл отправился со своими новыми родителями в Нидерланды, а в следующем году начал действительную военную службу – причем, учитывая происхождение, сразу с командных постов: в сражении с французскими войсками при Жемаппе 6 ноября 1792 г., которое закончилось полным разгромом австрийцев, он командовал бригадой. С первого же боя все отметили храбрость и распорядительность молодого эрцгерцога. В 1793 г. он воевал в авангарде войск принца Фридриха Саксен-Кобург-Заальфельдского, а в сражении при Альтенховене 1 марта того же года командовал кавалерийским полком и лихой атакой во многом способствовал победе австрийцев. В 1793 г. Карл был произведен в фельдмаршал-лейтенанты и назначен генерал-губернатором Австрийских Нидерландов. В следующем году под знаменами все того же принца Кобургского он принял участие в сражениях при Шлахтеме, Ландрецисе, Торнау и Флерюсе, но затем у него возникли серьезные разногласия с принцем по поводу планирования кампании, он был вынужден оставить армию и уехать в Вену, где ему «в компенсацию» присвоили звание фельдцейхмейстера.
В 1796 г., после потери Австрией бельгийских земель, Карл был назначен главнокомандующим Нижне-Рейнской (затем Верхне-Рейнской) армии и 10 февраля 1796 г. был произведен в имперские генерал-фельдмаршалы (Reichsgeneralfeldmarschall), став последним в истории Священной Римской империи человеком, получившим это звание. Карл успешно руководил армией в сражениях при Вецларе 15 июня 1796 г., где нанес поражение Самбро-Маасской армии Жана Батиста Журдана. Затем он сражался с Журданом и Рейнско-Мозельской армией Жана Моро при Раштадте, Тейнинге, Амберге, Вюцбурге, и в конце концов ему удалось отбросить армию Журдана за Рейн, тем самым поставив Моро в безвыходное положение и заставив его отвести свои войска, сведя на нет все предыдущие его удачи.
В этот момент Карл выступил с предложением заключить перемирие на Рейне, а его армию перебросить в Северную Италию и тем самым предотвратить возникновение кризиса на юге. Однако Гофкригсрат отклонил предложение Карла, а Итальянская кампания оказалась полностью проваленной. В 1797 г. после неудачных действий австрийских войск в Италии эрцгерцогу было приказано принять командование армией в Венеции. Но поправить положение он уже не смог и 18 апреля 1797 г. подписал в Лeобене условия прелиминарного мира. Наступил непрочный мир и эрцгерцог в ноябре 1797 г. получил посты губернатора и генерал-капитана Богемии.
Вскоре вновь пришли дни войны, и после провала Раштаттского конгресса в 1799 г. Карл принял командование армией, действовавшей на Лехе. Он добился успеха при Острахе, Пфулендорфе, Штокахе, Некерау и принудил все того же Журдана отойти за Рейн. В этот момент пришел приказ Гофкригсрата идти на Рейн и тем самым оставив без поддержки русский корпус генерала А.М. Римского-Корсакова, который вскоре был полностью разгромлен под Цюрихом. 17 марта 1800 г. Карл, возмущенный действиями Гофкригсрата, оставил армию и уехал в Богемию, где сформировал 25-тысячный добровольческий корпус, готовый противостоять французам в случае вторжения. Однако вскоре он заболел – сказалось слабое здоровье – и был вынужден отбыть на лечение.
Карл фактически отошел от дел – он вообще мало стремился к занятию высоких постов, постоянно отклоняя заманчивые предложения. Лишь после катастрофической для Австрии кампании 1800 г. и разгрома австрийцев при Маренго (14 июня) и Гогенлингене (3 декабря) Карл согласился вновь возглавить армию. Руководил отступлением войск и 25 декабря 1800 г. заключил с Францией перемирие в Штейере. По окончании военных действий, посчитав свою задачу выполненной, эрцгерцог покинул армию, вернувшись в ставшую ему родной Богемию.
Поражение 1800 г. привело к тому, что император Франц II – старший брат Карла – пришел к пониманию неотложной необходимости реформирования армии. 9 января 1801 г. эрцгерцог стал президентом Гофкригсрата. Он немедленно начал стремительными темпами ломать одряхлевшую военную систему Священной Римской империи, создавая на ее месте современную армию, которая могла бы потягаться с французами. Уже в декабре 1801 г. Карл создал ведомство президента Гофкригстара – фактически военное министерство, а в 1805 г. окончательно разогнал всем надоевший совет и лично возглавил созданное из своего управления Военное министерство. Сделано было много, но все же закончить реформы до новой войны – что было изначальной целью Карла – он не успел: полностью изменить характер и традиции австрийской армии ему было не по силам.
23 апреля 1805 г. в Санкт-Петебруге между Россией и Великобританией был подписан союзный договор, сформировавший Третью антифранцузскую коалицию, 8 августа к ней присоединилась и Священная Римская империя. Карлу было поручено принять командование австрийской армией в Венеции и руководить завоеванием Италии. Лишь 30 октября 1805 г. он принял участие в крупном сражении – у деревни Кальдиеро: здесь его 50-тысячная армия встретилась с 37-тысячным корпусом маршала Андре Массена. В целом ситуация складывалась вполне прилично: австрийцы удерживали позиции, потери французов росли, грозя перерасти в катастрофические. Надо было продолжить битву на следующий день, причем вариант, что французы потерпят поражение, был вполне реален. Однако в этот момент Карл получил известия о катастрофе под Ульмом, где 19 октября была разгромлена австрийская армия Карла Макка. После этого он оставил небольшой заслон и ночью вывел свою армию в Венгрию.
Было ясно, что реформы, начатые Карлом, необходимо продолжить. И вновь император Франц мог доверять лишь своему брату, которому он в 1806 г. дал неограниченные полномочия, объявив его главнокомандующим (генералиссимусом) имперской армией. Уже в январе 1806 г. в отставку было отправлено 25 генералов! В 1805–1809 гг. он полностью реорганизовал австрийскую армию, увеличив ее с 200 до 340 тысяч человек. Армия была сведена в 9 линейных и 2 резервных корпуса и делилась на 80 пехотных полков, 9 егерских батальонов, 8 кирасирских, 6 драгунских, 12 гусарских и 3 уланских полка. Австрийская артиллерия включала 760 полевых орудий, которые были выведены из состава полков и сведены в артиллерийские бригады.
С началом кампании 1809 г. эрцгерцог был назначен командующим главной Германской армией (включавшей в себя около 175 тысяч человек). Рано утром 10 апреля 1809 г. его армия начала переправляться через реку Инн у Браунау и вторгся на земли Баварии. Карл в очередной раз проявил себя блестящим полководцем, одержав победу в сражениях при Абенсберге и Ландсхуте. 22 апреля 1809 г. его войска потерпели поражение в сражении при Экмюле, во время которого Карл, увидев после начала боя, как разваливается его южный фланг, отдал приказ отходить к Ратисборну, что дало ему возможность избежать полного разгрома и сохранить боеспособную армию. В то же время после сражения написал императору: «Если у нас будет еще одно такое сражение, у меня не останется армии».
16 мая к армии эрцгерцога присоединился генерал И. Хиллер, и общая численность войск Карла достигла 115 тысяч человек, и на следующий день он организовал демонстрацию у Линца. 21 мая австрийские войска под командованием эрцгерцога Карла нанесли поражение французской армии у Асперна, а 22 мая дали противнику кровопролитное сражение при Эсслинге. Здесь Карлу противостоял сам непобедимый Наполеон и эрцгерцог заставил его отступить! Потери австрийской армии составили ок. 23 тысяч человек, 6 пушек и 1 штандарт, противник же потерял ок. 37 тысяч человек. В качестве трофея австрийцам досталось 3 пушки, 2 знамени и 7 повозок с боеприпасами. Это стало первым крупным поражением Наполеона, хотя в целом эта победа Карла и не оказала существенного влияния на ход всей кампании.
Развить успех Карлу не удалось – эта победа отняла последние силы австрийской армии. 5–6 июля армия эрцгерцога (около 111 тысяч человек и 452 орудия) потерпела поражение от армии Наполеона (около 170 тысяч человек и 584 орудия) при Ваграме. Потери каждой из сторон составили около 25 тысяч человек. Тем не менее и после этой катастрофы эрцгерцог провел блестящее отступление в имперские земли, сохранив армию, и 12 июля 1809 г. заключил в Цнайме перемирие.