Основное внимание правительство Сиейеса должно было уделить армии и ведению войны. Благодаря влиянию Жозефа и Люсьена Бонапартов в Совете пятисот и своему вкладу в переворот, Бернадот получил предложение возглавить военное министерство. Баррас утверждал потом, что Бернадот был его кандидатом на этот пост, в то время как Сиейес и Рожер-Дюко пытались продвинуть на этот пост врага Бернадота и Клебера, бывшего интенданта Александра. Бернадот отлично представлял обстановку в стране и в армии и сначала это предложение отклонил. Он не желал становиться "мальчиком для битья" и понимал, что в своей работе в военном министерстве столкнётся с непреодолимыми трудностями — в первую очередь в лице самой Директории. Но на него "навалились" свояки Бонапарты, члены Директории, генерал Жубер и супруга Дезире, так что после интенсивных переговоров 2 июля 1799 года он стал военным министром Франции.
Историки утверждают, что в истории Франции не было ещё ни одного военного министра, который бы принимал руководство министерством в таких критических обстоятельствах. Поражения французских армий в Германии и Италии, гражданская война внутри страны, на границах коалиционные армии противника, отсутствие порядка и продовольствия, полная деградация власти, разложение армии и упадок духа у населения, — вот далеко не полный список проблем, перед которыми оказался Бернадот, когда принял портфель военного министра Франции.
2 июля Бернадот приступил к исполнению своих обязанностей. С собой в министерство Жан Батист взял своих старых друзей и единомышленников: Жерара, Мэзона, Морэна, Сарразэна. Свояки Жозеф и Люсьен предприняли попытку продвинуть на ключевые посты военного ведомства своих людей с Корсики, но новый министр отбил все их атаки и сохранил за собой полную свободу действий. Если он кому и симпатизировал после переворота, то это были якобинцы типа Журдана, Ожеро и Шампионне.
На посту военного министра Бернадот пробыл всего два с половиной месяца. Что же удалось ему сделать за такое короткое время? Наполеон считал его деятельность сумбурной и дилетантской и что "…он делал только ошибки, ничего не организовал, и Директория была вынуждена удалить его с поста". Поль де Баррас, не самый жаркий почитатель Бернадота, придерживался на этот счёт другого мнения: "Бонапарт хочет принизить всё, чему он обязан Бернадоту. Он и его армия годами жили за счёт того, что он сделал за несколько месяцев…" Апологеты Карла XIV Юхана оценивают эту деятельность в самых хвалебных выражениях. Современные историки тоже полагают, что деятельность Бернадота как военного министра была полезной и честной, и этого нам вполне достаточно. Судить о её эффективности трудно, потому что плоды его трудов могли проявиться не сразу, а года через полтора-два. Но к тому времени на его месте были уже другие министры, в том числе недруг Бертье.
По мнению немецкого историка А. Имхофа, стиль работы нового военного министра был похож на стиль работы Л. Карно. Бернадот вставал каждый день в три часа утра и отправлялся на работу. В 4.00 он был уже на месте и работал до 19.00–20.00. От своих подчинённых он требовал работы с семи часов утра до десяти часов вечера. Тех, кто не справлялся со своими обязанностями или не выдерживал такой нагрузки, он нещадно увольнял. С первых же дней новый министр повёл жесточайшую войну с казнокрадами, ворами, взяточниками и прочими нечестными чиновниками, засевшими в министерстве. Он вступил в войну с бюрократией и пытался сделать так, чтобы все дела и бумаги были разобраны и на все входящие письма были даны ответы не позже суток после их поступления. Он потребовал от казны предоставить ему наличные денежные суммы, приступил к закупкам одежды и обмундирования и стал наводить порядок в интендантствах.
Дома после работы он почти всегда заставал у себя Жозефа с женой, но старший Бонапарт явно ошибался, если думал, что свояк будет плясать под дудку корсиканцев. Уже через месяц, 6 августа, он представил Директории доклад, содержавший анализ положения страны, состояния армии и перечень мер, которые было необходимо принять. Лейтмотивом доклада стало восстановление мощи армии, её удовлетворительное снабжение, вооружение и обучение.
Министр отправил в действующую армию на Рейн и в Италию линейные полки, которые трусливая Директория, опасаясь за свою власть и жизнь, стянула внутрь страны. Он установил тесный и перманентный контакт с властями в департаментах страны, вступил с ними в постоянную переписку, а когда и где было нужно, выезжал на места сам и своими зажигательными речами всегда способствовал успеху того или иного предприятия. В газетах Франции в этот период регулярно появлялись распоряжения военного министра, его приказы, памфлеты и статьи. Своей агитацией он хотел возбудить в стране старый якобинский дух, который увял за годы Директории.