Бернадот к этому времени уже устал от той роли, которую ему навязали Талейран и Директория. В Париже это заметили и не преминули одёрнуть его за то, что он в кругу венской аристократии стал терять свой "республиканизм". Талейран, в частности, ссылался на статьи в прусских газетах, в которых утверждалось, что сотрудники французского посольства в Вене перестали носить триколор. Талейран писал, что он, естественно, не верит пруссакам, но на вид Бернадоту поставил. Этим же письмом Талейран отозвал из посольства двух адъютантов генерала. Последнее до чрезвычайности разозлило Бернадота, и 11 и 12 апреля, т. е. уже через два месяца дипломатической работы, он в двух письмах сообщил Талейрану о своём желании вернуться в армию и тут же перевёл часть своих банковских вкладов в векселя. Но он не успел получить на своё ходатайство ответа, потому что в тот день, когда он занимался банковской операцией, события в Вене развернулись таким образом, что самым драматичным способом положили конец его пребыванию в Вене.
13 апреля Вена праздновала годовщину выступления ополчения против Итальянской армии Наполеона в Штайермарке. Примерно в 6 часов пополудни Бернадот по собственной инициативе приказал вывесить у своей резиденции большой трёхцветный флаг с надписью: "Французская республика. Посольство в Вене", который он заказал накануне у местного портного Келлера и который около 5 часов пополудни был доставлен на Валльнерштрассе. Ещё ранее Бернадот заказал для посольства в Париже табличку с гербом республики, но поскольку она не пришла, а реприманд Талейрана всё ещё звучал в ушах Бернадота, то он решил компенсировать её отсутствие флагом.
Некоторые историки и биографы Бернадота утверждают, что он специально приурочил вывешивание триколора к празднику венцев, но Хёйер категорически отвергает эту версию, главным образом из-за того, что годовщину народного ополчения Вена собиралась праздновать только через четыре дня. Шведский посол Сильверстольпе между тем отметил, что император Франц II очень хотел бы, чтобы венцы в этот день именно перед посольством Франции продемонстрировали ему свою преданность.
В дипломатическом корпусе Вены вывешивание флагов на зданиях посольств не практиковалось. Согласно тогдашним обычаям, иностранные знамёна вывешивали только в случае завоевания города. И венцы восприняли эту манифестацию как вызов. На Валльнерштрассе собралась большая толпа и стала требовать флаг убрать. Шеф венской полиции Лей, который прибыл на место между 7 и 8 часами, полагал, что народу перед посольством было не более 300 человек, в то время как пара свидетелей происшествия утверждали, что их было всего около 40 человек. Полиция посоветовала послу уступить требованиям толпы или, в крайнем случае, связаться с Министерством иностранных дел и объясниться. Бернадот наотрез отказался сделать и то и другое.
Стемнело. Толпа не только не рассеивалась, но с каждым часом увеличивалась в размерах. Собравшиеся на балконе посольства французские дипломаты ещё более подогревали её своими колкими замечаниями и язвительными выкриками — поведение, недостойное любого дипломата. Среди них особенно провокационно вел себя секретарь Годэн и его супруга. И тогда в одно из окон посольства, что рядом с триколором, полетел камень. Раздался звон разбитого стекла. Камень бросили, по утверждению Хёйера, отнюдь не из толпы, а из дома напротив, где находилась таверна под причудливым названием "Где волк читает проповедь гусям". Кто-то из его подвыпивших посетителей — то ли "гусь", то ли "волк" — запустил камень через улицу.
И тут Бернадот допустил ещё одну оплошность. Вместо того чтобы подействовать на полицию, чтобы она разогнала толпу, он сам вышел на улицу — по свидетельству очевидцев, "в голубом вышитом золотом мундире, с вышитыми золотом же ножнами, при сабле и в шляпе с золотым кантом, украшенной плюмажем" — и стал по-французски, "с республиканской энергией", как он потом написал Талейрану, выкрикивать угрозы в адрес собравшихся. Австрийцы не понимали языка, но уяснили, что им громко угрожали, и это ещё более враждебно настроило их против посла и его людей. Время было примерно половина девятого, и полиция снова посоветовала послу спустить флаг, но это не возымело на него никакого действия. Он заявил, что будет защищать триколор до последней капли крови. Талейран мог быть довольным своим послом! А. Палмер утверждает, что в этот злополучный вечер посол хорошенько выпил, но против этого предположения резко выступает Хёйер, утверждающий, что это не соответствовало истине. Посол был трезв как стёклышко, он просто был возбуждён.