Всюду по Парижу были разосланы им гонцы с приказанием найти, во что бы то ни стало, фиалок. Но труд напрасный: нигде и ни у кого их не оказалось. Между тем час, когда должны были быть поднесены Жозефине цветы, приближался.
Взволнованный, встревоженный тем, что Жозефина может принять это за предзнаменование угрожающего ей какого-нибудь несчастья, Наполеон покидает дворец и пускается сам в поиски за цветами.
Он обходит все улицы, все площади, где продают цветы, но не находит ничего и обдумывает уже, как бы успокоить Жозефину, как, подходя к Лувру, видит у ворот маленькую, совершенно сгорбленную старушку с корзиной, полной прелестных букетиков фиалок. Вне себя от радости он выхватывает у нее лучший букетик, бросает ей горсть золотых и, прежде чем старуха приходит в себя, исчезает.
Торжествующий, он входит к Жозефине, подносит ей букет и рассказывает ей о всех тех трудах, которых он ему стоил.
Вспыхнув от радости, Жозефина обнимает Наполеона, благодарит его за труды и целует букет. Но вдруг бледнеет, чувствует себя дурно и, выронив букет из рук, с ужасом восклицает: «Прочь, прочь! Это цветы смерти... Они расцвели на могиле!»
Чтобы успокоить взволнованную Жозефину и доказать, что все, что она говорит, не что иное, как плод ее фантазии, Наполеон посылает за старухой, продававшей цветы. Но все поиски оказываются тщетными: никто ее не знает, никто ее не видал.
Предчувствие, однако, не обмануло Жозефину. Два дня спустя находят старуху, и она сознается, что нарвала эти цветы на чьей-то могиле, на кладбище св.Маргариты. Это были как раз цветы Жозефины, подаренные ею дофину.
С этой минуты Жозефина не знает более покоя. Смутное предчувствие чего-то страшного, какого-то неожиданного несчастья всюду преследует ее. И вскоре это предчувствие превращается в горькую действительность: она узнает о решении Наполеона разойтись с ней и вступить в брак с дочерью австрийского императора Марией-Луизой.
Решение это не заставляет себя долго ждать, и, принужденная расстаться с тем, кого она ценила выше всего на свете, кого чуть ли не боготворила, Жозефина удаляется в свой любимый замок Мальмезон, где, никого не принимая и ни с кем более не видясь, живет в уединении, вся предавшись уходу за цветами. В них она видит лучших своих друзей, им одним поверяет свое горе.
Тысячами свозят теперь сюда цветы со всех концов света. Здесь можно встретить детей юга и крайнего севера, уроженцев долин и гор и одного только нельзя найти — фиалки. Этих своих любимых цветов Жозефина не только уже не носит, не только не хочет более их видеть, но и не велит даже произносить их название...
Так проходит четыре года, как вдруг 9 марта 1814 года с букетом фиалок появляется к ней трехлетний малютка — сын Наполеона, а за ним и сам Наполеон. Растроганная до слез Жозефина бросается в объятия Наполеона и забывает на минуту всю горечь нанесенной ей обиды.
Это был последний счастливый день Жозефины, последний счастливый день ее жизни, потому что два месяца спустя в той же самой роскошной гостиной, где она принимала Наполеона с маленьким «королем римским», стоял уже, весь усыпанный фиалками, гроб ее и слышалось погребальное пение. Перенеся тяжелую жертву ради любимого человека, она не вынесла его горя — изгнания на остров Эльбу.
Но со смертью Жозефины фиалка не исчезает из истории Наполеона. Она делается девизом его приверженцев, а впоследствии и вообще партии Наполеонидов. Приверженцы эти продолжают видеть в ней цветок счастья великого императора. И когда 20 марта, как раз когда зацветают на юге первые фиалки, Наполеон убегает с острова Эльбы и появляется среди своих ликующих ветеранов, они встречают его радостными кликами: «Вот он, вот он отец фиалки». И все солдаты, все его приверженцы появляются с фиалками в петлице, все женщины — с букетиками этих цветов на груди, на шляпах, и все дома, все магазины украшаются фиалками — в надежде на новую весну, новое возрождение империи.
Однако ликование это, как известно, длилось недолго. 22 июня Наполеон уже принужден был отречься от престола в пользу своего малолетнего сына. Тогда, вспомнив о Жозефине, он отправился в последний раз в Мальмезон и нарвал на могиле ее фиалок, которые цвели тут чуть не круглый год. Но счастливая звезда, светившая с цветами Жозефины, зашла. Фиалки были взяты на могиле.
15 июля 1814 года он был посажен на корабль «Белерофон» и перевезен как пленник на остров Св. Елены.