«Вы обвиняете нас, будто мы позабыли о своем долге по отношению к нашей чести и Наполеону. Разве вы позабыли, что повсюду кости наших детей и братьев свидетельствуют о нашей преданности ему: в африканских песках, на берегах Гвадалквивира и Вислы, на снежных полях перед Москвой? За последние десять лет и даже больше три миллиона французов сложили голову ради человека, который по-прежнему желает побороть всю Европу. Мы сделали достаточно ради него, сегодня наш долг — спасти страну».
Эта речь стала завершающим ударом в крушении императора. Люсьен, поддерживаемый Даву, желал нового переворота, повторения 18 брюмера. «Будь смел!» — призывал он брата, на что Наполеон просто ответил: «Я был слишком смел». Он был совершенно опустошен и измучен и частенько часами просиживал в полном бездействии, время от времени разражаясь истерическим смехом или же бормоча себе под нос: «Ах! Mon Dieu!» Он опасался, что попытка переворота может привести к полнейшей анархии. «Меня повергали в ужас воспоминания из моей юности», — позднее объяснял он. 22 июня он отрекся в пользу своего сына, прекрасно зная, что австрийцы ни за что не позволят мальчику покинуть Вену. Затем, сопровождаемый Гортензией, он укрылся в Мальмезоне, в то время как Люсьен предпринимал отчаянные, но совершенно безуспешные попытки провозгласить императором Наполеона II. От Гортензии нам известно, что низвергнутый император не желал покидать Мальмезон, где провел столько радостных дней своей жизни. «Как прекрасно здесь было, — говорил он. — Как счастливы мы были бы здесь, если бы могли остаться навсегда».
Вскоре к Наполеону присоединились Жозеф, Люсьен и Жером. 25 июня четверо братьев приняли решение искать убежища в Соединенных Штатах, несмотря на то что большинство американцев были настроены чрезвычайно враждебно. В 1816 году бывший президент США Томас Джефферсон скажет о Наполеоне: «Я считал его самым дурным представителем рода человеческого, навлекшим на людей больше страданий и несчастий, чем кто-либо из живших до него». Проблема заключалась в том, как им пересечь Атлантику, поскольку Фуше отказался предоставить два фрегата, как они просили. Вскоре Люсьен отправился в Лондон просить корабль у англичан, хотя еще перед тем как Наполеон покинул Елисейский дворец. Гортензия предостерегла его: «Если ты предпочтешь бежать в Америку, то поторопись в порт, прежде чем о том пронюхают англичане. Они наверняка заточат тебя в лондонском Тауэре». Жозеф придерживался того же мнения, что доверять англичанам — чистейшей воды безумие. Тем временем Веллингтон и Блюхер двигались к Парижу. Франция располагала шестидесятитысячной армией, и такою же по численности национальной гвардией, и Наполеон, как рядовой генерал, предложил организовать оборону столицы под своим командованием. Однако Фуше настаивал, чтобы он немедленно покинул Мальмезон. До его отъезда 29 июня многие пришли попрощаться с ним, в том числе «мадам мать», дядя Феш и Мария Валевская. Если верить Тальма, Летиция проронила ровно две слезы, и ее прощание свелось к одной фразе: «Прощай, мой сын!» Гортензия зашила ему за подкладку бриллиантовое колье. Наполеон и Жозеф поодиночке отбыли в порт Рошфор.
Достигнув Рошфора, Наполеон обосновался в небольшой крепости на прибрежном островке Экс. Тем временем Жозеф зафрахтовал на имя месье Бушара американский бриг «Коммерс» водоизмещением 200 тонн, направлявшийся в Чарлстон, Южная Каролина, с грузом коньяка. Здесь он совершил единственный неоспоримо благородный жест за всю свою жизнь. За несколько дней до этого власти арестовали его, по ошибке приняв за императора, но затем отпустили восвояси. И хотя Жозеф был выше ростом и не таким полным, он понял, что может выдавать себя за брата, поэтому предложил остаться на Эксе, изображая из себя Наполеона, после того как последний отплывет на «Коммерс» в Америку под именем Бушара. Это предложение было отвергнуто, как недостойное для чести бывшего императора Франции.
15 июля Наполеон взошел на борт судна Его величества «Беллерофон», пребывая в заблуждении, что принц-регент предложит ему убежище в Англии.
Жозеф оказался более практичным. Его секретарь, американец Джеймс Карре, раздобыл в Рошфоре у вице-консула визы для «месье Бушара» и четырех его спутников, и ночью 24 июля Жозеф отплыл в Америку. 7 августа он ступил на сушу в Нью-Йорке. Во время этого вояжа его корабль был перехвачен двумя английскими фрегатами для проверки паспортов всех находившихся на борту пассажиров. Пока длился досмотр, «месье Бушар» оставался внизу, ссылаясь на морскую болезнь. Когда же шкипер «Коммерс» узнал, кто в действительности его пассажир, то заявил, что «скорее бы позволил судну взлететь на воздух, нежели выдал Жозефа». «Именно этого мне и хотелось бы избежать!» — воскликнул тот.