Наполеон часто заявлял, что он никогда не был так богат. Из мэрии он переехал в очаровательный буржуазный дом, помпезно назвав его своим городским дворцом. Дом был расположен на скале между фортом Фальконе и фортом Этуаль, на бастионе, названном де Мулен. Он состоял из двух соединенных постройкой павильонов. Из окон просматривался весь город и порт. В Сан-Мартино находился его деревенский дворец. До его приезда это была лачуга, которую Наполеон реконструировал и со вкусом обставил. Там он никогда не спал. Туда он совершал лишь прогулки. Расположенный у подножия довольно высокой горы, на берегу ручья, окруженный лужайкой дом смотрел на город, амфитеатром раскинувшийся перед ним. У подножия города — порт, и на горизонте, через мглистое море, — берега Тосканы.
Через шесть недель на остров Эльба приехала мать императора, а несколькими днями спустя принцесса Полина. Она встретилась с императором во Фрежюсе и хотела отплыть вместе с ним, но была так больна, что врач ей это категорически запретил. Английский капитан пообещал, что вернется в назначенный день и заберет принцессу, но день прошел, фрегат не появился, и принцесса воспользовалась случайным неаполитанским судном. В этот первый приезд она была на острове только два дня. Оттуда она отправилась в Неаполь, но 1 ноября бриг «Непостоянный» вновь привез ее, чтобы она больше не покидала императора.
Понятно, что, переходя от такой бурной деятельности к полному отдыху, Наполеон вынужден был искать для себя занятия. Все его часы были заполнены. Он вставал на рассвете, закрывался в библиотеке для работы над своими военными мемуарами до восьми часов утра. Потом он проверял ведение хозяйства, беседовал с рабочими (почти все они были его старыми гвардейцами). К одиннадцати часам он очень плотно завтракал. В сильную жару он после завтрака час или два спал. Часам к трем он обычно выходил, садился на лошадь или в коляску в сопровождении маршала Бертрана или генерала Друо. В этих прогулках они всегда сопровождали его. По дороге он внимательно выслушивал их, не оставляя без ответа ни одного предложения. К шести часам он возвращался, обедал со своей сестрой, жившей на первом этаже его городского дворца. Бывало, что к столу приглашали интенданта острова мсье де Бальбиани, или командира Вантани, или мэра Порто-Феррайо, или же полковника Национальной гвардии, а иногда и мэров Порто-Лонгоне и Рио. По вечерам спускались в апартаменты принцессы Полины.
Мать императора жила в отдельном доме, его уступил ей камергер Вантини.
Эльба в это время становится местом паломничества. Вскоре наплыв иностранцев стал настолько велик, что появилась необходимость принять меры, чтобы избежать беспорядков, возможных из-за нашествия такого количества неизвестных, среди которых было немало авантюристов, приезжающих на поиски фортуны. Продуктов стало вскоре явно не хватать, и их пришлось привозить с континента. Коммерция Порто-Феррайо процветала, и это процветание улучшило общую обстановку. Так, даже в ссылке присутствие Наполеона стало источником благоденствия для страны, которой он принадлежал. Его влияние распространилось вплоть до низших классов общества. Новая атмосфера окружила остров.
Среди иностранцев большую часть составляли англичане. Они, казалось, придавали огромное значение тому, что видят и слышат его. Со своей стороны Наполеон принимал их с благодушием. Лорд Бентинг, лорд Дуглас и некоторые другие сеньоры высшей аристократии увезли в Англию драгоценные воспоминания о том, как они были приняты.
Из всех визитов более всего радовали императора визиты большого числа офицеров всех национальностей — итальянцев, французов, поляков, немцев, приезжающих с предложением о помощи. Он отвечал, что у него для них нет ни мест, ни соответствующих званий. «Ну так что ж, мы будем служить простыми солдатами», — говорили они. И почти всегда он зачислял их в гренадеры. Эта преданность его имени более всего льстила ему.
Настало 15 августа. Это был праздник императора, который отмечался с пышностью, не поддающейся описанию, и должен был стать для него, привыкшего к официальным праздникам, совершенно новым спектаклем. Город давал бал императору и гвардии. Просторный, элегантно отделанный шатер был раскинут на большой площади, и Наполеон приказал открыть его со всех сторон, чтобы весь народ мог принять участие в празднике.