С возвращением в столицу Бурбонов и установлением режима Реставрации положение многочисленных представителей клана Бонапартов, окруженных откровенной враждебностью новых властей, становилось угрожающим. Гортензия вознамерилась любой ценой обеспечить безопасность и материальную будущность своих детей. Она ясно видела, что из всех вождей антинаполеоновской коалиции может рассчитывать лишь на благоволившего к ее матери Александра I. Ее надежды на царя оправдались. При его активном содействии Гортензия Богарне-Бонапарт получает от Людовика XVIII титул герцогини де Сен-Лё, пенсию и апанаж (удел) в размере 400 тыс. франков, предназначенный ее сыновьям.
Неожиданное возвращение Наполеона с о-ва Эльба и последовавшие за этим Сто дней, завершившиеся его разгромом при Ватерлоо и окончательным отречением, в корне изменили ситуацию. Во Франции развернулся Белый террор в отношении бонапартистов и активных участников революции. 1 января 1816 г. был принят закон об изгнании всех членов семейства Бонапарт из Франции. Гортензия покинула Париж еще в июле 1815 г., успев заблаговременно распродать свое имущество. Одним из покупателей ее коллекции старинной живописи на очень выгодных для Гортензии условиях стал все тот же русский царь.
В это время ее настиг второй удар. Людовик Бонапарт, давно добивавшийся передачи ему на воспитание обоих сыновей, сумел «отсудить» у жены старшего, Наполеона-Людовика, которого в октябре 1815 г. Гортензия вынуждена была отправить к отцу, в Богемию. Младший, Луи-Наполеон, остался с матерью, которая в 1817 г. на вырученные от распродажи имущества средства и доставшееся после смерти матери наследство приобрела небольшой, но красивый замок Арененберг на севере Швейцарии, на границе с Баварией. Свой замок Гортензия превратила в своеобразный музей, воссоздав в нем обстановку эпохи Империи. Здесь изгнанников посещали родственники, друзья и заезжие знаменитости, среди которых – Александр Дюма-отец, Жорж Саид, Шатобриан и др. В замке Арененберг Луи-Наполеону доведется провести долгие семнадцать лет.
В июне 1819 г. Гортензия подберет ему воспитателя – некоего Филиппа Леба, сына бывшего члена Конвента, близкого друга Робеспьера. Сам Леба в молодости был моряком, затем офицером наполеоновской армии, отличившимся в ряде кампаний. С падением империи он стал школьным учителем. Ему было что рассказать своему воспитаннику о революции и ее героях, о войнах времен Республики и Империи. В сознании впечатлительного подростка рассказы Леба соединялись с тем, что он постоянно слышал от матери и ее гостей об исторических деяниях его великого дяди. В результате в нем сформировалось твердое убеждение в существовании некой сакральной связи между народом Франции, Революцией и вышедшим из нее Наполеоном Бонапартом. Убежденность в народном характере режима, установленного Наполеоном, племянник императора французов пронесет через всю свою жизнь.
Формирование умственного кругозора Луи-Наполеона, конечно же, не ограничивалось теми уроками, которые он получал в замке Арененберг. Гортензия отдала своего сына в Аугсбургский коллеж, где он получил хорошее общее образование и свободное знание трех языков – немецкого, итальянского и английского. В 1827 г. девятнадцатилетний Луи-Наполеон, под влиянием другого своего наставника, бывшего майора императорской гвардии Паркена, записывается в Военную инженерно-артиллерийскую школу, находившуюся в городке Тури, недалеко от Берна. Когда год спустя, начнется война между Россией и Турцией, Луи-Наполеон изъявит желание отправиться на помощь туркам, но это намерение не будет тогда реализовано. По окончании учебы он поступает на службу в швейцарскую армию, где в 1834 г. получит чин капитана артиллерии.
Падение режима Реставрации в результате Июльской революции 1830 г. возродило у Луи-Наполеона надежду на возможность возвращения во Францию, но закон, принятый новыми властями 2 сентября того же года, подтвердил прежний запрет для Бонапартов появляться на французской территории. Не имея возможности вернуться на родину, жаждавший деятельности двадцатидвухлетний Луи-Наполеон принял участие в заговоре моденского революционера Чиро Менотти, поставившего целью освободить Рим от светской власти папы. К этому заговору Луи-Наполеон сумел приобщить и своего старшего брата, Наполеона-Людовика, проживавшего с отцом во Флоренции. Вступив в ряды карбонариев, сражавшихся против австрийских войск, оба юных Бонапарта были одержимы фантастической идеей – выкрасть из Вены своего кузена, герцога Рейхштадтского и провозгласить его королем Италии (при рождении сына Наполеон, как известно, даровал ему титул короля Римского). До достижения им совершеннолетия регентство должен был осуществлять Наполеон-Людовик.