Главное же, губернатор изводил Наполеона и его окружение назойливым соглядатайством, мелкими, по всякому поводу, запретами и досмотрами, причем самых нужных императору людей выжил с острова. В ноябре 1816 г. уехал Лас-Каз — секретарь императора, автор лучших записей из всей литературы о пребывании Наполеона на острове Святой Елены, а в июле 1818 г. был удален О'Мира за то, что он, по мнению губернатора, оказался «более предан Наполеону, чем Англии». После этого до приезда на остров в сентябре 1819 г. корсиканца Ф. Антомарки, присланного по просьбе Бертрана от кардинала Ж. Феша, Наполеон больше года оставался вообще без доктора, ибо английских врачей Лоу к нему не допускал.
Разумеется, Наполеон энергично протестовал против каждой акции губернатора, но тот становился лишь еще более мстительным, а комиссары великих держав на острове не вмешивались в конфликт между губернатором и его пленником. Кстати, за все шесть лет жизни Наполеона в Лонгвуде ни один из комиссаров ни разу не увиделся с ним, поскольку Наполеон отказывался принимать их как официальных лиц и приглашал к себе в качестве лиц частных, а комиссары хотели, чтобы все было наоборот и не иначе. Русский комиссар Бальмен, вначале показавшийся губернатору излишне лояльным к Наполеону, был нейтрализован женитьбой на дочери губернатора, после чего вел себя, как и другие комиссары, проанглийски. В апреле 1818 г. Бертран предложил Бальмену доставить письмо Наполеона к Александру I с какими-то сведениями, которые могли бы не только «помочь Наполеону», но и «сослужить службу России». Бальмен отказался…
Наполеон не зря приравнивал свою ссылку на остров Святой Елены к «смертному приговору». Для натуры такого масштаба, с такими возможностями и энергией жизнь под властью «кретина» Лоу была медленным умиранием. «Ему Европа была мала для размаха, а он был брошен на крошечную скалу, заблудившуюся в океане!» — восклицал А.К. Дживелегов.
Больше всего угнетала императора вынужденная праздность. Ему недоставало всего — общения, информации и главным образом деятельности. Круг его добровольных сотоварищей по изгнанию был слишком узок, а контакты с жителями острова запрещены. Наполеон привязался было к 14-летней дочери английского морского агента на острове Бетси Бэлкомб и даже к рабу-малайцу Тоби, но Лоу в марте 1818 г. удалил Бэлкомбов и Тоби с острова.
В безысходном изгнании, на «проклятой скале», как называл он «свой» остров, Наполеон тосковал не только о мировой славе и прекрасной Франции, но и о семье — о матери, жене, сыне, братьях и сестрах. Все они, кроме сестры Элизы, переживут его и узнают от тех, кто был с ним на острове, как часто вспоминал он «маму Летицию» и «римского короля», добряка Жозефа и красавицу Паолетту, как верил в добродетель Марии Луизы и даже завещал, после того как он умрет, сердце его положить в спирт и отослать Марии Луизе. Он так и умрет, не зная, что Мария Луиза еще до Ватерлоо обязалась перед отцом, в обмен на титул великой герцогини Пармской, никогда не писать ни строчки Наполеону, а сама утешилась с придворным шаркуном графом А. Нейпергом, которому родила двоих детей. Ребенка же от Наполеона, уже всемирно известного «римского короля» («орленка», Наполеона II, как называли его бонапартисты), она оставила в Вене, чтобы он воспитывался как австрийский принц.
Судьба «орленка» сложилась трагично. Летом 1815 г., в дни Венского конгресса, А.И. Михайловский-Данилевский видел его в Шенбрунне и рассказывал, что 4-летний малыш «часто твердил о Фонтенбло и всякий день спрашивал о своем папеньке». Через шесть лет, узнав о смерти Наполеона, «орленок» горько его оплакивал, а на 22-м году жизни, именуясь уже по-австрийски герцогом Рейхштадтским, надломленный борьбой его французского начала с австрийским воспитанием, умер в Шенбрунне от чахотки.
Надеялся ли Наполеон вернуться с «проклятой скалы» в Европу? Да, по крайней мере в первые два года ссылки он прямо говорил, что рассчитывает на смену правительства в Англии, а именно на смерть болезненного принца-регента Георга Уэльского, дочь которого Шарлотта, известная своей приязнью к Наполеону, займет трон: «Она призовет меня!» В 1817 г. эти надежды Наполеона развеялись как дым. Двадцатилетняя принцесса Шарлотта умерла при родах, а принц-регент превозмог все недуги, с 1820 г. стал королем Англии и пережил Наполеона на девять лет. Мало того, ранней весной 1819 г. Лоу получил и немедленно сообщил Наполеону радостную для первого и убийственную для второго весть о том, что союзные монархи на конгрессе в Ахене подтвердили свое решение не выпускать Наполеона с острова Святой Елены и одобрили условия, в которых Англия содержит его. Теперь у Наполеона не осталось вообще никаких надежд на освобождение.