"Капитан Фаннинг лег спать как обычно в девять часов вечера, но очнулся от глубокого сна между 9 и 10 часами, оказавшись на верхних ступенях сходного трапа. Это обеспокоило его, потому что раньше он никогда не ходил во сне. После непродолжительного разговора с первым помощником, который расхаживал по палубе, он вернулся в каюту. Фаннинг проспал меньше получаса, снова проснулся, обнаружив себя вновь на верхней части сходного трапа. На этот раз он провел более длительную беседу с помощником и вернулся в каюту. Затем капитан проснулся в третий раз, оказался на том же месте, но полностью одетым. Это так встревожило Фаннинга, что он пришел к выводу (по его собственным словам) о своего рода "сверхъестественном вмешательстве" и решил лечь в дрейф на оставшуюся часть ночи. Другие офицеры и члены экипажа были удивлены и, очевидно, подумали, что капитан потерял душевное равновесие. Приказав позвать его на рассвете, Фаннинг вернулся в каюту и на этот раз долго крепко спал. Утром корабль лег на другой галс и продолжал идти тем же курсом. Однако моряки не успели проплыть далеко, так как впереди показались буруны. Руль был тотчас положен на борт, а на расстоянии меньше мили был отчетливо слышен шум бурунов. Все на корабле были потрясены, понимая, что если бы они шли попутным ветром еще полчаса, то никто не дожил бы до восхода солнца".
Хотя капитан Фаннинг отметил положение острова в вахтенном журнале, он не сделал своевременный отчет, и официальная заслуга открытия была приписана капитану Суэйлу, чей корабль "Пальмира" сбился с курса во время шторма, который пригнал судно к острову в 1802 году.
В 1816 году "Эсперанса", испанский пиратский корабль, нагруженный золотом и серебром — добычей, награбленной в храмах инков в Перу, подвергся нападению со стороны другого судна, и произошел жестокий бой. Несколько членов экипажа "Эсперансы", сумевших выжить в сражении, отплыли с сокровищем, но потерпели крушение, натолкнувшись на ближайший риф. Пока корабль тонул, они сумели перенести сокровище на остров, расположенный за рифом, который назывался Пальмирой. Находясь там в течение года, они якобы зарыли золото инков под деревом на Пальмире и затем отплыли на сделанных ими плотах. Один плот был подобран американским китобойным судном, причем на плоту оказался выжившим лишь один человек, который вскоре умер от пневмонии. О другом плоте больше ничего не слышали.
В 1855 году одно китобойное судно потерпело крушение на рифах Пальмиры, но попытки обнаружить корабль и его команду не увенчались успехом. В 1862 году Пальмира была аннексирована государством Гавайи, которое в 1897 году присоединилось к США.
Право на владение островом было передано судье Генри Э. Куперу с Гавайских островов в 1911 году за 750 долларов. Он в конечном счете продал все, за исключением одного островка Пальмиры — Хоум–айленда. Очевидно, он все же верил слухам о том, что бесценные сокровища, часть пиратской добычи "Эсперансы", по–прежнему хранятся под деревом. За исключением Хоум–айленда, остальная Пальмира в 1922 году перешла в собственность семьи Фуллер–Лиоу, которая в 1940 году была втянута в юридический спор с США из‑за Пальмиры. США хотели, чтобы Пальмира была передана под юрисдикцию Министерства военно–морского флота ввиду угрозы распространения Второй мировой войны на Тихий океан. Хотя вопрос о статусе собственности был в конечном счете решен в пользу семьи Фуллер–Лиоу, остров использовался ВМС США во время войны. В наши дни на острове можно найти орудийные окопы, склады для боеприпасов и горючего, брошенное военное оборудование, пулеметные бункеры, подземные туннели и здания, а также остатки взлетно–посадочной полосы. Пальмира во время войны использовалась как база для дальних патрульных полетов. Остров был атакован лишь однажды, когда японская субмарина всплыла на небольшом расстоянии от берега и начала обстреливать берег палубным орудием. Огнем береговой артиллерии подводная лодка была отогнана. Хэл Хортон, бывший военно-морской офицер, находившийся на Пальмире с 1942 по 1944 год, рассказал следующее:
"Однажды один из наших патрульных самолетов упал около острова. Мы долго и упорно искали его, но не нашли даже болта или куска металла. Это было странно и поразительно. В другой раз самолет оторвался от взлетно–посадочной полосы, набрал высоту около 60 метров и повернул в неправильном направлении. Полагали, что самолет полетит на север, а вместо этого он полетел на юг. День был ясный. Мы ничего не могли понять. На борту было два человека, которых мы больше не увидели. Нам очень не везло на этом острове. Бывалые моряки называли его проклятым. Однажды мы услышали над собой звук самолета, который искал нас, но он рухнул в воду, прежде чем нашел взлетно–посадочную полосу. Мы не добрались до парня вовремя. Первыми его обнаружили акулы".