В отчаянии Эдвард покинул деревню и вообще уехал из страны. Сначала он ненадолго задержался в Западной Европе, а затем перебрался в Канаду. За годы своих скитаний Эдвард увлекся изучением наук, в особенности астрономии и истории древнего Египта. Однако в Канале у него вскоре начались проблемы со здоровьем, и он переехал южнее — в Соединенные Штаты. Он жил в Вашингтоне, Калифорнии, Техасе, пока не осел окончательно во Флориде. Это произошло в 1918 году, когда ему был уже 31 год.
В городе Флорида-Сити он купил участок земли площадью в один акр (это 40 соток по-нашему). Здесь Эдвард развернул грандиозное строительство, реализуя на практике давно зревшие творческие замыслы и навыки своей профессии каменщика. Задуманное им сооружение он посвятил отвергнувшей его невесте и назвал «монументом 16-летней любимой».
По ночам Эдвард вырезал из кораллового известняка свои первые скульптуры, а днем штудировал науки, отдавая теперь предпочтение изучению законов магнетизма и взаимодействия космических сил. Он был открытым и дружелюбным человеком и нередко приглашал соседей и просто прохожих заглянуть в «жилище Эда», где с гордостью демонстрировал им свои успехи в строительстве и особенно — в резьбе по камню, которые и в самом деле были впечатляющими.
Со временем слух о необычном каменщике и скульпторе распространился по всей округе, и к Эду начали приходить буквально толпы посетителей. Он стал проводить с ними нечто вроде экскурсий и брать с них за это небольшую плату.
В 1936 году Эд решил переехать в другое место. Он купил значительно больший и расположенный на возвышенности участок земли площадью в 10 акров (4 гектара) вблизи Хомстеда, в нескольких милях от прежнего места жительства. Теперь перед ним встала задача, как переместить на новый участок несколько сот тонн каменных конструкций и произведений искусства.
Эд одолжил у соседа трактор с прицепом и и течение нескольких месяцев по ночам грузил в нею спои мицелия, днем перевозил их на новое место, а следующей ночью разгружал. Никто никогда не видел, как он укладывал их на прицеп и снимал с него. Сначала Эд назвал свою новую усадьбу «Парк каменных ворот», но затем переименовал се в «Коралловый замок». Именно под таким названием она вошла в легенду об Эдварде Лидскалнинше.
До самой своей смерти в 1951 году Эд практически вел жизнь отшельника. Он со всех сторон отгородился от внешнего мира каменными стенами высотой в 2,5 метра, а ворота его замка большую часть времени были закрыты. Но изредка он открывал их для посетителей, охотно плативших за то, чтобы полюбоваться его удивительными работами, которые он всегда показывал с нескрываемой гордостью.
Многие посетители задавали Эду вопрос: как он смог перемещать огромные глыбы известняка, не прибегая к помощи грузоподъемных машин и механизмов? На это Эд всегда с улыбкой отвечал, что ему удалось проникнуть в тайны древних строителей египетских пирамид.
На сегодняшний день замок Эда по праву считается одним из подлинных современных «чудес света» и лучшим образцом каменной архитектуры на территории США. Ежегодно его посещают до 100 тысяч туристов. Однако по-прежнему остается загадкой и продолжает вызывать удивление, как такой, прямо скажем, весьма щуплый человек смог в одиночку ворочать многотонные каменные заготовки и изделия.
В замок ведут единственные ворота, каменная дверь которых весит 9 тонн. При этом она поворачивается на своих опорах очень легко — чтобы открыть или закрыть ее, достаточно совсем небольшого усилия. Инженеры и ученые теряются в догадках, как удалось Эду найти центр тяжести огромной плиты и так идеально отбалансировать ее подвеску.
Свое жилище Эд построил в углу замка и назвал его «Башней». Общий вес «Башни» составляет около 243 тонн, а отдельных каменных блоков, использованных при ее строительстве, — до 9 тонн. Кстати, блоки, из которых древние египтяне соорудили Великую пирамиду, или Пирамиду Хуфу (Хеопса) в Гизе, весили меньше.
Весь первый этаж своей «Башни» Эд отвел под мастерские, а жилые помещения устроил на втором. Примечательно, что он никогда не разрешал входить в «Башню» ни одному посетителю. Неподалеку от «Башни» Эд выкопал колодец, а рядом с ним соорудил павильон с ванной.
На всей территории замка можно видеть множество удивительных сооружений, изделий и скульптур из камня. Есть там вырезанные из известняковых монолитов, но тем не менее весьма удобные кресла-качалки и кресла «для чтения». Есть и большой стол, поверхность которого повторяет форму штата Флорида. А уникальные солнечные часы поражают своей точностью: по ним можно определять не только часы, но и минуты, а также местное поясное время в различных частях земного шара. Над изготовлением этих часов Эд трудился более 2 лет.