В 1655 году в центральной части косы находился пролив шириной сто ярдов, глубина которого достигала тридцати футов. Испанцы на косе не селились, используя ее оконечность — островок Кайо-де-Карена — для кренгования своих судов. Жить они предпочитали в селении Кагуайя (Пуэрто-де-Кагуайя), находившемся на западном берегу бухты, в устье Медной реки (Рио-Кобре). Селение защищал дряхленький деревянный форт, представлявший собой земляной вал и частокол. После захвата Ямайки англичане переименовали это селение в Пэссидж, или Пэсседж-Форт, саму гавань стали называть Порт-Кагуэй, а ранний Порт-Ройял, строившийся на оконечности косы, — Пойнт-Кагуэй, или просто Пойнт.
Уже через месяц после высадки в Кагуайе генерал Венэблз писал, что «в устье гавани необходимо возвести несколько блокгаузов…». В июле 1655 года на Пойнте начали строить первые простейшие укрепления. В сентябре Симон де Кассерес сообщал госсекретарю Тэрло о капитане Хьюзе, которого «оставили на мысе гавани заниматься фортификацией». Кассерес добавил, что «фортификация гавани не будет прочной, если ее не сделать из камня и извести, которые могут быть легко добыты на расстоянии двух миль оттуда». Действительно, недалеко от устья гавани находились холмы Порт-Хендерсона, богатые известняком, и покинутая испанцами печь для обжига извести.
По данным Майкла Посона и Давида Бюисере, написавших основательное исследование по истории Порт-Ройяла, с июля по декабрь 1655 года работы в форте шли довольно вяло, без энтузиазма. Строительная команда, находившаяся в распоряжении капитана Хьюза, к ноябрю установила лишь девять или десять пушек. Вице-адмирал Гудзон, находясь на борту флагмана «Торрингтон», в январе 1656 года писал:
«Мы были заняты работой по строительству форта для защиты гавани; когда его возведут, он будет средних размеров, а пока построен лишь наполовину. Но мы решили приложить к тому сердце и руку и, по-возможности, завершить его. В нем находятся батарейные пушки, привезенные из Англии, и те, что были взяты в Санта-Марте; всего установлено 20 пушек».
14 января того же года полковнику Хамфри было приказано «идти с его полком на помощь капитану Хьюзу». Солдаты полка доставили из Спаниш-Тауна в Пойнт-Кагуэй сто палаток «со всеми необходимыми вещами и принадлежностями к ним». Однако, увы, «все они оказались бесполезными». Кое-кто улизнул назад в Спаниш-Таун, многие солдаты умерли, так что в итоге пришлось привлечь к работам в форте военных моряков.
В марте 1656 года капитан Маартен ван Алфан из полка Хамфри получил приказ сменить капитана Хьюза; последний вернулся в Спаниш-Таун, где ему поручили следить за починкой восьмидесяти бочек. Эти бочки хотели задействовать для доставки извести с «большой земли» на Пойнт. Приготовлением извести постоянно занимались два человека — мастер Томас Гиббонс и помогавший ему рабочий. В апреле к ван Алфану прислали помощника — «пиротехника» Николаса Кина, которого в 1657 году (когда на Пойнте начали раздавать землю) назначили также землемером. В дальнейшем Кин отвечал за ремесленников и рабочих в форте, а ван Алфан — за солдат полка Хамфри, расквартированного в Пойнт-Кагуэе.
На территории форта решено было построить круглую башню, и с этой целью на соседний пляж было выгружено много камней, доставленных с холмов Порт-Хендерсона. К концу апреля 1656 года башня уже имела высоту пять футов, а «большой форт» был «почти завершен». Его соорудили в виде простого прямоугольника, в центре которого возвышалась упомянутая башня; орудийные площадки, расположенные по периметру, представляли собой простые дощатые настилы и песчаные насыпи с открытыми выходами. Форт оставался таким до 1662 года.
За активностью англичан на Пойнте внимательно следили испанцы. 3 апреля 1656 года дон Кристобаль Арнальдо де Исасси, возглавлявший испанские партизанские силы на Ямайке, сам видел с наблюдательного пункта на холме Порт-Хендерсона «восемнадцать судов, стоявших на рейде в гавани» и «около восемнадцати домов на мысе Кайо-де-Карена, а внутри гавани — семь крытых соломой хижин». Он добавляет, что «не увидел маленький форт на мысе… потому что он, должно быть, был низким». На недатированной испанской карте (примерно 1655–1656 годов) показаны двадцать домов на островке Кайо-де-Карена, а также форт, который выглядит скорее проектом в форме восьмиконечной звезды, чем реальным прямоугольным укреплением.