Как выглядело святилище? Все три основных его здания были расположены точно одно за другим и развернуты на запад в сторону моря. Они казались большими лодками, плывущими в кильватерном строю. Архитектурный облик трех главных сооружений был абсолютно идентичен, начиная с конфигурации крыш и кончая формой и отделкой столбов и стропил. Сооружения протянулись на двести семьдесят четыре метра с востока на запад и на столько же с севера на юг. Три из них — Увацуцу-но-о, Накацуцу-но-о, Сокоцуцу-но-о — посвящены богу моря, и только четвертое здание, расположенное на юг от храмовых сооружений, — создательнице комплекса — императрице Дзингу.
Размер всех четырех строений одинаков — около четырех с половиной метров в ширину и более семи в длину. Фасадная стена имела сдвоенные двери. Боковые стены членились пятью мощными столбами, поставленными с интервалом в два метра. Задняя стена каждого из сооружений Сумиёси разделена одним широким столбом на две равные части — по два с лишним метра. Предполагается, что подобная конструкция — точная копия культовых сооружений древних времен. Правда, исследователи японской культуры находят некоторые вариации в деталях — например, замена полностью орнамента тиги, как это делалось в древности. Но и эта особенность, как и прямолинейность и строгость форм сооружения, — свидетельство явного сохранения в Сумиёси добуддийских строительных традиций.
Двускатные крыши четырех строений Сумиёси покрыты корой дерева хиноки (японский кипарисовик). Конек крыши выполнен в форме длинного деревянного короба из четырех досок. Поперек его, придавливая своей тяжестью, лежали пять квадратных в сечении капуоги. Интерьер сооружений святилища отличали единство цветовой гаммы и высокий уровень обработки дерева. Тщательно обтесанные и пригнанные друг к другу желтоватые стволы хиноки наполняли помещения теплым, золотистым светом. Стволы, впитывавшие влагу в период дождей, в жару отдавали ее, и тогда святилище наполнялось тонким запахом хвои. Некрашеное, сохраняющее всю прелесть фактуры дерево интерьера в то же время сочеталось с окрашенными с внешней стороны в яркий красный цвет столбами, членящими стены, и другими крупными конструктивными деталями строений. Эти ярко-красные столбы зрительно делили светлые стены на четыре квадрата. Широкие двери внешних (крайних к выходу) комнат были тоже покрыты красным лаком — некрашеными оставались только марши невысоких лестниц.
Специалисты предполагают, что при строительстве древних культовых сооружений существовал обычай покрывать все основные конструктивные деревянные части яркой краской, а крышу при этом (прежде всего конек) красить в темный цвет. В последующие столетия эта практика была изменена на опалубку конька медным листом.
Окраску отдельных частей культового здания, видимо, можно рассматривать как одно из свидетельств древности сооружения. Пожалуй, наиболее яркими особенностями древних конструкций, сохраненных святилищами Сумиёси, являются полное отсутствие веранды (энгава) и исключительно низкое по отношению к земле расположение пола. Балки, на которые настилался пол в Сумиёси, приподняты над землей всего на полтора метра (по сравнению с синтоистскими комплексами более позднего периода это очень мало). Если сравнивать святилища с дайдзёкю, где пол вообще отсутствует (там земля покрыта тонкими бамбуковыми стволами и свежескошенной травой), конструкцию пола в Сумиёси можно рассматривать как эволюционный, промежуточный этап между организацией мест временного принесения молитв в ранний период истории Японии и последующим синтоистским строительством. В основном Сумиёси сохранял формы и пространственную организацию сооружений, где двор Ямато организовывал празднества в честь богов.
Некоторые исследователи древней японской истории высказывают предположение, что конструктивный облик Сумиёси может повторяться и в формах дворцовых сооружений. Однако в дворцах императоров Одзин и Нинтоку, так же как и аристократических жилищах примерно V в. и позднее, пол был поднят. Видимо, высказанное предположение относится к очень раннему периоду, когда простота культовых сооружений, представляющих «жилище» бога на земле, отражала и конструктивные принципы жилища человека. Это тем более очевидно, что предком вождя племенного союза и одновременно верховного жреца считалось племенное божество, и император, по представлениям древнего японца, также имел божественное происхождение.