Постепенно, с ростом численности общества увеличивалось и социальное расслоение. Иерархия классов приняла ту форму, которая сохраняется в Саммерсете и по сей день.
На вершине иерархии находятся мудрецы, учителя и священники, следующими идут художники, принцы, воины, помещики, купцы и рабочие. Ниже рабочих находились звери, такие как порабощенные гоблины, которых альдмеры использовали для выполнения тех работ, которые не стал бы выполнять ни один альдмер.
С изменениями в обществе претерпела изменения и религия, теперь альдмеры поклонялись не своим предкам, а предкам своих «лучших». Ауриэль, Тринимак, Сирабейн и Финастер стали богами среди других духов предков. Группа старейшин, называвшая себя псиджиками, хранителями древних устоев, восстала против этой тенденции. С помощью своих мистических сил они смогли заселить Артеум и отделиться от разлагающегося, как они считали, общества. Они возвращались на землю в качестве консультантов, но никогда больше они не называли Саммерсет своей родиной.
Это было в то время, когда множество альдмеров покинули Саммерсет с целью заселить материковую часть Тамриэля. Как таковых причин для второго исхода альдмеров не было, но некоторые вещи, такие как гобелены Раморана, те самые, на которых были изображены различные существа, показывают, каким нетронутым и красивым считался материк у альдмеров. Экспедиции, такие, как предпринимавшиеся Топалом Кормчим, нарисовали в воображении альдмеров страну, в которой даже рабочие, находившиеся в самом низу иерархии, смогли бы жить как короли. Пророк Велот был среди тех, кто возглавил группу недовольных альдмеров Саммерсета в путешествии на новую землю обетованную.
Согласно представлениям Саммерсета, алдмеры, решившие обрести свободу на материке, стали известными эльфийскими народами: кимеры, босмеры, айлейды. Те, которые остались на острове, превратились в альтмеров. Однако, даже самые ранние записи Саммерсета не проливают свет на происхождение двемеров, занявших территорию на северо-востоке Тамриэля и прибывших туда с Велотом.
История острова Саммерсет в первой и большей части второй эры связана с большой обособленностью от материковой части Тамриэля. Расцвет и падение Империй, битвы людей и меров — ничто из этого не коснулось общества альтмеров.
Возможно, что слоады Траса, как мы уже говорили ранее, были коренными жителями Саммерсета и их попытки захватить остров можно было бы рассматривать с симпатией, если бы не методы, которыми они это делали. Физически неспособные воевать из-за своего массивного тела, для атаки альтмеров слоады использовали магию некромантии и адские машины. Даже если их целью и было освоение Саммерсета, хотя им это никогда и не удавалось, тот ужас, который они принесли на остров, помнят до сих пор. Разграбление Скайвотча в 2Е 1301 и Война Увичила с 2Е 2911 по 2Е 2917 были одними из самых жутких событий в истории Тамриэля.
Маормеры из Пиандонеи, более подробно о них можно прочитать в следующем разделе данного руководства, были еще более безжалостны в своем стремлении завоевать Саммерсет. Летописец вряд ли найдет хоть один год в первой и второй эре, когда маормеры не разоряли побережья альтмеров. Эти набеги заставили альтмеров построить большой флот для защиты, благодаря чему и в наши дни высшие эльфы превосходят всех в боях на море. В центральных долинах Саммерсета существуют деревни, которые никогда не сталкивались с войной, но на побережьях было пролито столько крови, что удивительно, как они не окрасились в красный.
Формирование Альдмерского Доминиона во второй эре обсуждается в разделе, посвященном союзникам Саммерсета, Валенвуду. Короли Коловии не представляли угрозы для Саммерсета, но Доминион позволил им уничтожить форпосты маормеров, созданные на западном побережье материка. Таким образом, Доминион процветал вплоть до прихода Тайбера Септима.
Ужас, связанный с завоеванием и ассимиляцией Саммерсета Империей, лишь немного уменьшился со временем и помнится многими живущими альтмерами. Ясно одно, их самолюбие так никогда и не оправится. Во время Островной Войны в 3Е 110 маормеры Пиандонеи были близки к завоеванию своего древнего врага, что на помощь в защите альтмеры призвали псиджиков и Империю. Даже совсем недавно, двадцать лет назад во время Имперского Симулякра, альтмерам, вторгшимся в Валевуд к своим бывшим союзникам по Доминиону, удалось захватить лишь небольшой участок побережья, которого у них раньше не было. Неудивительно, что многие из Саммерсета, особенно молодые, заново для себя открывают, что такое быть Высшим эльфом.