Судя по сохранившимся описаниям, царская резиденция была настоящей крепостью. Немец-опричник Генрих Штаден отмечает в своих записках, что «стены сложены из бревен, врезанных одно в другое и доверху засыпанных землей. Снаружи, поверх бревен, во избежание пожара выложена стена толщиной в один кирпич от земли до стрельниц», иначе говоря, деревянная крепость была облицована кирпичом. Датский посол Яков Ульфельд, побывавший здесь в 1578 году, оставил зарисовки Александровской слободы, ее зданий, описал свое пребывание в ней. Мы узнаем, что это была великолепная крепость, стены се имели периметр пять верст. Вокруг стен был ров с водой. На площади стояла соборная церковь Покрова и находился государев двор со своей домовой церковью, с различными служебными и хозяйственными постройками и сточной трубой, выведенной за ограду. В крепость попасть было нелегко: все ворота ее постоянно охранялись, приезжих тщательно проверяли и обыскивали. Выехать из Слободы можно было только по специальному разрешению - «…даже птица не могла перелететь границу без ведома великого князя», - писал очевидец.
Именно в Слободе произошла та трагедия, которая воспроизведена в картине И. Е. Репина «Иван Грозный и его сын Иван». В порыве гнева царь ударом жезла погубил своего старшего сына - наследника престола. Царевич скончался на четвертый день - 23 ноября 1581 года. После кончины смертельно раненного им любимого сына Грозный покинул Слободу навсегда. Его резиденция стала приходить в упадок. Вслед за ним в Москву переехали дворовые люди. В начале XVII века Александровская слобода была ареной сражений между русскими патриотами и бандами польско-литовских шляхтичей. Гетман Ян Сапега весной 1609 года занял Слободу. Оставив там несколько отрядов для охраны дорог, возвратился с основными своими силами к Троице-Сергиеву монастырю, который он безуспешно пытался захватить. Укрепления Слободы, возведенные при Иване Грозном, переходили из рук в руки и сыграли свою роль в ожесточенных боях с интервентами. Опираясь на эти укрепления, выдающийся русский полководец М. В. Скопин-Шуйский двинулся со своими отрядами на лыжах к осажденному шляхтой Троице-Сергиеву монастырю. В январе 1610 года он заставил пана Сапегу снять осаду и отойти. В эти тяжелые годы опустевшие дворцовые и церковные здания Александровской слободы частью сгорели, частью разрушились, особенно крепость. В первой половине XVII века Слобода служила лишь путевым станом во время поездок по монастырям царя Михаила Федоровича. Только в 1651 году сын его - царь Алексей Михайлович по ходатайству монаха и слободских купцов дал указ об основании при старой церкви Успенья женского монастыря и о постройке вокруг него ограды. Так на месте, где была царская усадьба, появился в 1654 году Успенский девичий монастырь. Находясь на перепутье царских богомольных походов в Переславль-Залесский, Юрьев-Польской, в Ростов и северные монастыри, Успенский монастырь стал пользоваться известностью и получать вклады от высокопоставленных паломников.
Изумительные по своему качеству вещи, сделанные русскими умельцами того времени, можно увидеть в экспозиции художественного отдела Александровского краеведческого музея. Это скань, и золотошвейное искусство, и уникальная резьба по перламутру, дереву и кости, и тончайшая чеканка, и иконы. Ансамбль бывшего Успенского монастыря включает постройки XVI-XVII веков, возведенные до Грозного, в его время и позже. Сейчас среди местных жителей он зовется кремлем.
Древнейшее сооружение ансамбля - Троицкий собор (1505-1513), называвшийся до XVIII века Покровским, сложен из кирпича на высоком каменном подклете. Первоначально собор имел с трех сторон открытое гульбище, покоящееся на аркаде, но потом гульбище перестроили в закрытую галерею-паперть, которая ведет в придельные церкви. Огромный массив одноглавого собора расчленен белокаменными пилястрами. Они оканчиваются оригинальными ордерными капителями, несущими на себе полуциркульные закомары. Алтарные полукружия и барабан украшены широким поясом белокаменного резного узора. Такой же пояс проходит по фасадам, но он скрыт галереей. В старину эти украшения, резко выделяясь на кирпиче стен, придавали собору особую живописность контрастами сочетания белого и красного цветов. Несмотря на последующие переделки, пристройки, расширенные окна и общую побелку, Троицкий собор сохраняет первоначальные замыслы безвестных зодчих князя Василия III. Пропорции и украшения собора напоминают московские храмы конца XV века. Западный вход (безвкусная пристройка XIX века) ведет прямо на галерею к порталу, декорированному изысканной резьбой но камню. Резьба слегка тонированна. Над порталом среди пояса горизонтального резного узора, белеющего на кирпичной стене, обращает внимание киот с фреской, изображающей праздник Покрова богородицы. В интерьер ведут «Троицкие врата», сделанные в середине XIV века по заказу тверского епископа. Они были привезены в Слободу из похода Ивана Грозного на Тверь в 1570 году. Врата состоят из нескольких металлических пластин, на одной из которых безвестный тверской мастер артистически сделал гравированное изображение Троицы. В южном портале, украшенном не менее пышной белокаменной резьбой, чем западный, находится другое выдающееся произведение русского прикладного искусства, Новгородские, так называемые «Васильевские врата». Это трофей похода 1570 года на Великий Новгород. Врата сняты Грозным из Софийского собора. Надписи на них свидетельствуют о изготовлении их в 1336 году по приказу гговгородского архиепископа Василия (отсюда и название). Предполагают, что рисунки, иллюстрирующие библейские и евангельские тексты, делал мастер Ипат из Великого Устюга. Сделанные способом золотой паводки по медным листам, предварительно покрытым специальным лаком, и обработанные через огонь, 28 рисунков эффетно мерцают на темном бархатистом фоне ворот. На стенах соборного интерьера сохранились фрагменты фресок XVI и XVII веков. Иконостас, остальное убранство и росписи - новые.