При осаде 1484 года горожане замок разрушили, положив на это святое дело немало труда и сил, но семь лет спустя, после поражения в сечах, вынуждены были приступить к восстановительным работам. По странному стечению обстоятельств замок восстанавливали ровно столько времени, сколько ушло на первоначальную постройку — двадцать три с небольшим года.
Цитадель являла собой каре с четырьмя башнями по углам. Как и все орденские строения, ее сориентировали по странам света, и не случайно первый камень заложили в самый длинный день в году. Две главные башни — святого Духа и Свинцовая — смотрели на северо-запад и соответственно на юго-восток. Противоположные им вышки самостоятельными укреплениями не являлись и лишь вмещали лестничные пролеты. Вентиляция всюду невидимая и идеальная, глухота полная, за исключением, разумеется, специально оборудованных для подслушивания покоев. В них отчетливо слышны были даже шепотом произнесенные слова. Трехэтажное, с обширными подвалами и сложной системой подземелий здание могло при необходимости вместить целую армию, бездну снаряжения и съестных припасов.
В обычное время на первом этаже, в хозяйственных помещениях и сторожках, размещались охрана и челядь. Жилые покои располагались выше. Здесь жили сам магистр, командоры ордена и комтур — начальник самой крепости. Рядом устроены были обширная трапезная, зал капитула (в восточной, как у тамплиеров, части), замковая церковь и опочивальни рядовой орденской братии. Высота первого этажа без малого достигала пяти метров, второго — семи. На третьем, оружейном, этаже, где не было ни потолка, ни простенков, стояли тяжелые бомбарды и кулеврины, пирамиды гранитных ядер, смоляные бочки, котлы с оловом и метательные машины.
Вместо окон были узкие, закругленные сверху бойницы, снабженные задвижными щитами крепкого турайдского дуба.
После распада Ливонского ордена замок служил резиденцией сменяющих друг друга правителей: сначала польских и шведских генералов, затем царских губернаторов. Его несколько раз реконструировали, подгоняя под современность, добавляли различные пристройки. В 1783–1788 годах к восточному корпусу вместо арсенала были пристроены помещения губернского правления в характерном для того времени провинциально-державном стиле. Второй высоченный этаж разделили пополам, а церковь, зал капитула и трапезную разбили простенками и перегородками на конуры для всевозможных титулярных и коллежских советников, коллежских регистраторов и губернских секретарей. Последние изменения облика цитадели приурочились к славным шестидесятым годам больших реформ и еще больших ожиданий. Именно в это время и было построено северное крыло с его роскошными паркетными залами, колоннадой и хорами, мраморными лестницами и закругленными окнами, рамы которых по-петербургски разделяли стекла на восемь частей.
При перестройках иногда находили замурованные в стенах клады: горшки с серебряными талерами и грошами, каменные таблички с непонятными письменами и хрупкие скелетики летучих мышей.
Кроме звездчатых изумительных оводов никакими другими архитектурными достопримечательностями нынешняя резиденция господина Пашкова не блещет. Лишь над северными воротами высятся горельефы божьей матери и орденского гроссмейстера Плеттенберга да эркеры декорированы лепными страшными масками.
Мадонна с младенцем на руках окружена, как положено, сияющим ореолом, а Вальтер фон Плеттенберг, приставленный к ней как бы стражем, держит в правой длани двуручный тевтонский меч. У него благостная, несколько постная улыбка, шкиперская борода и орденский знак на левом плече. Под обоими горельефами четко виднеется готическая надпись на немецком языке. Изображения были изваяны в 1515 году, когда орден переживал свой закат. Пройдет еще около полувека, и последний гроссмейстер Готхард Кеттлер передаст уполномоченному польского короля символы орденской власти — крест и ключи замка, чтобы принять взамен герцогскую корону.
Но что нам за дело до тех полулегендарных времен? Развеем же очарование Старого города, вырвемся из цепкого плена нескончаемых неизжитых легенд и последуем в кабинет его превосходительства лифляндского губернатора, который, имея пребывание в замке, меньше всего думает о Вальтере фон Плеттенберге и Готхарде фон Кеттлере. Последнее, впрочем, напрасно. Потомок Кеттлера по женской линии граф Конрад Медем уже отослал на господина Пашкова очередной донос в министерство внутренних дел.