С 1780 года в Павловске начинает работать архитектор Чарлз Камерон (ок. 1740 - 1812), шотландец по происхождению, большой знаток и исследователь античной архитектуры. Он был приглашен в Россию Екатериной II для перестройки Царскосельского дворца. Талант зодчего, найдя в России благоприятную почву, развернулся здесь с наибольшей полнотой. Вдохновляемый красотой русской природы и высокими достижениями национальной архитектуры, Камерон включился в строительство Павловска. Им было положено начало архитектурно-художественного ансамбля, вошедшего в золотой фонд русской архитектуры. Его увлекла возможность создания нового пейзажного парка на основе естественного русского леса.
Чарлз Камерон наметил основные районы парка, их планировку и архитектурные сооружения - композиционные центры пейзажей. Им сооружены наиболее совершенные по архитектуре павильоны - Храм дружбы, Колоннада Аполлона, Вольер, Павильон трех граций и другие.
За четыре года (1782 - 1786) Камерон возвел новый обширный дворец, который сменил разобранный «Паульлюст».
При составлении проекта дворца был избран распространенный тип итальянской виллы, увенчанной плоским куполом. Однако, учитывая местные национальные особенности архитектуры, Камерон решил общую схему здания по образцу русской дворянской усадьбы. Центральный трехэтажный корпус, где располагались парадные и жилые помещения, был увенчан широким куполом, окруженным 64 колоннами. От Главного дома плавно отходили полуциркульные галереи-колоннады, заканчивавшиеся невысокими служебными флигелями. Здание, широко раскрытое в стороны, хорошо связывалось с планировкой парка. Осуществить все задуманные проекты внутренней отделки Камерону не удалось. Он был отстранен от работы, так как не всегда считался с желаниями владельцев дворца, бесконечно требовавших изменения его замыслов.
Завершить отделку здания было поручено помощнику Камерона, художнику-архитектору итальянцу Винченцо Бренна (1740 - 1819). Этот же архитектор после вступления Павла I на престол перестроил и значительно расширил дворец, создав дополнительные корпуса. В нем появились новые обширные залы, отделанные с торжественной пышностью, соответствующей значению дворца как императорской резиденции.
Таковы Большой, или Тронный, зал, Кавалерский зал, Картинная галерея и другие.
Выполняя желание императора, Бренна старался всему придать парадность и торжественность, подчеркивающие величие и неограниченность власти монарха. Уют и интимность, присущие помещениям дворца и уголкам парка, созданным Камероном, Бренна заменил эффектной декоративностью.
В архитектуру и художественную отделку покоев он ввел орнаментику военного характера, заимствованную из искусства императорского Рима. Районы парка разбил в строго регулярном стиле, с аллеями-коридорами, площадками-залами и обилием мраморной и бронзовой скульптуры. Все это сделало парковые участки своеобразным продолжением торжественных дворцовых залов.
В 1803 - 1804 годах центральный корпус дворца, сильно поврежденный пожаром, был восстановлен и отделан выдающимся русским архитектором А. Н. Воронихиным (1760 - 1814), долгое время бывшим главным архитектором Павловска.
Как Воронихин, так и позднее другой крупнейший архитектор - К. И. Росси (1775 - 1849) внесли некоторые изменения и дополнения в художественную отделку и убранство помещений. Однако они не нарушили стилистического единства ансамбля.
Таким и был дворец до начала Великой Отечественной войны. Нападение фашистской Германии на нашу страну, продвижение вражеских армий поставило национальные художественные сокровища под угрозу.
В 1941 году, в первые же дни войны, тысячи уникальных экспонатов дворца, тщательно упакованных в ящики, были вывезены в глубь страны, в специальные хранилища. Так удалось сохранить лучшую часть всех основных художественных коллекций музея.