Значительный шаг к улучшению вида города-крепости сделан был при управлении военного губернатора В. А. Перовского (1833—1841), генерал-губернатора (1851—1857). В. А. Перовский одной из множества своих задач поставил освобождение города-крепости от неприглядных построек, а другой — улучшение вида имеющихся и строительство новых казенных зданий. Тем, кто не мог отремонтировать или заменить свои ветхие, разваливающиеся дома, выдавалось по 50 бревен и 50 рублей для строительства в распланированной по радиально-кольцевой схеме слободе к северу от крепости. Слобода получила название «Новая слободка». Застройка началась в 1838 г. Всего освободилось 221 дворовое место. Свободные места расширяли, где было возможно или необходимо. Новые поселенцы строили дома по утвержденным проектам.
Ордонансгауз, лицевой фасад после перестройки.
В первые же годы управления был перестроен ордонансгауз, касаясь корпуса, выходившего на Николаевскую. Он стал в два раза шире, а во двор, вдоль свободной стороны, стала выходить открытая веранда. Совершенно изменился лицевой фасад, полностью соответствуя стилю классицизма, что видно на рисунке, где показана и каменная ограда с воротами во двор.
Новый дом обер-коменданта.
Полностью перестроили дом обер-коменданта, который стал каменным и двухэтажным. Лицевой фасад решен центральным слабовыступающим ризалитом, балконом по всей его ширине и венчающей аттиковой стенкой с датой окончания строительства. Ограждение дворовой части было аналогично таковому у ордонансгауза. Последнее, как и общность стиля, придавали этому участку квартала некоторые ансамблевые качества. На рисунке дом показан почти в том же ракурсе, как и прежний деревянный. Далее к северу был одноэтажный, уже упоминавшийся дом Пограничной комиссии, а за ней недавно построенный, ей же принадлежащий двухэтажный дом, каменный, сохранившийся, судя по его плану, до настоящего времени.
На другой стороне главной улицы, лицом на набережную, шла перестройка торца квартала. Комплекс бывшей губернской канцелярии лишился своего первоначального назначения, перейдя в военное ведомство. Военный губернатор П. К. Эссен (1817—1830) занял дом под квартиру, но здание требовало не только ремонта, необходима была и перестройка для его расширения. Начиная с 1827 г. до 1832 г., когда появился проект нового здания, было два проекта расширения здания. Но оба не совсем удовлетворяли потребности.
Новое здание проектировал архитектор Генрих (потом Андрей) Гопиус, который по просьбе военного губернатора П. П. Сухтелена (1830—1833) был прислан президентом Академии художеств А. Н. Олениным. Гопиус уже имел опыт. Строить, однако, не начали, так как вскоре сменился глава. При В. А. Перовском проект был несколько переработан и утвержден им в 1836 г. Строить же стали, разобрав старую постройку и все приготовив в 1839 г., когда 5 мая Государь Император «разсмотреть изволил» проект.
Возведено здание на месте главной постройки и западного Г-образного фахверкового флигеля. Тот, что был с восточной стороны, перестроили: удлинили в северную сторону, поставили мезонин, переложили стену, выходящую на набережную, устроив 5 оконных проемов вместо шести, собранных парами. Дальше на восток построили каретник, конюшню и пр. Так очень небольшой ширины участок перекрыл выход улицы (тогда именовавшейся Почтовой) на набережную.
Резиденция военного губернатора, затем генерал-губернатора. Арх. Г. Гопиус.
Новое здание возведено согласно принципам позднего классицизма. Оно сохранилось, но с изменениями, значительно исказившими его облик. Поэтому здесь помещен рисунок, выполненный на основе проектного фасада. В плане постройка была П-образной с выступающим во двор полукругом главной лестничной клетки. Позже, когда в 1880-е гг. здесь поместили Казенную палату, крыло вдоль стороны Николаевской удлинили. Здание двухэтажное, с антресольным этажом, окна которого выходили только во двор. Проемы первого этажа с прямоугольным завершением, а бельэтажа с полуциркульным, которое выделяется архивольтами, соединенными горизонтальными полочками вдоль всего фасада.
Первый этаж рустован, этажи отделены подоконной и междуэтажной тягами. Выделен цоколь с глухими узкими проемами. Середина лицевого фасада выделяется балконом, опирающимся на четыре пилона с картушами. Это выделяет и портал, к которому ведут ступени лестницы, по сторонам же вдоль стен пандусы, позволяющие подъезжать прямо ко входу. Здание венчает антаблемент дорического ордера. Стена же поднимается выше карниза, напоминая с первого взгляда парапет, если не видеть крыши. Среднюю часть фасада завершает аттиковая стенка. Дальше на крыше бельведер. Симметрию нарушает одно — наличие эркера на западном фасаде около угла главного фасада. Первоначально по обеим сторонам проектировались балконы. Судя по фотографиям XIX в. не было лишь картушей на пилонах под балконом.