Воплощение всех замыслов Росси, связанных с ансамблем Михайловского дворца, заняло около двадцати лет.
Жизнь Карла Ивановича Росси завершалась печально и бесславно. Он утомил двор творческой непримиримостью и получил унизительную отставку. Овдовев, старый архитектор поселился с детьми на окраине Петербурга, в Коломне, в доме N 185 по набережной реки Фонтанки, по совпадению, в том самом доме, где жил, впервые приехав в Петербург, восемнадцатилетний Пушкин. Под одной крышей сошлись, правда, в разное время, два великих современника.
Коломна тех лет не скрасила ни юности поэта, ни заката зодчего. «Сюда не заходит будущее, здесь все тишина и отставка…» — писал Гоголь в повести «Портрет» о Коломне. Весной 1849 года Карл Иванович Росси скончался. Событие это прошло в Петербурге незамеченным. Даже Брокгауз и Ефрон, издавая спустя полвека свой знаменитый многотомный энциклопедический словарь, забыли упомянуть в нем имя архитектора.
Горькой безымянной эпитафией замечательному, при жизни не оцененному архитектору, как и многим другим русским художникам прошлого века, звучат строки «Петербургской летописи» Достоевского, написанной незадолго до смерти Росси: «Петербуржец так рассеян… у него столько удовольствий, дела, службы, преферанса, сплетен и разных других развлечений, и, кроме того, столько грязи, что вряд ли есть когда ему время осмотреться кругом, вглядеться в Петербург внимательнее, изучить его физиономию и прочесть историю города и всей нашей эпохи в этой массе камней, в этих великолепных зданиях, дворцах, монументах…»
История Петербурга и всей тогдашней эпохи действительно была связана и с Михайловским дворцом. Его хозяйка великая княгиня Елена Павловна часто устраивала вечера, на которые приглашались художники, музыканты, артисты. «С 1852 года великая княгиня пригласила меня состоять у нее аккомпаниатором тех певиц, которых несколько всегда у нее жило во дворце, — пишет в своих воспоминаниях Антон Григорьевич Рубинштейн, выдающийся музыкант и музыкальный деятель, — вообще я был постоянным „подогревателем“, „истопником“ музыки при дворе великой княгини Елены Павловны». Аккомпаниатор-«подогреватель», музыкант-«истопник» — какие горькие определения!
Но «истопники» разжигали духовный огонь. Все чаще устраивались концерты серьезной музыки, в них принимали участие виднейшие музыканты столицы. Здесь, в Михайловском дворце, возникли музыкальные классы — нечто вроде музыкальной школы, под директорством А. Г. Рубинштейна.
В 1862 году эти классы превратились в первую русскую консерваторию.
Елена Павловна кокетливо принимала на себя роли муз. Сначала она явилась одновременно Евтерпой и Терпсихорой — покровительницей танцев, музыки и поэзии. Потом ей приглянулась слава Урании — музы астрономии: узнав об успехах академика Василия Яковлевича Струве и его открытиях в изучении звездного неба, она пригласила его во дворец. А хирург Николай Иванович Пирогов читал на вечерах свои трактаты о назначении человека, о морали, о роли женщины, о воспитании детей.
Пирогов остался во дворце: портрет ученого работы Репина экспонируется в одном из залов Русского музея. Есть здесь и портрет Отто Васильевича Струве, сына В. Я. Струве, тоже астронома; принадлежит он кисти Крамского.
В конце века дворец пришел в упадок. Газеты с сокрушением писали о нем как о жалкой развалине с провалившимися полами, сгнившими стропилами и отбитым орнаментом.
13 апреля 1895 года судьба его изменилась: царский курьер доставил в сенат пакет, в котором содержался высочайший указ об учреждении в Михайловском дворце «Русского музея императора Александра III».
1898, 7 Марта, весна…
К ночи северо-западный ветер усилился. Он нес с собой колючие снежные вихри, каких Петербург не видел давно. Перед рассветом ветер достиг семи баллов. Город замело снегом. На шпилях взвились штормовые сигналы…
В полдень к подъезду Михайловского дворца стали подъезжать нарядные кареты с густо залепленными снегом окнами. Лакеи, отряхиваясь на ходу, кидались опускать подножки, открывать дверцы. Гости входили в вестибюль дворца.
В этот субботний день 7(19) марта 1898 года Русский музей впервые открывал свои двери.
В течение всей прошедшей зимы здесь развешивали картины, устанавливали скульптуру. Произведения русских мастеров перевозились из Эрмитажа и многих столичных и пригородных дворцов. И вот торжественно заняла свое место доставленная из Академии художеств картина-эпопея Карла Брюллова «Последний день Помпеи» — музейный зал озарило кровавое зарево разгневанного Везувия. Взметнулся «Девятый вал» Айвазовского. Жеманная невеста отвернулась от жениха-майора на картине Федотова. Захохотали репинские «Запорожцы» над письмом турецкому султану. Грузно шагнул Ермак Антокольского. Надменно подняла лоснящееся лицо многопудовая Анна Иоанновна — бронзовая статуя Растрелли.