Николай Румянцев был одним из самых известных коллекционеров своего времени, который, по сути, опустошил значительную часть архивов местных католических и униатских монастырей, а также участвовал после изгнания войск Наполеона в расхищении магнатских музеев и картинных галерей. Все эти несметные сокровища после смерти сенатора в 1826 году вывезли в Москву, где книжные и архивные фонды стали основой для создания знаменитой Румянцевской библиотеки (потом она называлась Ленинской, сейчас стала Национальной), а многочисленные коллекции живописи, скульптуры, этнографии, археологии, нумизматики стали основой для создания других российских музеев. Белорусам следует знать, что самое ценное в этих музеях — раритеты, украденные русскими завоевателями в Беларуси.
Следующим хозяином Гомеля стал второй сын Петра Румянцева-Задунайского — известный дипломат и государственный деятель Сергей Румянцев. Однако он предпочитал жить в Петербурге и не дорожил отцовской резиденцией в провинции. Уже в 1828 году он заложил Гомель в Государственный заёмный банк, а в 1834 году вообще передал его государству.
С разрешения императора Николая I город Гомель купил за 800 тысяч рублей довольно известный российский генерал-фельдмаршал князь Иван Паскевич-Эриванский. Этот полководец вошёл в историю рядом побед над войсками Османской империи, в ходе которых был, кстати, завоёван Азербайджан, а также жестоким подавлением национально-освободительного восстания 1830–1831 годов в Польше. Иван Паскевич для своей главной резиденции выбрал Гомельский дворец, который по этой причине подвергся очередной перестройке.
Необходимо было увеличить общее число помещений и хотя бы частично избавиться от казарменной сухости утратившего к тому времени популярность классицизма. В итоге был избран компромиссный вариант, благодаря которому дворец в Гомеле обрёл черты уникального памятника архитектуры. Главный корпус практически не изменился внешне — лишь несколько подкорректировали вид парадного портика и бельведера, украсили крышу скульптурами и привезёнными из Польши чугунными балюстрадами, достроили полуциркульную веранду со стороны парка. А вот боковые флигеля подверглись существенной реконструкции. Северный полностью утратил классические черты и стал трёхэтажным. Южный же разобрали до основания, и на его месте воздвигли оригинально декорированную 4-ярусную башню-павильон в неоренессансном стиле, с часами-курантами. Этот элемент дворца нарушал общую симметрию и классическую строгость резиденции, но зато полностью соответствовал моде царившего тогда романтизма. Огромный же флаг, поднятый над башней, извещал горожан о присутствии в резиденции генерал-фельдмаршала.
Серьёзной переработке подверглись внутренние интерьеры. Здесь всеми работами руководил специально приглашённый из Италии скульптор и декоратор Винценто Винценти. К середине 1850-х годов дворец обрёл новое лепное убранство парадных и жилых помещений (в том числе маски и гирлянды), появились чудесные оконные витражи, был заменён паркет, поставлены новые камины из искусственного мрамора, комнаты украсили многочисленные статуи и другие художественные шедевры российских и европейских мастеров. В башне расположилась картинная галерея, а также богатейшая коллекция ваз, подаренных генерал-фельдмаршалу российским императором Николаем I и прусским королём Фридрихом-Вильгельмом IV.
В 1856 году Иван Паскевич умер. Большая часть его имущества перешла к сыну Фёдору, осуществившему небольшой «косметический» ремонт комплекса. В дальнейшем дворец практически не претерпел никаких изменений. Однако в 1870–1889 гг. в парке появилось новое оригинальное сооружение — часовня в псевдорусском стиле, которая стала семейным склепом рода Паскевичей.
В 1903 году, после смерти князя Фёдора Паскевича, Гомельский дворец перешёл в собственность его вдовы Ирины Паскевич (урожденной графини Воронцовой-Дашковой). Именно она первая стала придавать разнообразным семейным коллекциям вид публичного музея. Проведённая при ней систематизация собраний показала, что общее число накопленных предметов искусства перевалило за три тысячи. Наибольшую художественную ценность имели коллекция англо-французских стеклянных изделий, собрания саксонского, китайского и русского фарфора, персидских, немецких, турецких и бухарских ковров и гобеленов. Множество редких и затейливых вещиц находилось в коллекции мелкой пластики. Высоко ценились нумизматическая коллекция, собрание археологических древностей и богатейшая библиотека.