Строился кричевский дворец в стиле классицизма, для которого характерна симметричность. Планировка его была анфиладной, на главной оси постройки находился овальный зал, который выступал во внутренний двор полукружием. У здания было два боковых крыла, а между ними выступал полукруглый ризалит, который выходил на полукруглую террасу. Эта терраса спускалась в сторону парка.
Потёмкин владел Кричевом и дворцом не очень долго. В 1787 году он продал его Яну Голынскому, внук которого Стефан впоследствии перестроил дворец в неоготическом стиле. С фасада исчезли все декоративные элементы в классическом стиле. Самым большим изменениям подвергся вход. Изначально его украшал портик с балконом и четырьмя колоннами. После перестройки вход во дворец выделялся неоготическим ризалитом с гранёными пилонами. Перестройкой дворца руководил швейцарский архитектор Бернар де Симон.
Сохранилось описание дворца в Кричеве в 1914 году. Вестибюль его был разделён на две части колоннадой. В глуби вестибюля были две дубовые лестницы, ведущие на второй этаж, его стены покрывало оружие, доспехи и щиты. Тут же висели прекрасно сохранившиеся гусарские доспехи, которые, скорее всего, принадлежали Юзефу Голынскому.
Во дворце было 72 комнаты. Три комнаты справа от вестибюля были жилыми. Две комнаты, что также располагались в правом крыле, назывались «епископскими», потому что там раньше жил епископ. В 1855 году в Кричеве сгорел костёл, и Стефан Голынский разрешил проводить богослужения во дворце, даже выделил для этого место. Там же, в правом крыле, размещались и хозяйственные помещения, а также — комнаты для прислуги и ванная. Слева от вестибюля была библиотека, спальня хозяев и будуар. К библиотеке прилегал небольшой зал с окнами, выходивших во внутренний дворик.
Из библиотеки можно было пройти в столовую, которая была обставлена роскошной мебелью из чёрного дуба. На стенах висели фамильные портреты Голынских и образ Св. Николая Мирликийского византийского письма, написанный на кипарисовой доске. В столовой находилось несколько буфетов, где хранилась прекрасная фарфоровая посуда и столовое серебро. В левой части был кабинет и еще несколько подсобных помещений с кладовой. Самым значительным во дворце был овальный Портретный зал, стены которого были покрыты изумительной гипсовой лепниной.
На втором этаже дворца размещались три больших зала. Овальный Бальный зал располагался над Портретным. Главным украшением зала был прекрасно декорированный свод, с которого свешивалась люстра огромных размеров. В левом крыле второго этажа было два зала поменьше. В одном из них располагался архив. В этом же крыле находилась и ванная, облицованная мрамором.
Одной из самых почитаемых святынь во дворце было древнее распятие из светлого дерева. Оно хранилось в одном из залов на втором этаже. Существовала даже легенда, что пока распятие во дворце — роду Голынских ничего не грозит, и они тоже будут жить во дворце. В 1918 году распятие передали в костёл города Кричева.
Обязательным дополнением ко дворцу был великолепный парк, заложенный ещё в конце XVIII века, главной чертой которого было наличие липовых аллей. Часть парка носила пейзажный характер, а общая площадь составляла около 10 га. В парке рос и «дуб царицы», который посадили в честь визита Екатерины II.
Попасть в усадьбу можно было через оригинальные въездные ворота, которые были построены в середине XIX века. Они представляли собой четыре стилизованные египетские пирамиды.
В 1898 году во дворце случился сильный пожар, Стефан Голынский пытался привести его в порядок, но ему помешали мировая война и революция. Позднее в здании размещались: частная гимназия, трудовая школа, школа-интернат. При этом состояние строения оставляло желать лучшего.
Полноценная реставрация дворца началась только в начале 1990-х годов и закончилась в 2008 году. Сейчас на первом этаже дворца располагается «Дом гражданских обрядов», в овальном зале проходят различные торжественные церемонии. Другие помещения отданы Кричевскому краеведческому музею. Чтобы красота, на восстановление которой было затрачено немало средств, долгие годы радовала посетителей дворца, экскурсантам при входе в здание предлагают надеть специальные бахилы.