При царе Иване IV Васильевиче, в 1547 году, 21 июня, московский дворец сделался жертвой нового, ужаснейшего пожара, который равным образом истребил и всю Москву. Государь выехал в село Воробьево, а в Кремле ставили для него новые деревянные хоромы и возобновляли распавшиеся от огня каменные палаты. Возобновив дворец, царь увеличил его впоследствии новой пристройкой. В 1560 году он повелел устроить для своих детей «особый двор и хоромы позади большой набережной платы, на взрубе». При нашествии Девлет-Гирея Кремлевский дворец сгорел снова (в мае 1571 г.). Дворец был снова возобновлен и при царе Федоре Ивановиче, судя по отзывам иностранных путешественников, находился в цветущем состоянии. Все приемные палаты в это время были великолепно украшены стенописью.
Царь Борис Федорович Годунов во время голода, бывшего в 1601 и 1602 годах, повелел, «чтобы людям питатися», воздвигнуть большие каменные палаты, «где были царя Ивана хоромы», построенные им для детей.
Самозванец, не желая жить в царском дворце, выстроил для себя новые хоромы, весьма красивые, в польском вкусе: они находились подле Сретенского собора и фасадом обращены были к Москве-реке. Перед этими хоромами, на сенях, самозванец поставил огромного медного цербера, которому, как невиданному дотоле чуду, удивлялся народ и прозвал его «адом». Из этих же хором самозванец, преследуемый по всем комнатам разъяренной толпой, выскочил в окно и упал на Житный двор, который расположен был под самым дворцом самозванца.
Царь Василий Иванович Шуйский выстроил для себя новые брусяные хоромы, потому что жить в опальном дворце самозванца было неприлично новому государю.
Так называемое Смутное время, пора безначалья и неурядиц, опустошило Кремлевский дворец так, что при вступлении на престол царя Михаила Федоровича дворец представлял самую грустную картину: от прежнего великолепия, которому так дивились посещавшие нас иностранцы, остались только голые стены в самом точном смысле этого слова. Все палаты и хоромы были без кровель, без полов и лавок, без оконниц и дверей, так что юному царю негде было поселиться. Кое-что, однако же, наскоро было приведено в порядок, и царь поселился во дворце в апреле 1613 года. Трудно было царю Михаилу Федоровичу восстановить прежнее благолепие дворца, но постепенно, по мере средств, которые были весьма незначительны, царь восстанавливал Москву, причем и Кремлевский дворец также постепенно возобновлялся и устраивался.
Но только дворец приведен был в надлежащее устройство, как снова губительный пожар опустошил его 3 мая 1626 года. Началось новое устройство дворца. По указу государя собраны были в это время из Ростова, Суздаля, Белоозера и других мест каменщики и кирпичники «для многих церковных, дворцовых и палатных каменных дел». Вызван был также «голландской земли немчин, кирпичный мастер Рудирик Мартыс», который в кирпичных сараях под Даниловской слободой «делал кирпичную ожигальную печь и над печью деревянный шатер по своему, немецкому, образцу, и кирпич делал». К концу царствования Михаила Федоровича Кремлевский дворец был окончательно устроен, так что царю Алексею Михайловичу оставалось немного дел в отношении устройства дворца. И действительно, во время его царствования мы не встречаем значительных построек на царском дворе. Он возобновлял только старое, переделывал и украшал здания, построенные его предками, причем в царский дворец вошло много разных украшений, которые дотоле или весьма мало, или даже вовсе не были известны. Важные последствия в этом отношении принесла польская война 1654–1667 годов, окончившаяся для России весьма удачно. Пребывание царя в некоторых из завоеванных городов, и особенно в Вильно, познакомило его с образом жизни совершенно новым, и царь с этого времени стал преобразовывать двор. Вызвав из всех посещенных им городов многих ремесленников и художников, он употребил их искусство и труды на украшение своего дворца. С этого времени характер украшений дворца во многом изменился. Внутри него появились обои (золотые кожи) и разного рода мебель на немецкий и польский образец. Характер резьбы по дереву, столь употребительный во всех внутренних и внешних украшениях дворца, также изменился. Обыкновенную русскую резьбу по одной только поверхности дерева заменила фигурная немецкая резьба в стиле рококо, как можно судить по дошедшим до нас несомненным памятникам из домашней утвари того времени.
Сделав краткий обзор первоначального Кремлевского дворца, можно положительно сказать, что дворец этот, дворец начала XVI века, несмотря на пожары и беспрестанные перестройки и переделки, в главных чертах своих нисколько не изменился в течение двух с половиной веков и, покинутый царями в начале XVIII века, устоял, хотя и в развалинах, до времен императрицы Елизаветы Петровны, которая в 1743 году приказала разобрать его и выстроить на его месте новый дворец. Строителем дворца был знаменитый архитектор граф Растрелли. Дворец этот в 4 этажа имел вид довольно своеобразный и грандиозный, хотя, по отзыву одного иностранца, Тесьби де Белькура, состоял из беспорядочных, полуразрушенных построек, как будто он только что выдержал осаду от варваров-разрушителей. Другие, напротив, находили дворец оригинальным и красивым. В 1812 году он подвергся немалому разрушению, но в 1817, 1818 и 1826 годах исправлен и расширен и таковым оставался до 1838 года, когда началась постройка нового Императорского дворца.