Все годы (около 6-ти лет), проведенные в труде над этой картиной, Микеланджело жил уединенно, лишь иногда пользуясь обществом немногочисленных друзей. Как и тридцать лет назад, художник работал над сюжетом, с головой уйдя в живопись. «Часто вся еда его состояла из куска хлеба, который он съедал, не прекращая работы»,— рассказывает очевидец Кондиви. Спал он в капелле, прямо на лесах, или дома, но не раздеваясь и не снимая сапог, потому что страдал судорогами, а если иногда и пытался снять сапоги, то ценой неимоверных усилий, сдирая вместе с сапогами кожу.
Несмотря на покровительство Папы, и быть может, именно, вследствие этого, непонимание, зависть и злоба преследовали художника. Нашлось немало критиков, объявивших творение Микеланджело непристойным. Павел III то и дело наведывался в капеллу и, как и Юлий II, с интересом следил за ходом работы. Однажды он зашел туда вместе с Бьяджо да Чезена, своим церемониймейстером.
— Как тебе нравятся эти фигуры? — спросил у него папа.
— Прошу прощения у вашего святейшества, но эти голые тела кажутся мне просто кощунственными и не подходящими для святого храма.
Папа промолчал. Но когда посетители ушли, Микеланджело, кипевший от негодования, взял кисть и написал дьявола Миноса, придав ему портретное сходство с папским церемониймейстером.
Прослышав про это, Бьяджо побежал к папе с жалобой.
— Бьяджо, дорогой мой, если бы Микеланджело поместил тебя в чистилище, я бы приложил все усилия, чтобы вызволить тебя оттуда, но поскольку он определил тебя в ад, мое вмешательство бесполезно, там я уже не властен.
И Минос со злющей физиономией церемониймейстера так и пребывает на картине по сие время.
Но в огромной этой фреске мы находим и другие лица, изображение которых подсказано автору любовью и уважением: его великого земляка Данте, Савонаролы, Юлия II, Климента VII, Павла III.
Когда папа Павел IV предложил ему привести картину «в порядок», то есть «прикрыть срамные части», мастер ответил: «Передайте папе, что это дело пустячное... Пусть он тем временем наведет порядок в мире, а навести порядок в живописи можно быстро...» Тем не менее Тридентский собор постановил прикрыть наготу фигур драпировками.
Неслучайно у ног Христа Микеланджело поместил Св. Варфоломея. В левой руке святой держит кожу, заживо содранную с него гонителями первых христиан. Придав искаженному страданием лицу, которое изображено на содранной коже, собственные черты, Микеланджело запечатлел невыносимые душевные муки, которые он испытал создавая свое великое творение. Эта деталь свидетельствует о растущем пессимизме Микеланджело, и представляет его горькую «подпись». Включение во фреску столь необычного и смелого мотива, трагический накал этого образа свидетельство всей остроты личного отношения художника к воплощаемой теме. Черты лица Св. Варфоломея напоминают римского писателя и гуманиста Пьетро Аретино, который страстно нападал на Микеланджело из-за того, что считал неприличной его трактовку религиозного сюжета.
По свидетельству Вазари, папа Павел IV в 1550-е гг., за несколько недель до смерти Микеланджело, собирался сбить фреску, поскольку культурный климат стал более консервативным. Но вместо полного уничтожения в 1565 году художнику Даниэле да Вольтерра (большому почитателю гения Микеланджело) было поручено «одеть» святых или прикрыть набедренными повязками их наготу, это да Вольтерра получил кличку «Браджеттоне» - «исподнишник, рисовальщик штанов», с которой его имя и осталось связанным навсегда. Эти записи были частично удалены во время реставрации, закончившейся в 1993 году. В 1590-х годах папа Климент VIII решил удалить «Страшный суд». Только вмешательство живописцев римской Академии Св. Луки позволило сохранить эту поразительную фреску.