Масштаб расхищения Колизея в настоящее время трудно определить, но ясно, что дело велось с размахом. Тому свидетельством официальная запись, рассказывающая о том, что за девять месяцев 1452 года, по указанию папы Николая V, очевидно, для строительства базилики Святого Петра, из Колизея вывезли 2522 повозки с камнем. Незадолго до этого, в 1448 году, итальянский гуманист Поджо Браччолини с сожалением констатировал, что большая часть Колизея превращается в строительный материал. Во времена расхищения Колизея бытовала саркастическая колкость, касавшаяся аристократической семьи Барберини, которая расхищала монументы античности, посягнув даже на Пантеон. Говорили: «Quod non fecerunt barbari, fecerunt Barberini» — «То, что не успели совершить варвары, сделали Барберини». Несмотря на это едкое замечание, римский папа Урбан VIII в XVII веке разрешил Барберини (видимо, потому что и сам происходил из этого рода) использовать травертин Колизея для постройки палаццо.
Расхищению Колизея, несомненно, помогали землетрясения и другие стихийные бедствия, ибо после каждого подобного случая добывать строительный материал на его территории становилось гораздо легче. Менее всего от землетрясения страдала северная часть Колизея; кроме того, в ее сохранении, видимо, была заинтересована церковь, ибо Колизей своим северным фасадом выходил на путь религиозных процессий — от Латеранского собора Святого Иоанна к центру города — и потому мог казаться церковникам великолепной «декорацией». Южный фасад Колизея, видно, для церковников интереса не представлял, и, с дозволения церкви, его регулярно разбирали на камни.
При мысли о том, что камни из амфитеатра Веспасиана и Тита обрели новую жизнь в соборе Святого Петра или в палаццо Венеция (с балкона которого Муссолини обращался к народу на площади), ощущаешь смешанное чувство удовлетворения и легкой печали. С одной стороны, эти и им подобные здания принесли Риму особую привлекательность, а с другой стороны, они своей жизнью во многом обязаны Колизею, питавшему их «плотью». Зайди процесс дальше, мы бы не смогли любоваться «романтическими руинами».
В те времена, когда Колизей использовался в качестве удобной и богатой каменоломни, римляне нашли применение и его уцелевшим неразрушенным помещениям, которые стали использоваться для хозяйственных и производственных нужд. В Колизее и вокруг устраивали конюшни, хлева, склады, кузницы, швейные и сапожные мастерские и прочие кустарные производства. Видимо, строения, воздвигнутые вокруг Колизея, внешне походили на деревушку, застроенную лачугами и хозяйственными постройками, ибо, по сохранившемуся свидетельству, в начале XVI столетия некий художник черпал там вдохновение, собираясь писать картину, посвященную рождению Иисуса, появившемуся на свет, как известно, в хлеву. Использование Колизея для производственных нужд продолжалось даже в XVIII веке. В 1700 году, по распоряжению папы Сикста V, в северной части амфитеатра устроили склад навоза, употреблявшегося при производстве калийной селитры. Однако к настоящему времени от былых хозяйственных и производственных помещений, чередой появлявшихся в Колизее после прекращения развлекательных представлений, по существу ничего не осталось, кроме не представляющих особого интереса кормушек для скота, битой посуды и искореженного железа. Объясняется это тем, что целью раскопок, проводившихся в Колизее в XIX веке, являлись элементы конструкции амфитеатра античности, а все остальное считалось мусором, более поздними наслоениями, не представляющими исторической ценности (тем не менее, однажды археологи приняли средневековую кладку за одну из внутренних стен Колизея и, расчистив, представили ее на всеобщее обозрение).
Пустующие помещения Колизея отводились не только для хозяйственных и производственных учреждений, вроде конюшен, складов и мастерских. Добротные помещения стали занимать аристократы. Например, в XII веке восточная часть Колизея называлась «дворцом Франджипане», являясь собственностью этого аристократического семейства, занимавшего в Риме высокое положение. Величественные постройки античности привлекали и других римских аристократов. Так, влиятельное семейство Колонна имело апартаменты в мавзолее императора Августа, а семейство Савелли — в театре Марцелла. Подобные случаи продолжались. Даже в настоящее время в верхних этажах театра Марцелла немало частных апартаментов. Что касается «дворца Франджипане», то в середине XIII столетия семье Франджипане пришлось уступить «дворец» своей сопернице на политическом поприще — семье Аннибальди, которая в 1360 году продала апартаменты ордену святого Сальватора, одной из христианских организаций. Существует свидетельство, что до того как продать эти палаты, Аннибальди в 1337 году принимали в Колизее Петрарку, итальянского поэта и гуманиста. Принимая во внимание эту дату, можно предположить, что Аннибальди присутствовали на бое быков, проводившемся в Колизее в 1332 году.