Mit der Eroberung Jerusalems durch Sultan Saladin im Jahr 1187 verloren die Templer ihr Hauptquartier, das sie nun nach Akkon verlegten. Sie sollten nie wieder in seinen Besitz kommen. Dem Sultan war viel daran gelegen, Jerusalems heilige Stätten unversehrt zu erhalten, so hatte er den Verteidigern eine ehrenvolle Übergabe angeboten. Wer selbst das geforderte Lösegeld aufbringen konnte, war frei. 7000 Arme wurden mit Mitteln einer Stiftung Heinrichs II. von England freigekauft, der Rest der Christen ging in die Sklaverei. Kampflos rückten die Muslime in Jerusalem ein. Ausschreitungen gegen die Christen wurden unterbunden, unblutig erfolgte die Rückeroberung der Heiligen Stadt, der Sultan hatte ein Massaker zu verhindern gewusst. Selbst von den versklavten Menschen kam ein Großteil wieder frei.
Sofort machten sich die Muslime daran, ihre heiligen Stätten wieder in Besitz zu nehmen. Das Kreuz wurde von der Kuppel des Felsendoms gerissen und das ganze Gebäude eiligst von allen Spuren der Anwesenheit der Christen befreit. Die Marmorplatten wurden vom Felsen entfernt und alle christlichen Inschriften getilgt. »Sie hatten die Kirche geschmückt mit Malereien und Bildwerken, Plätze für die Mönche und für das Pult des Evangeliums in ihr festgelegt,… in den Marmor waren Bilder von Herdentieren gehauen… Der Felsen aber… war unter den darüber errichteten Aufbauten verborgen und ging unter in der ganzen Anlage der reich ausgestatteten Kirche. Der Sultan ließ den Schleier von ihm nehmen,… die Steine zerbrechen, die Aufbauten niederlegen und die Decke spalten…« [Gabrieli, 1973, S. 217-218]
Auch aus der Moschee al-Aksa wurden die Einbauten der Templer entfernt; wichtig war vor allem die Freilegung des mihrab, der Gebetsnische, die in jeder Moschee die Richtung anzeigt, in der Mekka liegt. Der arabische Chronist Imad ad-Din berichtet: »Die Templer hatten eine Wand vor ihm errichtet und ihn zum Kornspeicher gemacht; es wurde sogar behauptet, sie hätten ihn in ihrer bösartigen Feindseligkeit als Abtritt benutzt. Westlich der qibla hatten sie ein geräumiges Haus und eine hohe Kirche gebaut. Der Sultan ließ nun die Trennwand entfernen und das Antlitz der Braut des mihrab entschleiern. Die davorliegenden Bauten ließ er zerstören und die Höfe, die ihn umgaben, reinigen, damit sich das Volk freitags im weiten Hof versammeln könne« [Gabrieli, 1973, S. 212].
Allerdings blieben die Anbauten weitgehend erhalten, sie wurden nur einer neuen Nutzung zugeführt. Mit unvorstellbaren Mengen an Rosenwasser wurden beide Gebäude rituell gereinigt, worauf sie schon am 9. Oktober 1187, sieben Tage nach dem Einzug Saladins in Jerusalem, anlässlich des traditionellen Freitagsgebets wieder ihrer eigentlichen Bestimmung übergeben werden konnten. In seiner zu diesem Anlass gehaltenen Predigt – khutba – vor dem Sultan und den Fürsten dankte Ibn al-Zaki Allah für seine Hilfe bei der »Säuberung Seines Heiligen Hauses von der Beschmutzung durch die Vielgötterei«. Die streng monotheistisch ausgerichteten Muslime sehen in der Verehrung der Dreifaltigkeit durch die Christen eine Verletzung des Glaubens an den einen Gott. Das »Heilige Haus« – Bait al-Maqdis – ist Jerusalem. In arabischer Sprache wird Jerusalem auch »al-Qudz« – Die Heilige – genannt. Die Heiligkeit der Stadt beruht für die Muslime auf der Tradition, dass Abraham hier weilte, Mohammed von dieser Stelle aus seine Himmelsreise antrat und dass die Muslime unter Mohammed in den ersten Jahren des Islams – bevor als qibla oder Gebetsrichtung Mekka vorgeschrieben wurde – noch in Richtung Jerusalem beteten.
Mit der Eroberung der Stadt hatte der Djihad, der Heilige Krieg gegen die Feinde des Islams, seinen Höhepunkt erreicht. Juden und orthodoxe Christen, unter der Kreuzfahrerherrschaft in der Stadt zwar geduldet, aber unterdrückt, erhielten unter der muslimischen Herrschaft größere Freiheiten. Die Grabeskirche wurde der Orthodoxie zurückgegeben, auch die Juden konnten sich wieder in Jerusalem ansiedeln – zwischen 1209 und 1211 kamen 300 Juden aus Frankreich und Spanien in die Stadt. Durch die Ansiedlung von Arabern sollte der Anteil der Muslime wieder erhöht werden. Auch wurden islamische religiöse Stiftungen eingerichtet, so eine Koranschule (medresse) in der St. Annen-Kirche. In den Verhandlungen, die König Richard Löwenherz (Kg. 1189-1199) während des Dritten Kreuzzuges (1190-1193) mit Saladin führte, erhielten die christlichen Pilger die Erlaubnis, die heiligen Stätten zu besuchen. Zur Verwaltung der Stadt wurden mameluckische Gouverneure eingesetzt, die in den Thronwirren nach dem Tod Saladins ihren Posten allerdings leicht verlieren konnten.
Schließlich wählte al-Muazzam Isa, Fürst von Damaskus, Jerusalem zu seiner Residenz und regierte die Stadt mit Hilfe eines Mamelucken. Als im Zuge des Fünften Kreuzzuges 1219 die Eroberung der Stadt durch die Christen drohte, ließ al-Muazzam Isa die Mauern abreißen. Die Christen sollten die Stadt nicht in den Verteidigungszustand setzen können. Ein Großteil der muslimischen Bevölkerung floh nach Damaskus. Und doch sollte es noch zehn Jahre dauern, bis Jerusalem erneut unter christliche Herrschaft kam.
Sultan al-Kamil und Kaiser Friedrich II. (Ks. 1212-1250) handelten im Jahr 1229 einen auf zehn Jahre befristeten Friedensvertrag aus, mit dem auch Jerusalem den Christen überlassen wurde. Ausdrücklich blieb aber der Tempelplatz mit den islamischen Heiligtümern ausgenommen. Die hier eingerichtete Verwaltung unter einem Qadi blieb bestehen. Unter den Muslimen löste al-Kamils Verzicht auf die Heilige Stadt Proteste aus.
Friedrich II. zog in Jerusalem ein. Sein größter Triumph war allerdings getrübt durch den Bann, den der Papst wegen seines Zögerns, den Kreuzzug überhaupt zu beginnen, über ihn ausgesprochen hatte, und durch den Unmut der Christen wegen der Verhandlungen mit dem Sultan. Mit einem Muslim zu verhandeln schien ihnen als Verrat an der christlichen Sache. Aber der Kaiser ging in Jerusalem unter der Krone des Königreiches Jerusalem, das seinem kleinen Sohn Konrad (IV.) rechtmäßig zustand. Die 1219 niedergerissenen Mauern der Stadt wurden bis zu ihrem endgültigen Verlust im Jahr 1244 nicht wieder aufgebaut. Nach dem Ablauf des Friedensvertrages im Jahr 1239 besetzte al-Nasir Daud, der Vorsteher der Burg Kerak, mit seinen Truppen kurzerhand Jerusalem. Doch er musste die Stadt wieder aufgeben, da er den neuen Sultan al-Malik (Slt. 1249-1250) fürchtete.
Die Ajubiden, die von Saladin begründete Dynastie, waren in dieser Zeit zu sehr mit innenpolitischen Schwierigkeiten und der Mongolengefahr beschäftigt, um ernsthaft etwas gegen die Bestrebungen Theobalds IV. von der Champagne zu unternehmen, das von den Christen beherrschte Gebiet in Palästina wieder auszudehnen. Schließlich war die Macht des Königreichs Jerusalem so weit gestärkt, dass sich die Christen im Jahr 1243 erneut des Tempelberges bemächtigen konnten. Den Nachrichten des Chronisten al-Makrizi zufolge wurde im Felsendom wieder die Messe gefeiert, und in der Moschee al-Aksa wurden Glocken aufgehängt. Allerdings konnten sich die Christen nicht lange an ihren Erfolgen freuen.