Желая нормализовать взаимоотношения между сыновьями, Харун ар-Рашид принимает решение об установлении твердого порядка наследования власти в случае своей смерти. Чтобы придать своему решению полностью законный характер, а также чтобы связать братьев клятвенными обязательствами относительно друг друга, халиф совершает вместе с сыновьями в 802 г. хадж — паломничество к главной святыне ислама, мекканскому храму Каабе, что является одной из важнейших обязанностей мусульманина. Находясь в Мекке, Харун ар-Рашид написал специальный документ, в котором говорилось, что после смерти халифа его место занимает Амин, а в случае смерти Амина ему наследует Мамун. Братья принесли присягу в том, что они обязуются свято блюсти договор и сохранять верность друг другу. Харун ар-Рашид решил для вящей важности подвесить грамоту к потолку Каабы в присутствии сотен мусульман, собравшихся в Мекку для совершения паломничества. Масуди сообщает, что, когда свиток попытались подвесить, он упал. Мусульмане сочли это падение предзнаменованием того, что договор между принцами в скором времени будет нарушен. Тут же начали искать и другие пророчества. Некий паломник стал утверждать, что ему было видение — двое мужчин, спорящих из-за верблюда, и окровавленные вороны.
После смерти Харуна ар-Рашида Амин, как и было условлено, стал халифом, Мамун же сделался наместником богатой иранской провинции Хорасан. Вскоре Амин решил все же нарушить договор с братом и назначить престолонаследником своего малолетнего сына Мусу. Мамуну же он послал письмо с приказом двигаться в Багдад. Почувствовав недоброе, Мамун решил вступить с братом в вооруженную борьбу. Вскоре войска Мамуна под командованием одного из лучших его полководцев, Тахира ибн ал-Хусейна, наголову разбили халифскую армию под иранским городом Реем. Через некоторое время Тахир и другой полководец Мамуна, Хасам ибн Айан, осадили саму столицу Халифата Багдад. Амин же, который, по словам Масуди, отличался большой физической силой и незаурядной красотой, но был человеком недалекого ума и слабой воли, не предпринял фактически ничего для того, чтобы каким-то образом спасти положение и защитить жителей Города мира от бедствий войны. В то время, когда багдадцы страдают от обстрела камнеметных машин, пожаров, грабежей и голода, он, запершись в Зеленом куполе, предается рискованным развлечениям. Так, например, однажды халиф голыми руками убивает дикого льва, привезенного во дворец егерями в специальной клетке и сумевшего из нее убежать. Дядя Амина и Мамуна, брат Харуна ар-Рашида Ибрахим ибн ал-Махди вспоминал, что однажды он вошел в покои Амина и застал его печально сидящим у окна, которое выходило на Тигр. Выяснилось, что рыбка, на которую Амин надел драгоценный перстень и пустил плавать в пруд, соединенный специальным каналом с Тигром, сумела, найдя в запруде отверстие, ускользнуть в реку. Когда умерла любимая наложница Амина, мать его сына Мусы, халиф долгое время предавался горю, оставив все дела, и только увещевания его матери Зубайды заставили Повелителя верующих принять меры по организации отпора противнику. Вскоре, впрочем, он утешился в обществе других рабынь, услаждавших Амина и его приближенных сладостным пением. В конце концов, когда положение стало совершенно безнадежным, Амин бежал из дворца, чтобы добровольно сдаться, надеясь на милость брата. Однако Тахир ибн ал-Хусейн приказывает отрубить ему голову и повесить ее в знак победы над воротами Баб ал-Хадид, а тело похоронить в одном из багдадских садов. Позже голову вместе со знаками халифской власти — плащом-бурдой пророка Мухаммада и его перстнем, которые передавались от одного халифа к другому, — отвезли в Хорасан к Мамуну.
Вот так бесславно окончилось правление Амина. Поэтому неудивительно, что новый халиф счел Зеленый купол несчастливым местом. Этот дворец, видимо, постоянно напоминал Мамуну о его предшественнике, и новый правитель решил поселиться в ином дворце, навсегда оставив прежнюю резиденцию.
Другой достопримечательностью Круглого города была соборная мечеть Мансура, построенная сразу вслед за дворцом. При Харуне ар-Рашиде выяснилось, что мечеть неправильно ориентирована относительно главной святыни ислама — мекканского храма Каабы, обращаться лицом к которому во время молитвы обязаны все мусульмане, поэтому халиф приказал ее разобрать и отстроить заново. После этого мечеть еще несколько раз достраивалась.
Постепенно в Багдаде стали селиться коренные иракцы — потомки ассирийцев и вавилонян, выходцы из Ирана, арабы из различных племен и местностей. Здесь же было размещено тридцатитысячное войско Мансура, которое само по себе было весьма разнородным. Представители всех этих этнических групп первоначально говорили на своих языках, однако языком межэтнического общения стал арабский, который, конечно, изменился под воздействием иноязычия, и на этой основе постепенно сложился особый багдадский диалект.
Таким образом, Круглый город Мансура стал постепенно разрастаться. В 773 г. Мансур построил на берегу Тигра еще один дворец — Хульд (что по-арабски означает «рай»). Затем на восточном берегу Тигра Мансур распорядился разбить специальный военный лагерь Русафу для престолонаследника Махди. Вскоре там также были возведены дворец и мечеть, и Русафа превратилась в один из районов Багдада. Торговля стала особенно бурно развиваться в южном пригороде новой столицы — Кархе.
Постепенно Круглый город Мансура из центра Багдада превратился в один из рядовых его районов. Этому способствовало прежде всего, видимо, то, что халиф Мамун окончательно перенес резиденцию из Зеленого купола во дворец Каср ат-Тин, построенный в начале IX в. вельможей Джафаром ал-Бармаки, который позже был казнен отцом Мамуна Харуном ар-Рашидом. В 892 г., незадолго до рождения Масуди, халиф Мутамид (870—892) обнес Каср ат-Тин стеной, возвел там еще целый ряд построек, разбил сады и огороды. Так образовалась халифская резиденция Дар ал-Хилафа, в которой халифы жили вплоть до взятия и разграбления Багдада монголами в 1258 г.
Вскоре халиф Мутадид (892—902) приказал построить примерно в двух милях от Каср ат-Тина еще один дворец — Сурайа («Плеяды»), соединив его с Дар ал-Хилафой подземным ходом. При халифе Муктафи (901—907) рядом с Дар ал-Хилафой был возведен еще дворец — Тадж («Корона»). Новый дворец был увенчан огромным куполом. Здесь же была возведена специальная соборная мечеть для обитателей халифской резиденции — Джами ал-Каср («Дворцовая мечеть»). Последние расширения Дар ал-Хилафы, произошедшие при жизни Масуди, были произведены халифом Муктадиром (908—932).
Халифский дворец был настоящим независимым маленьким городом в составе огромного по тем временам Багдада. Размеры дворцового комплекса можно представить себе на основании того, что, по сообщениям арабо-мусульманских авторов, он простирался в глубину от берега Тигра, на который выходила часть его стены, на целых 12 км. Внутренний гарнизон Дар ал-Хилафы насчитывал около двадцати тысяч охранников, причем только одна смена караула включала пять тысяч пеших воинов, четыреста особых стражников-караульных, восемьсот слуг внутренних покоев. Гвардейцами служили невольники-тюрки. Они были разделены на отряды, которые отличались друг от друга цветами обмундирования. Особо привилегированным полком гвардейцев была личная охрана халифа — ал-мухтарун («отборные»), которая несла службу во время аудиенций. После того как тюркские гвардейцы убили в 864 г. халифа Мутаваккила, они превратились в мощную политическую силу, способную распоряжаться халифским престолом. Масуди неоднократно с болью повествует о том, как они смещали и назначали новых халифов по своему усмотрению.
В систему дворца халифа входили следующие чины: