Положение аль-Мамуна было более выигрышным. В своих действиях он следовал законным решениям Харуна, которые были подтверждены взаимными клятвами. Его активно поддерживали и армия, и жители Хорасана, поскольку им импонировали его происхождение и четкие проиранские установки. Аль-Мамун получил хорошее образование под руководством перса аль-Фадла ибн Сахла, назначенного ему в наставники отцом еще в 803 году, вскоре после падения Бармакидов. Для этого аль-Фадлу пришлось публично отказаться от зороастризма и перейти в ислам. Аль-Фадл ибн Сахл и его брат аль-Хасан играли при аль-Мамуне ту же роль, какую в свое время при Харуне ар-Рашиде играл Джафар.
Получив пост правителя Хорасана, аль-Мамун мог бы оставаться в Багдаде, поручив наблюдение за провинцией своей администрации, но по совету аль-Фадла он отправился в Хорасан, где создал для себя прочную базу. Он сопровождал отца во время поездки Харуна на восток в 803 году и сумел сразу же после его смерти взять в свои руки все управление провинцией.
После смерти Харуна ар-Рашида в 809 году один из его военачальников в Мавераннахре Рафи ибн Лайс отказался подчиняться багдадской власти и овладел Самаркандом. Халиф выслал против него войско во главе с эмиром Харсамой, который осадил Самарканд и, взяв город в 811 году, казнил мятежника. После усмирения восстания вазир аль-Амина альФадл ибн ар-Рабиа приказал войску Харсамы возвратиться в Багдад. Это, по мнению аль-Мамуна, считавшего, что оно должно остаться под его командованием, противоречило распоряжению покойного Харуна о его суверенитете в Хорасане. По совету аль-Фадла ибн Сахла он отказался отправить войско в Багдад. Так началась война между двумя братьями.
Аль-Амин отправил войско против непокорного брата, но небольшая армия аль-Мамуна под командованием Харсамы и хорасанца Тахира в 811 году нанесла ему поражение и двинулась на запад. Война продолжалась два года. Армия аль-Мамуна заняла весь Западный Иран и подошла к Багдаду. Осада города продолжалась около года. Сторонники аль-Амина при поддержке горожан, боявшихся хорасанской армии и рассматривавших ее приход почти как иноземное вторжение, яростно сопротивлялись. В 813 году город пал, аль-Амин был убит солдатами Тахира, а аль-Мамун был провозглашен халифом (813 –833).
Постепенно и западные провинции Халифата объявили о своей лояльности новому халифу. Аль-Мамун поручил правление Ираком Тахиру, а сам решил поселиться в Мерве, который собирался сделать столицей государства. Позднее он доверил управление Ираком брату аль-Фадла – аль– Хасану ибн Сахлу, в прошлом зороастрийцу – и взял в жены одну из его дочерей.
Гражданская война между аль-Амином и аль-Мамуном, в ходе которой хорасанские солдаты вторглись в Ирак, рассматривалась средневековыми историками как конфликт иранцев, возглавляемых аль-Мамуном, и арабов, возглавляемых сыном хашимидской матери аль-Амином. В этом утверждении несомненно была доля истины. Аль-Мамун, окруженный принявшими ислам персами, был вынужден, вне зависимости от своих личных симпатий, занять по отношению к входившим в его владения восточным областям империи разумную позицию покровителя. Следуя заветам Бармакидов, он всячески старался примирить верхушку иранского общества с властью Аббасидов и многого в этом отношении достиг. Разумеется, в окружении аль-Мамуна также было много арабов, что мешало ему апеллировать к персидским национальным чувствам большинства его сторонников. Да он и не собирался это делать. Одной из глубинных и важнейших причин династийного конфликта был религиозно-догматический спор, в контексте которого аль-Мамун – продолжатель линии Бармакидов – вызывал неприязнь влиятельных теологов-традиционалистов.
Захватив сильно разрушенный Багдад, аль-Мамун стал полновластным главой империи, но эта победа не принесла ему мира. Сподвижники аль-Амина были еще сильны в Сирии, а в Азербайджане продолжались волнения на религиозной почве. Еще при Харуне ар-Рашиде движение хуррамитов дважды выливалось в 796 и 808 годах в открытое восстание, а в 816 году, уже при аль-Мамуне, оно привело к большому и многолетнему восстанию под руководством Бабека (перс. Папака), который объявил себя воплощением раннего хуррамитского имама и собрал вокруг себя в Северном Азербайджане большое число сторонников. Разумеется, вера в имама, происходящего из дома Абу Муслима, носила чисто шиитский характер.