Но самая большая угроза правлению Омейядов исходила не от мятежей подобных групп. Она шла от нежелания большинства ортодоксальных мусульман признать переход халифата к боковой линии правящего дома, Марванидам (ее основателем был Марван I, 684–685). Месопотамия, в той части, которая не была шиитской или хариджитской, Аравия и часть Сирии сплотились вокруг Абдуллаха ибн Зубайра, сына сподвижника пророка, убитого в Верблюжьей битве. Межплеменные ссоры вспыхнули с новой силой. Хотя правление Омейядов в Сирии было восстановлено в 684 году в битве при Мардж-Рахите, эта битва, в которой сторонники Омейядов южноаравийские кальбиты разгромили североаравийских кайситов, дала толчок кровопролитным вендеттам, продолжавшимся десятилетиями и сделавшим практически невозможным упорядоченное ведение дел. Когда правителем провинции становился член того или иного племени, все административные посты переходили в руки его соплеменников. На персидской земле, хотя племенные симпатии разделялись несколько иначе, не только строго соблюдалось это правило, но также имели место военные столкновения между отдельными племенами. Все это приводило к разрушениям, подрывало престиж арабов и правящего дома.
Гражданская война между двумя претендентами на халифат тянулась десять лет. Халиф Абд аль-Малик, сын Марвана (685–705), одержал верх в Месопотамии только после того, как Мекка была взята штурмом в 692 году и Абдуллах ибн Зубайр пал в бою. Когда были подавлены второстепенные мятежи в Персии, внутренний мир был восстановлен по всей империи. Правителем Месопотамии стал человек низкого происхождения аль-Хаджадж ибн Юсуф. Жители провинции, недовольные главенством Дамаска, оставались элементом нестабильности; даже правление такого грозного человека, как Зияд в 60–70 годах хиджры, не смогло остановить распространение шиитских и харджитских идей среди них. Хаджадж тоже сначала не преуспел в подавлении беспорядков, однако его безжалостная энергия в конце концов установила в Месопотамии эффективное омейядское правление, и в Персии воцарился порядок. Добиваясь своей цели, он не уделял большого внимания интересам религиозных группировок. Как следствие, он не получил должного признания в исторических трудах, написанных впоследствии с антиомейядским уклоном. Его, как правило, изображали мирским грубым человеком, безразличным к «истинным» интересам ислама.
Правление Абд аль-Малика (685–705) было одним из самых важных периодов внутренних реформ в исламской истории. Подавление многочисленных оппонентов режима – которые, как уже было сказано, часто идентифицировались с чужеродными элементами – подчеркнуло арабский характер империи Омейядов, что нашло выражение в арабизации администрации. Декретом правителя арабский язык стал языком правительственных учреждений, вытеснив греческий и персидский (Naql al-Diwan). В 696–697 годах была завершена полная монетарная реформа, и теперь христианские и зороастрийские изображения на монетах были заменены арабскими символами и надписями (провозглашение веры, имя правителя, титул, место чеканки). Правда, есть свидетельства, что эта перемена началась раньше с небольших изменений в старом византийском и сасанидском дизайне. Переходный период в правительственном аппарате занял довольно долгое время, что следует из многочисленных папирусов, найденных в Египте.