В 644 году Омар пал от руки иранского раба, и халифом стал Осман — один из ранних последователей Мухаммеда. В этом немалую роль сыграла его любовь к одной из дочерей пророка, на которой он женился, а после ее смерти взял в жены ее сестру, нa что получил среди мусульман почетное прозвище ”дважды зять посланника Аллаха”. Огромные ценности, стекавшиеся в Аравию из завоеванных стран, разворовывались верхушкой мусульманской общины, что вызывало глухой ропот и недовольство ее рядовых членов. Некоторые из них, ссылаясь на высказывания пророка, требовали равномерного распределения поступавших средств между всеми мусульманами.
В 656 году Осман был убит в своем доме мусульманами, недовольными разграблением казны. Восставшие провозгласили халифом Али, двоюродного брата и зятя Мухаммеда, женатого на его дочери Фатиме. Он быстро подавил сопротивление своих противников в Мекке и Медине и в 656 году нанес под Басрой поражение их войскам.
Наиболее серьезным соперником Али стал наместник богатой провинции Сирии Муавия, представлявший интересы мусульманской аристократии. В борьбе против Муавии Али мог рассчитывать на арабские племена в Ираке, которые в свое время были недовольны правлением Османа. Поэтому он перенес столицу халифата в Куфу — город, основанный мусульманами в 636 году в Южном Ираке по приказу халифа Омара.
В 657 году в северной части Ирака, у Сиффина (находящегося сейчас на территории Сирии), произошло крупное сражение между войсками Муавии и иракскими отрядами халифа Али. Ни те, ни другие не достигли успеха. По сообщениям арабских историков, сирийские войска уже начали отступать, когда наместник Египта Амр, бывший в войсках Муавии, приказал сирийским солдатам поднять на мечах и копьях листы Корана, призвал своих иракских противников прекратить кровопролитие и решить спор мирным путем на основании предписаний священной книги. План египетского наместника удался, и Али отдал приказ прекратить бой.
Пацифизм халифа был его грубейшей ошибкой: сторонники военных действий страстно возненавидели Али и покинули его. Уступчивость халифа послужила причиной возникновения в исламе первого сектантского движения — хариджитов (араб. ”хараджа” — ”выйти”, ”восстать”). Те же, кто остался с Али, стали называться шиитами (араб, ”шии” — ”приверженцы”, ”партия”). Первым требованием хариджитов было провозглашение суверенитета мусульманской общины, которая назначает и смещает своего главу — халифа, причем главой общины мог быть любой человек, сумевший подтвердить свое благочестие. 12 тыс. хариджитов покинули лагерь под Куфой и направились вверх по Евфрату к Багдаду — в то время небольшой деревушке. К хариджитам примыкало все больше сторонников, которых привлекала их решимость бороться с оружием в руках за осуществление своих принципов.
Имея в тылу столь опасное движение, халиф Али пришел к Нахрвану (Западный Иран), где стояли лагерем хариджиты. Его призывы прекратить враждебную пропаганду и примкнуть к его войску привели к расколу среди хариджитов. Часть из них вновь встала под знаменем Али, часть ушла в Иран и Мекку. Наиболее непримиримые хариджиты (численностью около 3 тыс.) во главе с эмиром (букв, ”повелитель”, ”вождь”, ”князь”) Ибн Вахбой, дав друг другу клятву ”встретиться в раю”, вступили в бой против превосходящих сил противника и были перебиты.
Несмотря на разгром у Нахрвана, хариджитское движение не умерло. Примкнувшие к войску Али отряды скоро ушли из Куфы, объединились со своими единомышленниками в Иране и Ираке и возобновили войну против сторонников Али. Как свидетельствуют мусульманские историки, хариджиты приняли решение убить Али, Муавию и Амра и провозгласить халифом, своего ставленника. В 661 году выходивший из мечети в Куфе после пятничной молитвы Али был ранен отравленным мечом бросившегося на него хариджита. По мусульманским преданиям, раненый Али завещал в случае своей смерти казнить преступника, а свое тело привязать к верблюду, выпустить его в пустыню и там, где верблюд опустится на колени, похоронить. Через три дня Али умер, хариджит был обезглавлен, а верблюд с телом Али, пройдя 20 километров, остановился. Приверженцы Али похоронили его, насыпали над могилой большой холм, вокруг которого разбили палатки. Так возник иракский город Эн-Неджеф, что в переводе с арабского означает ”холм”, ”бугор”. Над могилой Али сегодня построена роскошная мечеть с золотым куполом и минаретами.