В конечном итоге, они сошлись на кандидатуре Али ибн Абу Талиба и еще раз предложили ему прийти к власти, но Али вторично ответил отказом.
Опасаясь того, что приближающаяся армия войдет в Медину и подавит мятеж, бунтовщики пригрозили устроить в городе резню и перебить всех сподвижников Пророка, включая Али и аз-Зубайра, в случае, если мединцы не изберут нового халифа. Положение осложнялось с каждым днем, поэтому горожане и сподвижники Пророка обратились к Али с просьбой согласиться возглавить Халифат. Однако Али снова ответил отказом, ссылаясь на сложность создавшейся обстановки. Лишь после настойчивых обращений он дал свое согласие стать четвертым халифом. Будучи умным и влиятельным человеком, он понял, что в противном случае события могут развиваться по еще более опасному сценарию и грозить непредсказуемыми потрясениями для мусульманского общества. На следующий день народ присягнул Али. В числе присягавших в тот день были Тальха и аз-Зубайр. Это произошло в конце месяца Зульхиджа 35 года хиджры.
Став халифом, Али решил, прежде всего, вывести из Медины бунтовщиков. Они уже добились избрания нового халифа и начали требовать смещения наместников, назначенных Усманом. Только в этом случае они могли удалиться из города, посчитав свою миссию выполненной. В противном случае, они угрожали очередной дестабилизацией политической обстановки в Халифате.
У Али, как у нового халифа, тоже были планы кадровой перестановки наместников провинций. Поэтому он принял решение сменить власть в провинциях, несмотря на то, что некоторые сподвижники советовали ему повременить с этим. Безусловно, как глава государства, он был вправе отозвать одних и назначить других наместников.
Али назначил наместником Басры Усмана ибн Хунайфа, наместником Йемена — Убайдуллу ибн Аббаса, наместником Египта — Кайса ибн Саада ибн Убабу. Наместника Куфы Абу Мусу аль-Ашари он оставил на своем месте по причине того, что тот сразу привел к присяге новому халифу все население провинции. С Меккой возникли осложнения. Несмотря на то, что халиф Али назначил туда наместником Халида ибн аль-Аса ибн Хишама ибн Мугиру аль-Махзуми, мекканцы отказались его признавать. В городе собралась часть мединцев, некоторые снятые с должностей наместники провинций и представители рода Омейядов. Они выразили недовольство происходившими в государстве процессами. Вскоре сюда, с ведома Али, приехали Тальха и аз-Зубайр. Таким образом, Мекка превратилась в один из центров оппозиции новому халифу и оставалась без представителя центральной власти. Лишь позднее туда был назначен наместником Кусам ибн Аббас.
Другое серьезное сопротивление халиф Али встретил в лице правителя Сирии Муавии ибн Абу Суфьяна из рода Омейядов, который к тому времени превратился в достаточно влиятельного и популярного человека. Он не присягнул Али, несмотря на то, что халиф предлагал это сделать это. Муавия решил выждать и посмотреть, каков будет расклад сил между Али и восставшими бунтовщиками в Медине. Тогда Али сместил Муавию и послал туда наместником Сахля ибн Хунайфа, однако его не впустили в провинцию.
Несмотря на существование оппозиции, власть Али была законной и соответствовала мусульманскому шариату. Он был избран халифом старейшими сподвижниками Пророка, и его власть была признана большинством провинций. Политическое положение в Халифате оставалось сложным и неоднозначным. С одной стороны, значительная часть общественности выражала недовольство тем, что в Медине все еще оставались мятежники, убившие халифа Усмана. По этой причине многие отказывались повиноваться Али. С другой стороны, социальная база мятежников и их влияние в обществе все еще было значительным. Халиф Али понимал необходимость наказания бунтовщиков, однако поспешные действия в этом направлении могли повлечь за собой опасные последствия. Он стремился, в первую очередь, упрочить свою власть, добиться признания его власти большинством сподвижников и принять присягу от всех провинций, включая Сирию. Лишь после этого он мог с уверенностью начать преследование убийц Усмана. Однако именно этот вопрос стал причиной гражданского противостояния в Халифате. Значительная часть общественности, включая некоторых сподвижников Пророка Мухаммада, требовала немедленного наказания убийц халифа Усмана.
В Египте часть населения отказалась присягнуть халифу. Люди ушли в местность под названием Харбета. Назначенный халифом Али наместник Египта Кайс ибн Саад ибн Убада, видя сложность положения в провинции, не принял по отношению к ним никаких карательных мер. Халиф Али понимал, что существование такой оппозиции может, в конечном итоге, привести к потере контроля над всей провинцией. Поэтому он приказал Кайсу силой добиться от них повиновения. Однако Кайс счел свою точку зрения более верной и не стал выполнять это распоряжение. Он подал в отставку и приехал к халифу Али в Медину. Вместо него Али назначил наместником Египта Мухаммада ибн Абу Бакра. Тот сразу же приступил к исполнению приказа халифа и попытался уничтожить оплот оппозиции в Харбете, однако ему не удалось справиться с этой сложной задачей. Халиф Али отозвал его и назначил на его место аль-Аштара ан-Нахи. Однако по дороге в Египет тот умер от отравления. Тогда халиф Али вновь назначил на должность наместника провинции Мухаммада ибн Абу Бакра и призвал куфийцев помочь ему навести порядок в Египте, однако сильной армии против повстанцев ему собрать так и не удалось. Все эти события закончились тем, что Египет был захвачен наместником Сирии Муавией ибн Абу Суфьяном, который послал туда Амра ибн аль-Аса. В результате этих событий Мухаммад ибн Абу Бакр погиб. Таким образом, в 38 году хиджры Египет вышел из-под контроля халифа Али.
Сложная ситуация сложилась и в Куфе. Ее наместник Абу Муса аль-Ашари был миролюбивым человеком и сразу признал власть Али. Однако в провинции, как и в других областях Халифата, также сформировалась оппозиция халифу Али. Несмотря на настойчивые требования халифа, Абу Муса не стал прибегать к силовым методам в борьбе с оппозицией, и это привело к отставке наместника.
Аналогичная ситуация сложилась и в Мекке. Мединцы, которые вернулись в Мекку после хаджа, узнав об убийстве Усмана, решили отправиться в Басру. К ним присоединились и некоторые мекканцы, в том числе жена Пророка Аиша.
Таким образом, караван, в котором находилось 700 человек, выехал из Мекки в направлении Басры. По пути к нему стали примыкать представители разных племен, и его численность возросла до 3000 человек.
Тем временем Али принял решение силой принудить Сирию к повиновению. Для этого он обратился к народу с призывом добровольно вступить в ряды армии, однако этот призыв был встречен без особого энтузиазма, и халиф не стал принуждать людей к этому. Одновременно Али обратился к наместникам Египта, Куфы и Басры с приказом поддержать его военную экспедицию. Он не искал поддержки у мятежников, убивших Усмана, несмотря на то, что они были довольно сильны и могли оказать ему в этом деле большую поддержку. Это говорит о том, что Али не поддерживал и не имел ничего общего с бунтовщиками.