Узнав о том, что персы снова собрали большие силы в Нехавенде, халиф Умар срочно приказал основным силам армии Халифата выступить против них. Он хотел лично возглавить войска и выехать на фронт, однако Али ибн Абу Талиб и другие сподвижники отговорили его от этого шага. Тогда Умар написал послания Хузайфе ибн аль-Йаману в Куфу, Абу Мусе аль-Ашари — в Басру и Нуману ибн Мукаррину с приказом объединить силы и совместно выступить против персидской армии. Командующим армии он назначил Нумана ибн Мукаррина. В случае его смерти полномочия командующего должны были перейти к Кайсу ибн Макрушу. 30-тысячная мусульманская армия подошла к Нехавенду. Персы собрали в Нехавенде огромные силы численностью в 150 тысяч человек. Битва началась и продолжалась два дня. Мусульмане победили противника, и тот вынужден был отойти и укрыться за стенами города. Осада города могла быть продолжительной, и это не входило в планы командующего армией Нумана ибн Мукаррина. Поэтому он, посовещавшись с командирами, использовал военную хитрость. Вступив в бой с передовыми отрядами персов, мусульмане начали намеренно отступать, создав иллюзию того, что персы вот-вот добьются победы. Как следствие, вся персидская армия пошла в бой. Мусульмане ждали этого и, сделав маневр, они снова укрепили свои ряды и вступили в бой с противником. Битва была кровавой. Десятки тысяч персов погибли на поле боя. Командующий мусульманской армией Нуман ибн Мукаррин тоже погиб, но известие об этом временно не оглашали, чтобы не подрывать боевой дух бойцов. Командир персидской армии Файрузан бежал с поля битвы, однако отряд Кааки настиг его у Хамадана, и Файрузан был убит.
После этих событий исламская армия вошла в Нехавенд, а затем захватила Исфаган. Абу Муса аль-Ашари завоевал города Кум и Кашан, а Сухайл ибн Ади вошел в Кирман.
Победа при Нехавенде, как и остальные чудесные победы мусульман, была достигнута вовсе не за счет численного перевеса или хорошего оснащения исламской армии. Самым главным фактором, предопределившим эти победы, была искренняя и непоколебимая вера мусульманских бойцов.
После битвы при Нехавенде халиф Умар отдал приказ войскам окончательно завоевать Иран и углубиться в его территорию. Дальнейшее продвижение мусульманской армии осуществлялось следующим образом:
Нуайм ибн Мукаррин двинулся на Хамадан и завоевал его. Оставив здесь Йазида ибн Кайса, он пошел на Рей (современный Тегеран) и тоже завоевал его. Затем, получив поддержку халифа Умара, Нуайм послал своего брата Сувада ибн Мукаррина на завоевание Куса. Подойдя к городу, он договорился с его жителями, и они сдались без сопротивления. Узнав об этом, жители Гурганджа и Табаристана также обратились к Суваду и признали власть Халифата.
Одновременно с этим командующий мусульманскими войсками на этом фронте Нуайм ибн Мукаррин послал Бакра ибн Абдуллу на завоевание Азербайджана. Вслед за ним туда же был послан Саммак ибн Хирс. С другого направления на Азербайджан двинулся Утба ибн Фаркад. Совместными усилиями они добились успеха.
Сурака ибн Амр двинулся на Дербент, находящийся на западе Каспийского моря. Передовыми отрядами его армии командовал Абдуррахман ибн Рабиа, которому удалось заключить договор с правителем этих мест. В горные местности Сурака послал другие отряды. В разгар этих событий он скончался, и войска возглавил Абдуррахман ибн Рабиа, полномочия которого были подтверждены халифом Умаром.
Аль-Ахнаф ибн Кайс вошел в Хорасан и завоевал Герат, оставив там Саххара ибн Фалана аль-Абди. После этого он начал преследование последнего иранского шаха из династии Сасанидов Йездигерда III и двинулся на Мерв. Туда же подошли подкрепления из Куфы. Йездигерду удалось бежать в Балх. Когда же мусульманские войска дошли и туда, он бежал в Мавераннахр.
После завоевания Балха, аль-Ахнаф ибн Кайс установил контроль над значительными территориями на севере бывшей персидской империи и подавил последние очаги сопротивления персидских войск. Затем он отправил Мутаввифа ибн Абдуллу и аль-Хариса ибн Хасана на Нисабет и Серахс. Затем, оставив в Табаристане Раби ибн Амра ат-Тамими, он вернулся в Мерви Руз, где получил письмо от халифа Умара, в котором тот запретил ему дальнейшее продвижение и посоветовал укрепиться на завоеванных территориях.
Один из командиров персидского фронта Усман ибн Абуль-Ас двинулся на Истахр. Он выступил морем из Бахрейна, завоевал вначале остров Беркаван, а затем высадился на территории Ирана. Ему удалось завоевать Истахр и Шираз.
Другой командир Сария ибн Заним аль-Кинани разгромил крупную группировку персидских войск в Курдистане.
Басрийцы под командованием Асима ибн Амра ат-Тамими пошли на главный город провинции Систан Зерендж и вынудили его население подписать с ними договор. Асим стал наместником этой провинции.
Сухайл ибн Ади аль-Хазраджи изгнал из Кирмана персидские войска и присоединил область к Халифату.
В результате этих наступательных операций войск Халифата Сасанидскому государству был положен конец.
Халиф Умар был умным и дальновидным человеком. Расширение границ Халифата привело к тому, что Ислам начал распространяться среди других народов, и это могло привести к проникновению в исламскую религию инородных воззрений и традиций. Результатом этого могла быть духовная деградация мусульман. Кроме того, в среде мусульман уже находилось много зороастрийцев, плененных в результате войн с Персией, и с их стороны могли быть предприняты определенные действия по дестабилизации положения в Халифате. Эти проблемы очень беспокоили халифа Умара, и поэтому он не позволял персам поселяться в столице Халифата — Медине. Многие из них после падения Персидской империи лишь притворялись мусульманами, а на самом деле оставались зороастрийцами. Они питали симпатии к уничтоженному Сасанидскому Ирану и зороастризму, который был государственной религией в бывшей империи. В связи с этим они вынашивали коварные планы против мусульманского государства в целом и против ненавистного им халифа Умара в частности.
Во время войны с Персией наместник Куфы аль-Мугира ибн Шуба попросил халифа Умара позволить поселиться в Медине его слуге — персу Абу Лулу Фирузу, который обратился в Ислам. Однако, как выяснилось позднее, в душе тот остался зороастрийцем и продолжал питать вражду к Исламу. Абу Лулу был очень способным человеком и владел многими ремеслами. Аль-Мугира хотел, чтобы его способности послужили на пользу мусульманам, однако Абу Лулу замыслил заговор против халифа Умара и длительное время отслеживал все его передвижения. Осуществление заговора облегчалось тем, что Умар, как и все праведные халифы, вел очень скромный образ жизни и не держал при себе охрану. Он отличался храбростью и бесстрашием, и это мешало заговорщику осуществить свой замысел. Поэтому он решил напасть на халифа Умара, когда тот совершал молитву.
В месяце Зульхиджа 23 года хиджры Абу Лулу осуществил свой коварный план. Умар возглавил коллективную рассветную молитву, и Абу Лулу неожиданно напал на халифа сзади и нанес ему шесть тяжелых ножевых ранений. Когда молящиеся, находящиеся в первых рядах, окружили его, он бросился на них и серьезно ранил 13 человек, половина из которых позднее скончалась от ранений. Подоспевший к месту трагедии Абдуррахман ибн Ауф накинул на Абу Лулу свою головную повязку и затянуть ее. Видя безысходность своего положения, Абу Лулу покончил жизнь самоубийством.