На иракском фронте завоевания поначалу не были такими масштабными. Бои в течение нескольких лет шли на берегах Евфрата. В сентябре 634 года, когда персы вернули захваченную при Абу Бакре Хиру, Умар отправил против них армию во главе с Абу Убайдом. Тот одержал несколько побед над отдельными персидскими полководцами и овладел значительной частью междуречья Евфрата и Тигра. Однако в ноябре 634 года неподалёку от Хиры на восточном берегу Евфрата произошла ожесточённая битва, в которой арабы потерпели поражение. Эта неудача не обескуражила Умара. Он продолжал формировать и отправлять на Евфрат всё новые и новые отряды добровольцев. В марте 635 года при ал-Бувайба, неподалёку от Хиры, арабы разбили врага и захватили весь Ирак вплоть до берегов Персидского залива. Но затем они должны были вновь отступить за Евфрат. Только после того как в начале 636 года в Ирак отправилась новая армия под командованием Саада ибн Абу Ваккаса, в военных действиях наступил перелом.
Иранский полководец Рустам сосредоточил у Селевкии для борьбы с Саадом огромную армию, в которую вошли контингенты со всего Ирана. Всего собралось до 40 тысяч воинов, подкреплённых мощью 30 или 35 боевых слонов. Арабов было около 30 тысяч. Армии встретились в декабре 636 года у Кадисия. Ожесточённое сражение продолжалось три дня. В конце концов упорство и доблесть арабов сломили сопротивление персов. Рустам пал в бою. Арабы форсировали Евфрат, Тигр и в апреле 637 года без боя захватили персидскую столицу Ктесифон. Тут им досталась колоссальная добыча, оцениваемая более чем в 100 миллионов дирхемов. Затем из разорённого дотла Ктесифона Саад повёл свою армию вверх по Тигру и без труда покорил равнинный Курдистан.
В том же году арабы из Ирака начали набеги на собственно Иран. Переправившись через Тигр и Карун, они вторглись в область Ахваз. В 639 году был завоёван весь Хузистан, взяты Рамхурмуз, Шустер и Сус. В следующем году фронт завоеваний расширился. Арабы с моря высадились у Ришахра и приступили к завоеванию Фарса. Правитель этой провинции был убит в ожесточённом сражении, его армия рассеяна. В 641 году был взят Таввадж, превращённый в базу для дальнейших завоеваний. Между тем шах Йездегерд III сумел оправиться от поражения и вновь собрал под своим началом большие силы. Однако и эта армия была разбита в 642 году в сражении при Нехавенде. Победа открыла арабам путь на восток - к Рею и далее в Хорасан, а также на север - в Азербайджан (Адербайган). В следующие два года завоеватели овладели Хамаданом и Исфаханом. На севере были взяты Абхар и Казвин, а в 643 году пала столица Азербайджана Ардебиль.
Таким образом, за десять лет правления Умара границы Халифата широко раздвинулись на запад, север и восток. В те же годы произошли важные перемены в политической жизни, совершенно преобразившие характер молодого мусульманского государства. Из мононационального племенного союза единоверцев, не имевшего ни центрального аппарата управления, ни постоянной армии, оно обратилось при Умаре в многонациональную империю. Особой заслугой этого халифа считают разработку им налоговой системы, основанной на двух типах налогов: поземельном (харадже) и подушном, собираемом с иноверцев (джизьи). Главная тяжесть податей была возложена Умаром на иноверцев. Малоимущие мусульмане вообще не платили никаких налогов. Окончательно система сбора налогов была налажена к 640 году. С этого времени в казну каждый год поступало около 180 миллионов дирхемов. Значительная часть этих денег шла на уплату жалованья воинам. (До этого участники военных походов получали только свою часть военной добычи. Правда эта добыча в начальный период завоеваний была немалой. Так, например, известно, что после взятия Ктесифона каждый кавалерист получил по 12 тысяч дирхемов.) В случае гибели воина жалованье выплачивалось его вдовам. Помимо денег каждому солдату был положен продуктовый паёк - ризик. Другой заслугой Умара считают градостроительство. Кроме построек в Медине и Мекке он уделил большое внимание развитию двух новых иракских городов - Басры и Куфы, которые при его преемниках стали крупными торгово-ремесленными центрами мусульманского мира.
Кончина Умара была печальна и в каком-то смысле знаменательна. Благодаря завоеваниям многие арабы обзавелись рабами-иноплеменниками. В конце октября 644 года один из таких рабов, перс Фируз, обратился к халифу с жалобой на своего хозяина, изнурявшего его большим количеством работы. Умар оставил его мольбу без внимания. Спустя несколько дней во время молитвы Фируз внезапно набросился на халифа, нанёс ему шесть ножевых ран, а потом закололся сам. Умирая, Умар назвал имена шести наиболее уважаемых ветеранов ислама и велел им выбрать из своей среды нового халифа. Уже после смерти Умара те объявили халифом Усмана ибн Аффана.