В плену израильтяне начали забывать о своем происхождении из различных колен и слились в единый еврейский народ. Все они стали именоваться иудеями, по именам выходцев из колена Иудова, хотя некоторые фамилии продолжали сохранять воспоминания о происхождении из того или иного израильского колена.
В 539 году до н.э. Вавилонское царство было разгромлено объединенными силами персов и мидийцев. Создатель Иранской державы персидский царь Кир II (550-530) издал указ об освобождении пленников-евреев. В 519 году до н.э. указ Кира был подтвержден Дарием I. Евреи небольшими группами стали возвращаться в Палестину, но до восстановления Иерусалимского Храма прошло еще очень много времени.
Во время Вавилонского плена. продолжавшегося больше шестидесяти лет, родилось новое поколение, выросшее в изгнании. Большинство израильтян так и не вернулось в Палестину. Даже после восстановления Иерусалимского Храма и возрождения еврейской государственности в Палестине число евреев, оставшихся в Эрец Исраель в Месопотамии, было велико. Более того, наряду с Палестиной и
Александрией Египетской в Вавилонии проживала значительная часть еврейского народа, и она оставалась мощным очагом еврейской культуры. После разрушения римлянами в 70 году н.э. второго Иерусалимского Храма и прекращения существования еврейского государства в Палестине Вавилония осталась единственным крупным центром еврейской учености и религиозной традиции.
Из Эрец Исраель в Вавилонии евреи, не вернувшиеся в Эрец Исраель в Палестине, частично расселились по другим областям Иранской державы. Со временем они расселились по всем сатрапиям Ирана и создали свои колонии вплоть до среднеазиатских городов. Наиболее значительным после Вавилонии центром еврейской диаспоры стал город Исфахан, один из крупнейших торговых центров Ирана. Так постепенно шло складывание иранской группы еврейского народа.
Постепенно иранские евреи усвоили различные диалекты персидского языка, причем евреи, жившие в разных городах, говорили на диалектах, отличавшихся не только друг от друга, но и от говоров самих персов. Диалекты иранских евреев, насыщенные древне-еврейскими и арамейскими словами, сохраняются еще и до сих пор среди евреев Ирана, Средней Азии (бухарские евреи) и Восточного Кавказа (горские евреи), а в Месопотамии и в Омане еврейско-персидские наречия были вытеснены арабским языком.
После завоевания Азии Александром Македонским и последовавшим распадом его державы в Египте образовалось эллинистическое государство Птолемеев, столицей которого стала Александрия Египетская. Благодаря покровительству царей Птолемеев в Александрии образовалась большая еврейская колония, ставшая крупнейшей после Вавилонии общиной за пределами Палестины.
С завоеванием Палестины в 63 году до н.э. римлянами евреи окончательно лишились своей государственности. Два антиримских восстания в Иудее закончились поражениями; после первого восстания (66-70 г.г. н.э.) второй Иерусалимский Храм был разрушен, а после второго, в 132-135 годах, возглавленного Бар-Кохбой, евреи были вынуждены покинуть Палестину и переселились большей частью в Сирию, Малую Азию, Александрию Египетскую и другие области Римской Империи.
К концу 4 века н.э. еврейские общины существовали почти во всех городах Римской Империи, но особенно значительные еврейские поселения были в самом Риме, на Пиренейском полуострове и в восточных римских областях. С падением Западной Римской Империи наиболее значительное число еврейских общин сосредоточилось на территории современных Испании, Португалии и Южной Франции, а в Восточной Римской Империи - в Константинополе, Малой Азии, Сирии и Александрии Египетской. Из Восточной Римской (Византийской) Империи после нескольких крупномасштабных гонений евреи отселились в немецкие земли и образовали в средние века крупнейшую на сегодняшний день группу еврейского народа - ашкеназим (ашкеназы), говорящую на различных немецких диалектах или, точнее, жаргонах, которые обобщенно называют языком идиш. Позднее, благодаря покровительству властей, ашкеназим распространились из немецких земель на север - в Голландию и Данию, на запад - во Францию, на восток -в Польшу, Прибалтику, Полесье и Галицию.
Евреи, поселившиеся в городах Пиренейского полуострова, образовали еще одну ветвь еврейского народа, называемую обычно сефардим (сефарды), от еврейского названия Испании - Сфарад. Евреи-сефардим усвоили в Испании местные романские (староиспанские) говоры, известные как язык ладино, который до сих пор сохраняется сефардскими группами в Южной Франции, Италии, Турции, Лондоне, Амстердаме и некоторых других местах. Другие сефардские группы, бежавшие в эпоху реконкисты из Испании в северо-африканские арабские страны, утратили староиспанский язык и перешли на арабский.