Восстановление Храма шло медленно не только по объективным причинам, но и потому, что вернувшиеся на родину иудейские изгнанники не хотели иметь ничего общего с местным населением, в частности с самаритянами, полагая их отступниками от веры отцов. Результатом были многочисленные интриги при персидском дворе, которые позволили самаритянам добиться замораживания строительства. Возобновлено оно было лишь при персидском царе Дарий, и в 516 г. до н. э., т. е. через семьдесят лет после разрушения Храма, он был вновь возведен. Период с 516 г. до н. э. до 70 г. н. э. вошел в историю как период Второго Храма.
В это время в Иерусалим и его окрестности прибывает из Вавилонии новая большая группа изгнанников во главе с одним из высокопоставленных чиновников персидского двора Эздрой, направленным персидским царем для внедрения новой судебной системы. Провинция приобретает особый автономный статус, регулируемый персидскими законами и собственным гражданским уложением, в основу которого положены религиозно-правовые нормы Торы.
В 332 г. до н. э. Палестина завоевана Александром Македонским, что положило начало эллинистическому периоду ее истории. После его смерти диадохи (преемники, полководцы Александра Великого, разделившие между собою его империю на Сирию, Египет, Вифинию, Пергам и Македонию) вели многочисленные войны за наследство.
В 301 г. страна попала под власть египетской династии Птолемеев, утвердившейся в Египте в 301 г. до н. э. Ее основатель был сыном одного из полководцев Александра Македонского. Птолемеям удалось создать в Палестине эффективную административную систему. Вместе с тем власть Птолемеев в Палестине не могла быть устойчивой. Соперничество с другой македонской династией, Селевкидов, захватившей Сирию, Вавилон и Месопотамию, привело к тому, что Палестина – важный военно-политический и экономический район – стала предметом раздоров между двумя династиями. На протяжении III в. до н. э. Палестина оставалась под властью Птолемеев и была одной из административных областей Сирии и Финикии, находившихся под их господством. После победы Селевкидов в 200 г. до н. э. она превращается в один из округов их империи. В эллинистический период вернулось старое название «Иудея» вместо принятого при персидском владычестве названия «Яхуд». Во главе нее как автономного образования стоял первосвященник, который возглавлял совет старейшин. Пост первосвященника был пожизненным и наследственным. Помимо внутренних административных дел, касающихся Храма и водоснабжения Иерусалима, на нем также лежала задача взимания государственных налогов. В исключительных случаях собиралось учрежденное в период правления Эздры и Нехемии народное собрание, получившее название «Кнессет» (в современном Израиле так называется парламент страны).
Эллинизация захваченных в результате походов Александра Македонского государств и областей была в известной степени естественным процессом, который не требовал специального вмешательства властей. Местное население заимствовало элементы чужой культуры, обладавшей высоким престижем и притягательностью. Вместе с тем в Иудее с ее собственным высоко развитым религиозно-культурным наследием процесс эллинизации не мог не вызывать трений и недовольства. Поворотным пунктом стал вовсе не естественный процесс заимствования элементов чужой культуры, а насильственные попытки ее насаждения, разрушавшие традиционные верования и организационные устои. При правлении Антиоха Гу Эпифана (175–164 гг. до н. э.), который стремился консолидировать империю после поражения своего предшественника в войне с Римом, были предприняты попытки ускоренной эллинизации подвластных народов. Для начала он попытался превратить Иерусалим в автономный греческий полис Антиохия, сместил первосвященника и назначил на его место своего ставленника. Затем, нуждаясь в деньгах, Антиох ограбил Иерусалимский храм. В 168 г. до н. э. во время восстания в Иерусалиме войска Антиоха овладели городом и по его приказу в городской крепости был размещен греческий гарнизон.