В это время жаркий бой шел во всех дворах и на всех папертях. Страшная бойня происходила вокруг алтаря, постройки в виде усеченной пирамиды, увенчанной платформой и возвышавшейся перед храмом; трупы убитых на платформе скатывались по ступеням и образовали кучи у подножия здания. Ручьи крови текли со всех сторон; ничего не было слышно, кроме пронзительных криков убиваемых, которые, умирая, заклинали небеса. Было еще время для того, чтобы укрыться в верхнем городе; но многие предпочитали быть убитыми, считая завидной долей смерть за свое святилище; другие бросались в пламя, или кидались на мечи римлян, или закалывались, или убивали друг друга. Священники, которым удалось забраться на крышу храма, вырывали острия, находившиеся здесь, вместе со свинцовой облицовкой и бросали их вниз на римлян; они продолжали это, пока пламя их не поглотило. Большое число евреев собралось вокруг «святая святых», по слову пророка, который уверил их, что настал именно тот момент, когда Бог покажет им знамения спасения. Одна из галерей, в которой укрылось до шести тысяч этих несчастных (почти исключительно женщин и детей), была сожжена вместе с ними. В тот момент от всего храма уцелело лишь двое ворот и часть ограды, предназначавшаяся для женщин. Римляне воздвигли своих орлов на том месте, где находилось святилище, и поклонились им по обычаю своего культа.
Оставался древний Сион, верхний город, самая неприступная часть города, укрепления которой были еще целы; сюда спаслись Иоанн Гискала, Симон, сын Гиоры, и большое число сражавшихся, проложивших себе путь через ряды победителей. Это убежище безумных потребовало новой осады. Иоанн и Симон сделали центром своего сопротивления дворец Иродов, расположенный приблизительно на месте нынешней цитадели Иерусалима и прикрытый тремя громадными башнями Гиппика, Фазаила и Мариамны. Для того чтобы овладеть этим последним убежищем еврейского упорства, римляне были вынуждены выстроить «aggeres» npoтив западной стены города, напротив дворца. Четыре легиона были заняты этой работой в течение восемнадцати дней (с 20 августа по 6 сентября). В течение этого времени Тит истреблял огнем части города, находившиеся в его власти. В особенности нижний город и Офель вплоть до Силоама были подвергнуты систематическому истреблению. Многие из евреев, принадлежавших к буржуазии, имели возможность бежать. Что касается людей низшего класса, то их продавали в рабство по весьма низкой цене. Отсюда произошла туча рабов евреев, которая, рассеявшись по Италии и другим странам Средиземного моря, занесла сюда элементы нового оживления пропаганды. Иосиф определяет число проданных в рабство евреев в девяносто семь тысяч. Тит помиловал царей Адиабены. Все первосвященнические одежды, драгоценные камни, столы, чаши, канделябры, ковры были принесены ему. Он приказал тщательно беречь их, чтобы воспользоваться ими при своем триумфе, к которому он готовился и которому хотел придать совершенно особенный отпечаток оригинального торжества, украсив его богатыми принадлежностями еврейского культа.
Когда «aggeres» были окончены, римляне начали разбивать ими стену верхнего города; при первой же атаке (7 сентября) они опрокинули часть стены и также несколько башен. Истощенные голодом, съедаемые лихорадкой и яростью, защитники обратились в настоящих скелетов. Осаждающие без труда проникли в город. До самой ночи воины жгли и убивали. Большая часть домов, в которые они врывались для грабежа, была переполнена трупами. Несчастные, которым удавалось бежать, прятались в Акре, которая была почти очищена римскими войсками, и в обширных подземельях, которыми изрыта почва Иерусалима. Иоанн и Симон в этот момент упали духом. Башни Гиппик, Фазаил и Мариамна находились еще в их руках; это были самые удивительные из произведений военной архитектуры древности. Таран оказывался бессильным против громадных глыб, сложенных с несравненным искусством и связанных между собой железными скобами. Совершенно растерявшись, Иоанн и Симон покинули эти неприступные твердыни и делали попытку прорваться через линию блокады в направлении к Силоаму. Потерпев неудачу, они присоединились к тем из своих приверженцев, которые спрятались в подземные ходы.