Десь через тиждень після нападу нацистської Німеччини на Радянський Союз почалась неафішована евакуація з Бердичева сімей відповідальних працівників, перш за все міськкому ВКП(б) та міськвиконкому. Своєчасної евакуації населення не проводилось. Майже весь автотранспорт підприємств і міських служб був реквізований для військових потреб в перші ж дні війни, транспорту для евакуації не було. Після бомбардування центральної частини міста німецькими літаками 4 липня 1941 р. з раннього ранку 5 липня сотні городян переважно єврейської національності на підводах, а тисячі пішки виїхали або пішли з Бердичева по дорозі на Ружин і Білу Церкву. Це був пік стихійної втечі. 5 липня 1941 р. мости через річку Гнилоп’ять були підірвані. Щоб вийти з міста, жителі західної частини Бердичева повинні були переправлятись на східний берег на човнах. Сотні єврейських сімей зібрались на залізничному вокзалі в надії, що буде ешелон на схід, але ешелона не було. Імовірно з Бердичева виїхало і пішло пішки до вечора 7 липня до 10 тис. осіб, що складало лише біля третьої частини єврейського населення. А ще ж перед німецькою окупацією в місті зосередилася частина єврейського населення з найближчих містечок і сіл.
7 липня 1941 р., на 16-й день війни, німецькі війська захопили Бердичів. Окремі акти розправ і терору по відношенню до євреїв мали місце з перших днів окупації. 7-8 серпня 1941 р. почалось масове виселення євреїв в гетто, влаштоване гітлерівськими палачами як збірний пункт перед масовою екзекуцією. Для гетто був виділений найбідніший район Бердичева між міським базаром і річкою Гнилоп’ять. Залишені євреями квартири тут же піддавалися грабуванню спочатку зі сторони німецьких солдат, а потім німецьких поліцейських. До 22 серпня 1941 р. все єврейське населення міста було переселено в гетто, де розташувалось в маленьких халупках, по п’ять-шість сімей, по декілька десятків осіб в кожній кімнаті.
В серпні 1941 р. нацистські окупанти розстріляли у внутрішньому дворі Бердичівського історико-культурного заповідника 300 євреїв, взятих із квартир, на вулицях, прилеглих до заповідника, а також багато військовополонених, комуністів, працівників радянських органів і громадських організацій — євреїв, українців, росіян — всього 960 осіб.
5 вересня 1941 р. нацистські окупанти розстріляли більше десяти тисяч євреїв Бердичева поблизу села Хажин, за 7 км від Бердичева, в тому числі більше тисячі найбільш сильних молодих людей, обманом вивезених з гетто нібито на сільськогосподарські роботи. Це покарання забрало з гетто майже усіх здатних до спротиву. В гетто залишились лише жінки, особи похилого віку, школярі та немовлята. В ході проведення ексгумації у 1944 р. в 24 могилах було виявлено 10656 трупів.
14 вересня 1941 р. в Бердичів прибула спеціальна зондеркоманда айнгзацгрупи «С», була мобілізована на «акцію» українська міська поліція. В ніч з 14 на 15 вересня район гетто було оточено військами. За один день 15 вересня 1941 р. багато тисяч євреїв було пригнано або вивезено окупантами та їх посібниками до 10 ям, які були зарання вириті по обидві сторони аеродрому поблизу населених пунктів Романівка, Шльомарка (нині Любомирівка) та Радянське (нині Романівка), і на краю ям по звірячі розстріляно. Багатьох дітей кидали в ями живими. Розстріли продовжувались і 16 вересня. Пам’ятний знак з рожевого граніту, встановлений на цьому місці, розповідає, що тут було знищено 18640 «мирних радянських громадян». Ми розумієм, що усі вони були євреями.
Бердичівська трагедія вересня 1941 р. була однією з перших в ході масового геноциду єврейського населення, здійснюваним нацистами в Європі і Радянському Союзі.
В останні дні жовтня 1941 р. гетто в Бердичеві було ліквідоване. 400 осіб спеціалістів (деяких з них разом із сім’ями) залишених 15 вересня живими, а також схоплених в ході облав євреїв, які переховувались, зігнали в підземелля заповідника і 3 листопада 1941 р., партіями по 150 осіб, вивезли на машинах в район хутора Сокулино (нині селище Мирне) і там розстріляли. Перед розстрілом цих трьох тисяч приречених примусили роздягнутись догола, після чого їх голих скидали у вириті військовополоненими ями і розстрілювали з автоматів. Під час листопадової страти палачі відібрали вже біля самих ям 150 євреїв, кращих спеціалістів-ремісників, і поселили їх в таборі на Лисій горі.
В травні-червні 1942 р. в містечках і селах навколо Бердичева знову проводились облави і вбивства вцілілих євреїв. 16 липня 1942 р., схоплених під час облав молодих євреїв і залишених тимчасово жити майстрових, окупанти розстріляли на Лисій горі. Декілька десятків самих кращих спеціалістів (біля 60 осіб) вбивці з СД залишили в таборі на Лисій горі, а потім перевели в міську тюрму.
Останні групи євреїв-спеціалістів були розстріляні німцями разом з в’язнями інших національностей в листопаді 1943 р. напередодні звільнення Бердичева радянськими військами.
За даними Надзвичайної Державної комісії по розслідуванню злодіянь німецько-нацистських загарбників, під час окупації Бердичева гітлерівці знищили 38536 осіб. Джерела свідчать, що окупантами та їх поплічниками було вбито в Бердичеві біля 30 тисяч євреїв, вціліло не більше двох десятків осіб. Цифри загиблих євреїв у путівнику вказані лише на основі документів радянської Надзвичайної державної комісії. Ці дані на сьогодні не є остаточними і потребують уточнення на основі інших історичних джерел та документів.
За роки окупації чисельність мешканців міста зменшилася більш як у 4 рази і на січень 1944 р. становила лише 18 тисяч осіб.
Німецько-нацистські окупанти разом з фізичним вбивством євреїв зруйнували всі синагоги Бердичева: Білопільську, Загребельну, Немирівську, Новоміську та Староміську, від Хоральної залишилися тільки стіни.
Після звільнення Бердичева єврейське самодіяльне життя, культурну діяльність на їдиш так і не було відновлено. В перші післявоєнні роки лише декілька місць захоронень жертв нацистського терору було позначено насадженнями дерев. В серпні 1944 р. було відкрито першу післявоєнну синагогу на вулиці Леніна (нині Житомирській) № 40, потім на вулиці Карла Маркса (нині М. Грушевського) № 3. В кінці 1945 р. було відкрито синагогу на вулиці Свердлова (нині Вінницькій) № 8, приміщення якої було побудоване в 1895 р.
У 1946 р. міська влада передала єврейській общині приміщення Хоральної синагоги. За 20 наступних років будинок був відремонтований, появився другий поверх. Але чисельність єврейської громади Бердичева на початку 1950-х років поступово зменшувалась. Це стало приводом для того, щоб відібрати приміщення. З 1964 р. в колишній синагозі почала працювати рукавична фабрика. В цей же час були закриті синагоги на вулицях Леніна (нині Житомирській) та Карла Маркса (нині М. Грушевського). Єдиною діючою в місті залишилась синагога на вулиці Свердлова (нині Вінницькій).
В 1960-х роках було заборонено випічку маці, але через деякий час заборону зняли.
В 1953 р. на зібрані жителями Бердичева кошти було виготовлено та встановлено пам’ятник на місці масового розстрілу євреїв поблизу аеродрому. Монумент простояв один день і за наказом аеродромного керівництва був демонтований і вивезений в невідомому напрямку. Лише через чверть століття пам’ятник випадково був виявлений на старому єврейському кладовищі. І лише в 1990 р. його було встановлено біля входу на це кладовище.
В 1983 р. на п’ятому кілометрі шосейної дороги Бердичів-Райгородок було встановлено пам’ятний знак на місці самого масового знищення євреїв міста в 1941 р. На чорній плиті монументу було вибито надпис про 18640 мирних радянських громадян, жертвах нацизму без зазначення національної належності. Аналогічними були надписи на плитах, встановлених в 1987 р. в п’яти місцях масових захоронень по обидві сторони названої шосейної дороги. У 1991 р. на пам’ятних плитах було вигравірувано Зірку Давида. 15 вересня 1991 р. в день 50-річчя трагедії бердичівського єврейства в місті за участю місцевих властей відбувся багатотисячний мітинг скорботи і печалі, на який приїхали колишні бердичівляни з різних республік Радянського Союзу та кількох зарубіжних країн.