Для осуществления этого грандиозного замысла при Еврейском антифашистском комитете была создана Литературная комиссия, которая, прежде всего, занялась подготовкой к печати первой книги. В этой работе принял активное участие известный советский писатель Василий Гроссман. Эренбург привлек к сотрудничеству ряд писателей и журналистов — евреев и неевреев, у которых уже имелись материалы, полученные от оставшихся в живых, а также воспоминания о том, что они сами пережили в годы войны. Так, например, А. Суцкевер написал для ”Черной Книги” около 200 страниц воспоминаний о гибели вильнюсских евреев (рукопись перевела на русский язык Рахиль Ковнатор).
Первый вариант ”Черной Книги” был закончен к началу 1944 года, и отрывки из нее были опубликованы в журнале ”Знамя” с предисловием Эренбурга под названием ”Народоубийцы”. В том же году издательство ”Дер Эмес” издает на идише, под редакцией Эренбурга, первую часть книги ”מערדער פון פעלקער” (”Народоубийцы”), а в 1945 году выходит вторая часть. К каждой части этой книги Эренбург пишет отдельное предисловие. В этих двух небольших по объему публикациях Эренбург поместил ряд свидетельских показаний и документов о преступлениях нацистов. Эренбургу приходилось самому допрашивать взятых в плен немецких офицеров высокого ранга. В этих случаях его первыми словами были: ”Я — еврей”, что повергало в страх нацистов. В этот сборник, кроме свидетельских показаний, сообщений, документов и отрывков из дневников, писавшихся в гетто, вошло много писем еврейских солдат и офицеров, отправленных ими из уничтоженных городов и местечек после освобождения. Они также присылали Эренбургу найденные ими письма погибших евреев. И в каждом из этих писем повторялся призыв: ”Не забывать”.
В этом же году Эренбург составил еще один сборник на русском и французском языках — ”Сто писем”. Это — избранные письма, написанные Эренбургу в годы Второй мировой войны. Среди них встречаются письма, посвященные еврейской трагедии. Французский текст этого сборника вышел в Москве в 1944 г., а издание русского оригинала было приостановлено. Единственный экземпляр верстки хранится в личном архиве Эренбурга.
Эренбург неизменно отвечал на сотни писем евреев из всех уголков Советского Союза, в которых они запрашивали о судьбе своих родных и близких. Он делал все возможное, чтобы разыскать этих людей или узнать об их судьбе.
В подготовке к изданию ”Черной Книги”, составителями и редакторами которой были И. Эренбург и В. Гроссман, приняли участие более сорока писателей и журналистов. Примерно третья часть свидетельских показаний, вошедших в ”Черную Книгу”, обработана непосредственно И. Эренбургом. ”Это не литература, а правдивые рассказы без каких-либо прикрас”, — говорил он о материале книги.
Большое значение имеют малоизвестные факты, свидетельствующие о мужестве и национальной гордости евреев, о том, как безоружные евреи пытались оказывать сопротивление палачам, как мужественно они встречали смерть.
Среди авторов были еврейские писатели, которые сегодня живут в Израиле — Авраам Суцкевер, Меер Елин, Герш Смоляр. Некоторые авторы стали жертвами репрессий сталинского режима — такие как Лейб (Лев) Квитко, расстрелянный вместе с другими деятелями еврейской культуры в начале 50-ых годов, или Гирш Ошерович, который семь лет томился в советских тюрьмах и лагерях (ныне проживает в Израиле).
В работе над ”Черной Книгой” принимали участие и другие известные советские писатели и журналисты — евреи и неевреи: В. Лидин, М. Алигер, В. Иванов, Р. Фраерман, В. Инбер, В. Шкловский, О. Савич, А. Дерман и другие.
Работа над сборником продолжалась с 1944 по 1946 год.
Первоначальный замысел Эренбурга состоял в том, чтобы сразу после издания ”Черная Книга” была переведена на несколько языков, в первую очередь — на английский. Об этом говорил встречавшийся с ним в 1945 году Бен-Цион Гольдберг — один из руководителей Американского комитета еврейских писателей, художников, ученых, который организовал поездку в Соединенные Штаты деятелей Еврейского антифашистского комитета в Москве — Соломона (Шлойме) Михоэлса и Ицика Фефера.
Подготовка ”Черной Книги” к печати была в самом разгаре, когда Литературная комиссия при Еврейском антифашистском комитете получила указание начальника Совинформбюро С. Лозовского, по совместительству официально возглавлявшего Еврейский антифашистский комитет, приостановить работу над изданием и передать все материалы ”Черной Книги” непосредственно Еврейскому комитету.