Рюминские следователи потребовали от Абакумова назвать членов своего кабинета министров, который он якобы предполагал создать после свержения Сталина. Его также обвинили в сокрытии предательских замыслов жены Молотова Полины Жемчужиной, в частности ее контактов с израильским политическим деятелем Голдой Мейер.
Абакумов яростно отрицал свою вину, доказывая, что не скрывал никаких материалов о "заговоре врачей" и тем более не являлся его руководителем или вдохновителем и не привлекал к "заговору" подчиненных сотрудников-евреев из Министерства госбезопасности. Он продолжал полностью отрицать предъявлявшиеся ему обвинения даже под пытками, "признания" от него так и не добились. Таким образом, дело о "заговоре" в Министерстве госбезопасности зависело от признании полковника Шварцмана, журналиста по профессии. Работая в Следственной части, он, как правило, сам не занимался допросами, а в основном редактировал фальсифицированные показания, вырванные у заключенных. Когда Сталин распорядился арестовать начальника Следственной части Леонова и его заместителей, одним из арестованных оказался и Шварцман, еврей по национальности. Он показал, что является помощником Абакумова по сионистской террористической организации, куда входили все высшие офицеры МГБ. На допросе он "признался", что якобы получил от Абакумова задание создать в Министерстве госбезопасности группу евреев-заговорщиков для разработки террористических акций против членов правительства.
Шварцман также "признался", что, будучи гомосексуалистом, находился в интимных отношениях с Абакумовым, его сыном и послом Великобритании в Москве. Свои гомосексуальные контакты с американскими агентами-двойниками Гавриловым и Лаврентьевым он, по его словам, использовал для того, чтобы через этих внедренных в посольство США людей получать инструкции и приказы для еврейских заговорщиков.
Шварцман хорошо знал, как работает машина следствия, и, чтобы доказать свое сотрудничество, выдвигал против должностных лиц еврейской национальности одно обвинение за другим. В то же самое время он выдумывал самые невероятные истории вроде такой: к террористической деятельности ему помогали "родственники", "сионисты". Он также рассказал следователям, что спал с падчерицей и в то же время имел гомосексуальные отношения с сыном. Он добивался, чтобы его направили на психиатрическую экспертизу, -- и такое предложение внес заместитель военного прокурора полковник Успенский. Когда о выдвинутых Шварцманом обвинениях против тридцати сотрудников Министерства госбезопасности еврейской национальности, занимавшихся терроризмом, доложили Сталину, он заявил Игнатьеву и Рюмину: "Вы оба дураки. Этот подонок просто тянет время. Никакой экспертизы. Немедленно арестовать всю группу". (Об этом мне рассказывал Людвигов, когда мы оба находились в тюрьме.)
По распоряжению Сталина были арестованы все евреи -- ответственные сотрудники центрального аппарата Министерства госбезопасности, а также "ряд руководящих работников нееврейского происхождения". Так оказались за решеткой Эйтингон, Райхман, заместители министра госбезопасности генерал-лейтенанты Питовранов и Селивановский. Арестовали и полковника в отставке Маклярского, ставшего к тому времени весьма известным кинодраматургом, специализировавшимся на сценариях из жизни разведчиков: Шварцман в своих показаниях упомянул и его. Был брошен в тюрьму и сын первого главы советского государства Свердлова полковник Андрей Свердлов.
Вместе с этими людьми также были арестованы и их непосредственные подчиненные, по национальности русские. В МГБ и Следственной части появились новые лица из партийных органов. Они, как правило, отличались полной некомпетентностью. На волне набиравшей силу антисемитской кампании и истерии руководство Следственной части по особо важным делам МГБ было усилено в 1951-- 1953 годах по специальным решениям ЦК КПСС Коняхиным и Месяцевым. Последний имел большой опыт работы в годы войны в качестве начальника следственного отдела во фронтовых органах военной контрразведки (СМЕРШ). В 60--70-х годах он стал председателем Гостелерадио СССР, затем послом в Австралии.
Люди из ЦК руководили Следственной частью, иногда участвуя в допросах, вспоминал бывший начальник группы учета и регистрации Следственной части, полковник, позднее известный писатель Ананьин.
Подследственных зверски избивали, помещали в камеры-карцеры со специальным охлаждением, почти постоянно держали в наручниках и кандалах, а нежелательные протоколы допросов и постановлений уничтожались.
Из всех арестованных "заговорщиков в МГБ" только Абакумов, Эйтингон, Питовранов и Матусов ни в чем не признали себя виновными.
Арестованные Рюминым врачи-евреи, находившиеся под следствием, обвинялись в том, что выполняли задания Абакумова. Приписывавшиеся участникам "заговора врачей" преступления казались мне невероятными. Один из этих "террористов", профессор Александр Фельдман, лечил всю нашу семью, пользовался нашим полным доверием, и я всегда поздравлял его с праздниками и посылал ему цветы.
По сценарию Рюмина в роли связного между врачами и "заговорщиками в МГБ" должна была выступать сестра Эйтингона Соня, которая якобы поддерживала связь между учеными-медиками и братом, планировавшим убийство руководителей страны.
Об арестах публично не сообщалось, и я не сразу осознал, какие масштабы приняла эта чистка в МГБ. Серьезность угрозы я почувствовал, предприняв попытку связаться с полковником Шубняковым, генералом Утехиным, заместителями начальника Главного контрразведывательного управления. Попытка оказалась безуспешной, хотя мне в тот момент срочно требовалась справка-проверка на одного важного агента. Сведения, которые были мне нужны, могли дать только они, а Шубняков и Утехин как в воду канули. Между тем никто не хотел внятно объяснить, куда они подевались, хотя по своему служебному положению (начальник Специального бюро по разведке и диверсиям) и званию (генерал-лейтенант) я имел на это право. Возмущенный, я позвонил Питовранову, заместителю министра, их непосредственному начальнику, но оказалось, что и с ним нельзя связаться: он таинственно исчез. Тут до меня дошло, что повторяется то же самое, что было в период массовых арестов в послевоенные годы. И Шубняков, и Питовранов, и Утехин к тому времени уже находились в Лефортовской тюрьме.