Рюмин получил чин полковника, пост заместителя министра госбезопасности и возглавил следственную часть по особо важным преступлениям. Это стало итогом его появления в кабинете Генерального секретаря.
Обуреваемый великими планами, Рюмин деятельно приступил к массовым арестам.
Понимал ли он со всей отчётливостью, в какие жернова его втянуло? Сознавал ли, что его будут терпеть, покуда в нём имеется надобность? Предмет разового использования, он потерял голову от перспектив, был полон самых радужных планов и надежд. Облечённый доверием Вождя, он сыпал удары направо и налево. В стране моментально сгустилась атмосфера самой звериной юдофобии. Расползались слухи о массовых умерщвлениях новорождённых младенцев. Люди отказывались идти на приём к врачам-евреям.
Словом, Рюмин быстро добился того, что от него и требовалось!
Маленков, получив его донос, принялся за дело с навыками опытного аппаратчика. Первым делом он создал Специальную комиссию ЦК для проверки работы Министерства госбезопасности. Возглавив комиссию, Маленков включил в неё Берию, Шкирятова и своего надёжного человека из аппарата Игнатьева. Разумеется, выводы комиссии были определены заранее. Проверяющие не оставили Абакумову никаких надежд.
12 июля 1951 года его отстранили от должности, взяли под стражу, и поместили в Лефортовскую тюрьму под номером 15. (Под этим номером он будет значиться до конца своих дней.)
Самое нелепое заключалось в первоначальном обвинении министра госбезопасности: его арестовали как разоблачённого лидера еврейских националистов!
Собственно, всякая надобность в Рюмине отпала, едва Абакумов лишился поста и свободы. Высокопоставленные организаторы аппаратной комбинации смотрели на новоиспечённого заместителя министра, как на досадную и неприятную помеху.
Рюмин орудовал самозабвенно. Ему казалось, что в его лице русская страна обрела освободителя от жидовского ига. Под стражей оказались 217 писателей, 108 актёров, 87 художников, 19 музыкантов. Не оставил он без внимания и родное министерство. Вместе с Абакумовым были арестованы начальник следственной части А. Леонов, его заместители М. Лихачёв, В. Комаров и Л. Шварцман, начальник секретариата И. Чернов и его заместитель Я. Броверман. Кроме них в камерах внутренней тюрьмы оказались чекисты с крупными звёздами на погонах: Селивановский, Питовранов, Шубняков, Райхман, Утехин, Белкин и др. Арестовал он и полковника А. Свердлова, сына Янкеля Свердлова.
В своё время Абакумов попытался остудить пыл Рюмина. В следственных делах надо трезво исходить из имеющихся возможностей. Объявить о заговоре легче лёгкого, но как выстроить всю систему убедительных доказательств? Разумеется, из арестованных можно выбить что угодно. Однако даже мало-мальски опытный человек сразу увидит все нестыковки и натяжки. А такое «громкое» дело, какое вздумал затеять Рюмин, прямо-таки обречено находиться под личным контролем самого Сталина.
Абакумов знал, что говорил. Так и выходило. И первым, на ком споткнулся Рюмин, оказался Абакумов. Бывший грузчик, этот человек проявлял нечеловеческую выдержку. Рюмин и его мордовороты в Лефортовской тюрьме отбили об него все кулаки. Несколько раз допрос заканчивался тем, что у потерявшего сознание подследственного выпадала прямая кишка. В камеру его оттаскивали волоком. Рюмин, остервеняясь, приказал держать его в наручниках постоянно. Потом он изобрёл такой способ пытки: Абакумову приковали кисти рук к лодыжкам ног и в таком согнутом состоянии поместили на несколько суток в морозильник. Ничего не помогало. Заключённый № 15 держался стойко и ни одного протокола не подписал.
А следствием над Абакумовым постоянно интересовался Сталин!
Пришлось перейти на тактику «обкладывания», т. е. оговора. Необходимые показания стали выколачивать из других обвиняемых. Тут дело пошло успешнее. Рюмин выяснил, что женат Абакумов на дочери известного эстрадного артиста Орнальдо, а тот в свою пору находился в близких отношениях с маршалом Тухачевским. Ага, уже зацепка! (Тестя Абакумова уже не было в живых, но его дочь арестовали и вместе с грудным ребёнком поместили в вонючую камеру. Там её продержали целых три года.)
Показания подписали начальник Лечсанупра Кремля П. Егоров, лечащий врач Сталина профессор В. Виноградов, лечащий врач Жданова Г. Майоров. Активно взялись сотрудничать со следствием и коллеги Рюмина: полковники Лихачёв и Шварцман. Эти долгого «бойла» не вынесли и подписывали всё, что им писали в протоколах.