О «красной картотеке» новые власти вспомнили лишь в конце 1927 года, после открытого выступления Троцкого и его сторонников против сталинской тирании. Тогда в Советской России и за границей, с подачи неизвестных для властей лиц, стали появляться отдельные заметки и статьи о Сталине и его подручных с довольно разоблачительными подробностями о их «революционной деятельности» и личной жизни до и в период октября 1917 года. Все это свидетельствовало о полной информированности источников, а также об их связях с лицами, обладающими такой «убойной» информацией.
Сталин не исключал, что столь полные «источники» находятся в России и ждут удобного случая для начала «шантажа и провокаций». Сначала подозрение пало на бывшие правоохранительные структуры царского и Временного правительств, а впоследствии — на хранителей государственных и личных архивов Москвы, Ленинграда, Харькова и других крупных городов.
В результате этого уже к марту 1928 года органами ОГПУ Ленинграда по указанию из Москвы были арестованы практически все сотрудники КРО ПВО, работавшие там в период с февраля по октябрь 1917 года: Андреев Д.А., Петров В.М., Волькенштейн А.М., Гредингер Л.П., Курьев М.М., Исаев Д.В., Кучков И.О., Деменчук и. В., Лященко Я.Г., Кравченко А.П., Счастный Р.И., Кириллов П.П., Блеклов Н.Н., Стасов П.И., Васьков И.П., Гнедич Н.М. и Михайлов А.П.
29 октября 1928 года следственное дело № 366 по обвинению гр. Андреева Д.А. и др. (всего 17 человек) по ст. 52–13 УК РСФСР было закончено. В начале ноября прокурор Ленинградской области присоединился к предложению ПП ОГПУ в ЛВО о направлении дела в Особе Совещание при Коллегии ОГПУ.
Хотя следствие вели поочередно московские и ленинградские сотрудники ОГПУ, а Ягода лично наблюдал за ходом расследования деятельности бывшего КРО ПВО, вмешиваясь и корректируя усилия оперативников, выйти на «красную картотеку» так и не удалось.
Арестованный в третий раз в марте 1935 года М.Н.Лебедев был доставлен к Прокурору Союза ССР Вышинскому, который имел с ним довольно продолжительный разговор, о содержании которого в документах нигде не упоминалось. Предположительно прокурора страны интересовали некоторые сведения добытые КРО ПВО на персоналии из ближайшего окружения вождя, а вполне возможно и имеющиеся у контррразведчиков Временного правительства данные о Сталине и о нем самом. Был допрошен и А.М.Волькенштейн, который занимался в КРО ПВО вместе с Мироновым, Афанасьевым и Колоктаевым (последний из министерства юстиции Временного правительства — В.И.) разработкой дел Генерального Штаба и Департамента полиции, связанных с деятельностью Ленина и Союза Русского Народа. Следствию очень хотелось знать не о деятельности «вождя мирового пролетариата», а о поведении его соратников: Зиновьева, Каменева и др.
Дело о контрразведчиках Временного правительства заставило центральный аппарат ОГПУ подготовить предложения Сталину о необходимости основательной документальной проверки всех архивов и хранилищ Ленинграда, проведения оперативных мероприятий в отношении их сотрудников и специалистов взаимодействующих организаций. Выяснилось, например, что в архивах хранится много неучтенной и неизвестной властям информации, связанной главным образом с деятельностью различных ведомств и учреждений прошлых правительств.
Как стало ясно из допросов бывших сотрудников КРО ПВО, многие из них в свое время пользовались обширной справочной информацией в оперативных и иных целях, даже из вполне открытых архивных фондов и частных архивных собраний.
Начиная с ноября 1928 года из архивов Ленинграда энергично изымались и без права копирования отправлялись в Центр все сведения, касающиеся большевистской элиты. Под особый контроль была взята работа государственных архивов, находящихся в городе и обрабатывающих поступающие к ним от различных учреждений и частных лиц материалы. Вещественные доказательства в форме отдельных сводок, докладов, донесений, изъятие у обвиняемых, также отправлялись в Центр.
Скорее всего, именно так было спровоцировано появление в октябре 1929 года в ПП ОГПУ в ЛВО «архивного дела» библиотеки Академии наук (БАН) в Ленинграде, ставшего предтечей «Академического дела» 1929–1931 годов и нанесшего непоправимый урон российской исторической школе.
Однако повальная чистка архивных хранилищ положительного результата не дала. «Красную картотеку» обнаружить не удалось. Поговаривали, что ее надо искать в Финляндии, но достоверных данных о перемещении документов в ходе расследования получено не было.