Позднее пошли в основном расстрелы чекистов только за откровенную измену в виде работы на чужую разведку или тайную связь с антисоветским подпольем либо эмиграцией, сюда же добавим и расстрелянных за связи с оппозиционными фракциями в самой большевистской партии. Так в результате довольно темной истории в 1926 году за связь с белой эмиграцией арестован и расстрелян сотрудник Донецкого ГПУ Варшавский.
Не обошла эта кампания наведения порядка среди чекистов и многих деятелей прошлой ЧК, имевших бесспорные заслуги перед революцией и защищавших советскую власть в годы Гражданской войны. По такому делу о «красном бандитизме» в 1922 году в Томске осудили тайную организацию бывших партизан, собиравшихся террором бороться за возвращение истинной революции, убивать бывших офицеров царской армии и чиновников, невзирая на их службу Советам, а заодно и «всяких интеллигентов» и «забюрократившихся членов РКП(б)». Организатором этой группы стал действующий сотрудник Томского ГПУ Маслов.
Строже стало отношение и к не политическим шалостям в чекистских рядах, а к коррупции, бытовому разложению или пьянству. На середину 20-х годов приходится приказ заместителя начальника ГПУ Генриха Ягоды о борьбе с пьянством в рядах ГПУ. По словам Ягоды, ситуация с пьянством среди чекистов становилась заметна уже и партийным верхам, особенно досталось за потакание этому пороку сотрудников главному тогдашнему чекисту по Сибири Павлуновскому: «Пьянство вошло в обычное явление, пьянствуют даже с проститутками, о пьянках нашего аппарата известно уже и в Москве. Непьющего товарища начинают избегать. А отдельные товарищи начинают делиться с женами о секретной работе – в результате едут на Соловки». В результате этой первой антиалкогольной кампании в истории спецслужб нашей страны в ГПУ прошли очередные чистки с арестами. В 1926 году начальник Бийского отдела ГПУ в Сибири Вольфрам за систематическое пьянство и финансовые злоупотребления осужден на три года лагерей.
В Одесском ГПУ обнаружили смычку многих руководителей с сильным здесь блатным миром: за взятки блатарей выпускали из тюрьмы и даже выписывали им поддельные ордера ГПУ на обыск, с которыми налетчики грабили под видом чекистов местных нэпманов. Ряд чекистов под началом командира Одесского угрозыска Левитина в те годы вообще создали банду оборотней в кожанках, заманивая на конспиративные квартиры подпольных дельцов, арестовывая их там и затем за крупное вознаграждение выпуская на свободу. Когда все это было раскрыто, а в Одессу ввиду важности дела даже лично выезжал начальник Украинского ГПУ Балицкий – с должности был снят герой подполья Одессы в Гражданскую войну и заместитель начальника Одесского ГПУ Александр Эйнгорн, его отправили для перевоспитания с понижением в ГПУ Ташкента. С началом Большого террора бывшего красного подпольщика и чекиста Эйнгрона родные спецслужбы будут «перевоспитывать» еще и пятнадцатью годами лагерей.
В 1923 году бывший знаменитый пермский чекист Гавриил Мясников, имевший перед советской властью такие «заслуги», как убийства священников и тайная ликвидация великого князя Михаила Романова, только за вхождение в «Рабочую оппозицию» в партии будет сначала выслан из СССР. Затем по личному указанию Дзержинского обманом амнистии он вызван вновь в Москву, арестован и брошен в тюрьму (еще позднее все это для Мясникова закончится смертной казнью). Власть ясно давала понять боевому активу своей спецслужбы, что время лихой самодеятельности, закрытых глаз на шалости самих чекистов, время «красного бандитизма», каких-то пусть даже самых «рабочих» оппозиционных групп в партии ушло в историю вслед за Гражданской войной. А кто этого не понял – никакие заслуги и звание почетного чекиста не спасут от суровой кары. Позднее под каток репрессий уже в Большой террор конца 30-х годов попадет и будет расстрелян и видный партиец из деятелей «Рабочей оппозиции» Генрих Бруно, в Гражданскую войну занимавший высокие должности в ЧК на фронте.
Сам Дзержинский требовал ужесточить эту кампанию чистки рядов во вновь созданном ГПУ. Он с 1922 года выбил у ЦК партии право для своей спецслужбы судить собственными «тройками» преступивших закон сотрудников ГПУ, мотивируя это требованиями конспиративности работы спецслужбы. Верховную «тройку» в коллегии ГПУ составили Уншлихт, Петерс и Ягода. В 1922 году это еще ближайшие для Дзержинского люди из первой коллегии его ВЧК, но очень скоро на Лубянке из них останется только Ягода, а Петерса с Уншлихтом из ГПУ переведут на другую работу.