В спецслужбе мирного времени такой подход уже был неприменим, пришлось срочно менять меру ответственности. Поначалу объявили кампанию по борьбе с «партизанщиной» в ГПУ по этому поводу, затем решили, что термин бросает тень на партизан Гражданской, и тогда придумали определение «красный бандитизм» – специально для неуправляемых или слишком фанатичных идейно деятелей в кожанках. Многие видные начальники тогдашнего ГПУ посчитали даже такую мягкую чистку ущемлением прав их родной спецслужбы. Тогдашний один из заместителей Дзержинского в ГПУ Ягода писал, что изгнанные чекисты становятся в среде обывателей «отверженными» за свою прошлую службу и власть сама толкает таких людей в «красный бандитизм». Но такие протесты тогда уже не возымели действия – спецслужбу просто необходимо было чистить от откровенных палачей и радикалов ввиду перехода к мирной жизни и политике НЭПа в стране.
После того как за пределы ГПУ вывели часть особо запятнавших себя в 1918–1921 годах в репрессиях или в неподчинении начальству «вольных альбатросов» из ЧК, серьезно взялись и за оставшихся. Первые же приговоры преступившим грань уже советского закона чекистам из ГПУ в начале и середине 20-х годов показали, что карать за самовольные расстрелы или выпуск за взятку арестованных из ЧК двумя-тремя годами условно или лишением звания чекиста, как это случалось в 1918–1919 годах, больше не будут. Например, уже в 1922 году расстрелян сотрудник ГПУ Зайцев, прослуживший в ЧК всю Гражданскую, за получение взятки для прекращения дела о шпионаже. В том же году только за ложный донос (сколько их было в Гражданскую) сотрудник Казанского ГПУ Иванов также расстрелян во внесудебном порядке, а всего за 1922 год расстреляно по стране более 20 кадровых сотрудников ГПУ. Сотрудник особого отдела ГПУ Шланак из особистов 4-й армии РККА продавал чекистские мандаты и пропуска уголовникам и спекулянтам в Крыму, где эта армия была расквартирована, – его показательно расстреляли, изложив его историю в газете «Красный Крым».
По справке начальника Украинского ГПУ Балицкого видно, что за 1922 год по его приказу отданы под суд и расстреляны 9 подчиненных ему чекистов, вина которых колебалась от элементарных взяток (Самойлов, Володин, Брейтман) и изнасилований арестованных (Гончаров) до таких серьезных обвинений, как выявленная работа на контрразведку белых в годы войны (Прусиновский) или раскрытие в пьяном виде конспиративной квартиры ЧК (Котляров). В следующем, 1923 году за тайные связи с контрреволюционерами впервые в молодой внешней разведке ГПУ расстрелян сотрудник ИНО ГПУ Свистунов. В 1924 году за связь с монархистами расстреляны сотрудник ГПУ Котельников и бывший царский офицер Поливанов, служивший в ГПУ Витебска.
Кроме 20 расстрелянных в рядах ГПУ только за первый 1922 год его существования увеличилось количество и осужденных на различные тюремные сроки. Так в особом, так называемым «внесудебном», порядке ГПУ вынесен приговор в отношении бывших сотрудников Анохина и Данилова, вызвавший тогда вопросы даже у главного советского обвинителя Крыленко – тогда еще заместителя наркома юстиции РСФСР. Только за раскрытие конспиративных методов работы Анохин получил от ГПУ три года тюремного заключения, а его коллега Данилов – год. В итоге приговор своим бывшим сотрудникам ГПУ отстояло. Узнав, что дело арестованного сотрудника ГПУ Бородулькина передано вместо особого совещания ГПУ в обычный народный суд, Дзержинский возмутился и добился через Наркомат юстиции возвращения дела для разбирательства в свою службу.
Само руководство ГПУ становится часто более бескомпромиссно к своим преступившим закон сотрудникам, все реже учитывая даже прошлые заслуги в ЧК, молодость или преданность делу революции. В январе 1923 года лично председатель ГПУ Дзержинский обращается во ВЦИК к Сапронову, когда ВЦИК до нового разбирательства приостановлено дело по бывшим сотрудникам ГПУ Гельфману и Свярковскому, уже осужденным в упрощенном порядке ГПУ к смертной казни. Дзержинский пишет во ВЦИК, что дело ему хорошо известно в деталях и никаких причин для отмены смертного приговора чекистам-отступникам он не видит. Что Гельфман и Свярковский запятнали звание чекиста уголовными преступлениями и прямой изменой советской власти, а «оперуполномоченный Петроградского ГПУ Болеслав Свярковский параллельно с кассационной жалобой на приговор во ВЦИК тайно связывался с членами польской делегации о заступничестве за него, как за поляка, и обмене его на пленных». В годы Гражданской войны руководство ВЧК чаще ходатайствовало перед высшей советской властью о смягчении участи низвергнутого из ЧК товарища.