Власть явно наводила порядок в своей спецслужбе ее же собственными руками и методами. В новых условиях в ГПУ уже не было места видениям бывших «романтических лет Гражданской», толпам нетрезвых и возбужденных классовой яростью полуграмотных ребят в кожанках и с маузерами на боках. Неудивительно, что в область преданий ушли и сами заезженные пропагандой кожанки первой ЧК, в ГПУ уже была унифицированная особая форма и знаки различия в петлицах. Политнеграмотная машинистка Пятигорского ГПУ Пономарева, любившая золотые украшения, под кампанию попала заодно, но такие случаи наведения порядка внутри ГПУ в середине 20-х весьма показательны.
Дзержинский в эти годы много внимания лично уделял этой чистке ГПУ от подобной случайной публики, людей ультрареволюционного настроя или с уголовными наклонностями. Он лично контролирует самую большую чистку в ГПУ 1922 года, ответственной за которую назначил руководящую кадровой работой в ГПУ Андрееву. В одной из служебных записок от июля 1922 года он буквально кипит от ярости по поводу того, что «проглядели» некоего сотрудника ГПУ Карпова, обвиненного теперь во взятках, личном обогащении на службе, запугивании соседей по коммуналке чекистским мандатом с револьвером в руках, да еще и в явном антисемитизме: «Товарищ Фельдман, каленым железом надо выжигать из ГПУ таких подлецов. Мера наказания должна быть определена при моем участии. Приговор должен навести ужас на подобных лиц – дабы ушли от нас». Председатель ГПУ весной 1924 года даже не поленился собственноручно написать вопросник для очередной чистки своей службы, где есть в анкете такие вопросы для негласной проверки сотрудников: «Болтлив ли, выпивает ли?», «Ходит ли в увеселительные места?», «Берет ли документы на дом?» и даже «Падок ли к бабам?». От этих собственноручно написанных Дзержинским пунктов вопросника его привычный образ начинает выглядеть чуть по-другому.
В те же первые годы работы ГПУ отдельными процессами и невиданными ранее репрессиями против самих чекистов пришлось внедрять идею полного подчинения органов госбезопасности государству и партии. Остатки внутричекистской изоляции и вольности эпохи кожанок искоренялись серьезным уголовным преследованием не понявших нового подхода чекистов. В мае 1926 года почти десяток сотрудников ГПУ по Владимирской области самого разного уровня были отданы под суд за оперативную разработку без санкции из Москвы секретаря местного обкома партии Асаткина. Пытавшийся заступиться за владимирских чекистов на Лубянке начальник секретного отдела ГПУ Терентий Дерибас, предлагавший ограничиться выговорами и увольнениями, был немедленно одернут сверху самим Дзержинским, свято требовавшим соблюдать принцип полного подчинения ГПУ партии (самого Дерибаса родные органы окончательно излечат от иллюзий славных времен Гражданской войны расстрелом в репрессии 1937 года). С тех пор и до самого краха СССР в 1991 году сохранялось четкое правило, по которому чекисты в провинции без особо регламентированной процедуры получения разрешения в центре не имели права вести агентурную или оперативную работу против местной партийной номенклатуры.
Характерно, что в том же 1926 году появилось известное распоряжение заместителя начальника ГПУ Ягоды (Дзержинский как раз в это лето умер, а назначенный вместо него Менжинский в очередной раз был болен) о недопустимости грубого и невежливого отношения к гражданам со стороны сотрудников ГПУ, как и о недопустимости грубости в общении между самими сотрудниками разного уровня в ГПУ. Интересно, что подписал этот приказ о вежливости, в котором были строки о «вызывающем начальственном тоне, резких окриках и просто ругательствах», именно зампред ГПУ Генрих Ягода, которого многие его подчиненные считали самым хамоватым и склонным к площадной ругани из высших руководителей госбезопасности тех лет. Ведь и приказ о борьбе с пьянством в ГПУ написал тот же Ягода, судя по воспоминаниям отнюдь не самый большой трезвенник и аскет в этом плане. Хотя тут дело не в личности Ягоды, этот приказ о вежливости был явно продиктован политикой с верхов власти и предназначен для того же наведения в молодом ГПУ элементарного порядка и дисциплины. В том же самом 1926 году Генрих Ягода подписал и другой приказ, запрещавший сотрудникам ГПУ после их ухода из госбезопасности издавать любое литературное произведение без санкции на бывшей службе, – это правило сохранится до последних дней КГБ в Советском Союзе. А воспоминания бывших сотрудников ГПУ необходимо было сначала в рукописном виде отправлять бывшему начальству, не оставляя у себя машинописных копий.