В октябре 1922 года ВЦИК распространил право награждения орденом Красного Знамени и на работников милиции.
И, наконец, 20 декабря того же года СНК РСФСР принял декрет, установивший передачу 50 % сумм, взысканных в виде штрафов с нарушителей, на премирование работников милиции, активно раскрывавших незаконное приготовление, хранение и сбыт спиртных напитков.
Однако все эти меры не шли ни в какое сравнение с тем положением, какое занимали в советском обществе сотрудники органов ГПУ. И конфликт их с органами внутренних дел разгорался вовсю еще при жизни Феликса Дзержинского.
В мае 1924 года заместитель председателя ГПУ Генрих Ягода подписал совершенно секретный циркуляр, в котором ставился вопрос о передаче в ведение ОГПУ в центре и на местах милиции и уголовного розыска. Вслед за этим в июне того же года нарком внутренних дел РСФСР Александр Белобородов собрал совещание наркомов внутренних дел союзных республик, где наряду с другими затронул и вопрос о взаимоотношениях органов НКВД с органами ОГПУ. А. Белобородов, в частности, сказал: «Вопрос ставится так, что милиция плоха. Но передача ее в ОГПУ не сделает милицию хорошей. В чем беда милиции, в чем ее недостатки? В том, что милиции соответствующие высшие политические и советские органы не уделяли необходимого внимания. Милиция не получала того количества политических работников, которыми все время усиленно пополнялись ряды ГПУ. С другой стороны, материальное положение милиции и уголовного розыска невероятно скверное…
Наконец, нужно остановиться на двух весьма важных моментах, говорящих против передачи милиции органам ОГПУ.
Первый. Национальные условия. В ряде национальных республик население смотрит на милицию как на защитницу своих интересов, как на представителя Советской власти и часто по милиции судит, хороша ли Советская власть. На ГПУ же население смотрит как на карающий орган.
Второй. Передача 70-тысячной милицейской армии в ОГПУ сразу привьет милиционерам чувство (присущее работникам ГПУ) исключительности своих прав и к улучшению работы не приведет».
После доклада А. Белобородова совещание единодушно высказалось против ликвидации НКВД. Однако конфликт на этом не разрешился.
В конце 20-х годов органы милиции и уголовного розыска России были подвергнуты основательной чистке. Началось это в январе 1928 года, когда наркомом внутренних дел РСФСР вместо А. Белобородова стал 41-летний Владимир Толмачев (до этого он в течение четырех лет занимал должность заместителя председателя Северо-Кавказского крайисполкома). Сразу после этого назначения наркомат рабоче-крестьянской инспекции провел широкую инспекцию органов милиции и уголовного розыска. Эта инспекция находилась под постоянным контролем Центральной контрольной комиссии ВКП(б). Выводы инспекции были отражены в постановлении «О результатах обследования милиции и органов уголовного розыска», увидевшем свет в июне 1928 года. Из милиции тогда было уволено до 15 % личного состава.
В 1929 году под давлением ОГПУ значительные кадровые перестановки произошли в Московском уголовном розыске. Новым начальником МУРа стал чекист Ф. П. Фомин, а его заместителями – работники все того же ОГПУ Л. Д. Вуль и В. П. Овчинников.
15 декабря 1930 года ЦИК и СНК СССР за подписями М. Калинина, А. Рыкова и А. Енукидзе приняли два постановления: «О ликвидации народных комиссариатов внутренних дел союзных и автономных республик» и «О руководстве органами ОГПУ деятельностью милиции и уголовного розыска». Необходимость упразднения НКВД объяснялась так: «На новом этапе в условиях социалистической реконструкции народного хозяйства комиссариаты внутренних дел союзных и автономных республик, объединяющие руководство различными, органически не связанными между собой отраслями управления и народного хозяйства – коммунальным делом, милицией, уголовным розыском, местами заключения, – стали излишними звеньями советского аппарата».
Следом за этим ВЦИК и СНК РСФСР 31 декабря 1930 года постановили упразднить НКВД РСФСР, а руководство милицией и уголовным розыском было возложено на ОГПУ СССР, которое в то время «возглавлял» Вячеслав Менжинский. Слово «возглавлял» взято в кавычки, так как, будучи уже больным человеком, В. Менжинский фактически отошел от руководства ОГПУ, и эту роль за него с успехом выполнял кадровый чекист Генрих Ягода.
В ОГПУ СССР была создана Главная инспекция по милиции и уголовному розыску; в республиканских, краевых, областных органах ГПУ – особые инспекции по милиции и угро. А в декабре 1932 года постановлением ЦИК и СНК СССР было образовано Главное управление рабоче-крестьянской милиции при ОГПУ СССР (ГУРКМ при ОГПУ СССР).