Небывалый разгул бандитизма вынудил властей пойти на решительные меры. В результате во главе МУСа встал балтийский матрос Александр Трепалов. С его приходом время мальчишек-пинкертонов завершилось, и около 150 человек были уволены из московского уголовного сыска. Отбросив в сторону революционный романтизм и взяв на вооружение метод беспощадного террора, Трепалов сумел за несколько месяцев уничтожить большую половину московских банд. В милицейских засадах тогда погибли и Сабан, и Кошельков, и еще с десяток наводивших ужас на город бандитских главарей. К началу 1921 года волна бандитизма в Москве была подавлена.
Между тем, напуганные милицейским террором, многие московские бандиты отправились тогда в Северную Пальмиру — Петроград. В результате и этот город окунулся в вакханалию бандитского беспредела. Бандиты не жалели никого, но особенную ярость вымещали на сотрудниках милиции и ГПУ. Известный бандит Иван Белов, или Ванька Белка, захватив инспектора уголовного розыска Александра Скальберга, приказал своим людям его четвертовать.
Еще более известный бандит Ленька Пантелеев (сам в бывшем сотрудник ГПУ) лично убил нескольких милиционеров, которые попытались его задержать. Однако в конце концов и это противостояние завершилось победой милиции, и на «блат-хате» на Можайской улице Пантелеев был безжалостно застрелен 17-летним сотрудником ГПУ.
В 20-е годы волна террора сошла на нет и противостояние сыщиков и бандитов вошло в более спокойное русло, К концу того десятилетия применение огнестрельного оружия уголовниками было уже настолько редким, что любой факт подобного рода становился чуть ли не сенсацией. Поэтому если в период 1918–1921 годов в России погибло несколько тысяч работников м илиции и ВЧК, то за все 20-е годы эта цифра едва достигла двух сотен. Объяснялось это несколькими причинами, но основной, пожалуй, была одна: изменился преступный мир России. На смену безжалостным «мокрушникам» и громилам-налетчикам пришли те, кого сформировал нэп, и эта новая поросль уголовных авторитетов подняла преступный мир России на новую ступень развития. На свет появилась каста воров в законе, куда «мокрушникам» вход был заказан. И хотя убийство как метод разрешения проблем присутствовало и в арсенале новой группировки, однако оно перестало быть доминирующим. Но порой случалось всякое.
18 ноября 1930 года известный преступник Михаил Ермилов по кличке Хрыня, вырываясь из засады в Москве, смертельно ранил молодого сотрудника МУРа Николая Лобанова. Это убийство подняло на ноги всю столичную милицию, а коллеги погибшего буквально рыли носом землю, пытаясь выследить убийцу. В конце концов Хрыня был арестован. Однако до окончания суда он так и не досидел: в один из дней он обманул своих конвоиров и вырвался на свободу прямо из здания городского суда. Перед сыщиками вновь встала нелегкая задача — выследить и арестовать матерого преступника.
Та погоня длилась еще несколько недель и завершилась победой сыщиков. Причем на этот раз Хрыню решено было живым не выпускать. Он был выслежен на одной из явочных квартир в Электрическом переулке, куда он пришел, чтобы пополнить свой боевой арсенал — ему нужны были патроны к его «браунингу». Сыщики устроили ему засаду во дворе дома и, как только Хрыня вышел из подъезда, окликнули его. Как и следовало ожидать, бандит не стал сдаваться, а тут же схватился за пистолет. Однако сыщики оказались проворнее его и открыли огонь первыми сразу с нескольких сторон. Смерть Хрыни была практически мгновенной.
Между тем кривая преступности в 30-е годы, по официальным данным, вела себя неровно: то падала вниз, то взлетала вверх. Например, в 1935 году в приказе НКВД отмечалось, что по сравнению с 1934 годом в СССР число вооруженных грабежей снизилось на 46 %, невооруженных грабежей — на 44 %, квалифицированных краж — на 32 % и т. д. Но уже во втором квартале 193& года кривая преступности резко скакнула ввысь. После этого аппарат уголовного розыска, действовавший по линейному принципу, решено было перестроить по принципу территориального обслуживания.
Незадолго до войны (в апреле 1941 года) в Главном управлении рабоче-крестьянской милиции НКВД СССР был создан отдел по борьбе с бандитизмом, который состоял из 5 отделений: четыре — по зонам СССР, пятое — следственное. Создание этого отдела было вызвано в первую очередь складывающейся тревожной обстановкой в западных областях Украины и Белоруссии, где поднимали голову националисты. Но затем грянула война, и деятельность ОББ приняла более широкие формы.