Год спустя после грузинского восстания в августе 1924 года новый режим начал обширную операцию по усмирению Чечни, где население не признавало советской власти. С 27 августа по 15 сентября 1925 года войска Красной Армии численностью более десяти тысяч человек, возглавляемые И. Уборевичем, при поддержке специальных частей ОГПУ, предприняли попытку разоружения чеченских партизан, которые особенно прочно удерживали внутренние территории страны. Были схвачены десятки тысяч вооруженных людей, около тысячи «бандитов» арестованы. Сопротивление населения, по признанию зампреда ОГПУ Ун-шлихта, подавлялось тяжелой артиллерией и бомбардировкой наиболее упорных «бандитских гнезд». По окончании этой новой операции по «усмирению», проводившейся в период, который стали называть «апогеем НЭПа», Уншлихт в докладе руководству страны сделал следующий вывод: «Как это показал опыт борьбы против басмачей в Туркестане, против бандитов на Украине, в Тамбовской губернии и в других местах, военные репрессии могут быть эффективны только в том случае, когда сразу же следует глубокая советизация всего района».
С конца 1926 года, после смерти Дзержинского, ОГПУ, управляемое отныне правой рукой основателя ЧК Вячеславом Рудольфовичем Менжинским (как и Дзержинский, поляком по происхождению), снова понадобилось Сталину, готовившему политическое наступление против Троцкого и Бухарина. В январе 1927 года ОГПУ получило приказ усилить работу по учету «социально опасных и антисоветских элементов» на селе. За год число учтенных увеличилось с 30 000 до примерно 72 000. В сентябре 1927 года ОГПУ начало многочисленные кампании по аресту кулаков и других «социально опасных и антисоветских элементов» сразу во многих областях. Впоследствии эти операции будут рассматриваться как подготовительные к большим «чисткам» периода «борьбы с кулачеством» зимой 1929–1930 годов.
В 1926–1927 годах ОПТУ проявило также большую активность в преследовании оппозиционеров, одни из которых были «зиновьевцами», другие — «троцкистами». Практика учета и преследования членов коммунистической оппозиции началась очень рано, еще в 1921–1922 годах. Летом 1923 года Дзержинский предложил коммунистам для «идеологического сплочения партии» передавать органам ОГПУ всю информацию о существовании фракций или уклонов внутри партии. Это предложение вызвало возмущение некоторых партийных руководителей, в частности — Троцкого. Тем не менее опыт слежки за оппозиционерами в последующие годы стал всеобщим. Чистка возглавляемой Зиновьевым партийной организации Ленинграда в январе — феврале 1926 года была вменена в обязанность службам ОГПУ. Оппозиционеры не только были исключены из партии; сотнями они были высланы в удаленные города страны, где оставались без средств к существованию, так как никто не осмеливался взять их на работу. В 1927 году началась охота на троцкистскую оппозицию — троцкистов оставалось в стране несколько тысяч, — и для этого также был мобилизован ряд служб ОГПУ.
Все троцкисты были взяты на учет, сотни активных троцкистов — арестованы и высланы. В декабре 1927 года все основные руководители оппозиции — Троцкий, Зиновьев, Каменев, Радек, Раковский — были исключены из партии, а затем арестованы. Все оппозиционеры, отказавшиеся от публичных саморазоблачений, были высланы. 19 января 1928 года «Правда» объявила об отъезде из Москвы Троцкого и группы из тридцати оппозиционеров, сосланных в Алма-Ату. Год спустя Троцкий был выслан из СССР. С момента превращения одного из главных вдохновителей большевистского террора в контрреволюционера начался новый этап в жизни страны под руководством Сталина.
В начале 1928 года, сразу после удаления троцкистской оппозиции, сталинское большинство в Политбюро приняло решение закончить временную передышку в обществе, которое, как им казалось, уходило все дальше от намеченного большевиками пути. Главным врагом оставалось, как и десять лет назад, крестьянское большинство, которое воспринималось как громадная, враждебная масса, не поддающаяся контролю. Так начался второй этап борьбы против крестьянства; как справедливо отмечает историк Андреа Грациози, «он весьма отличался от первого. Инициатива отныне была в руках государства, крестьяне же, постепенно ослабевая, могли лишь кое-как реагировать на атаки с его стороны».