Службу в органах ВЧК начал в 1918 году с должности регистратора оружия в Саратовской ЧК, затем занимал различные должности в Самарской, Екатеринославской губернских ЧК,
Одесском губотделе ГПУ, был начальником 26-го пограничного отряда. Свою активную деятельность начал с участия в подавлении различных выступлений против советской власти на Украине, разрабатывал операции по ликвидации петлюровских атаманов, подпольных белогвардейских организаций.
Леплевский был младше своего руководителя Балицкого на четыре года, но уже в 1925–1929 годах он являлся его заместителем, членом коллегии ГПУ УССР.
Среди ближайшего окружения Леплевского распространялись слухи о том, что основная заслуга в разгроме контрреволюционных сил на Украине в годы Гражданской войны принадлежит именно Леплевскому благодаря его профессионализму и оперативности. Когда об этом стало известно Балицкому, он не стал делить лавры и успехи со своим заместителем, а способствовал выдвижению Леплевского на самостоятельную должность — наркома внутренних дел Белоруссии. В некоторых печатных источниках содержится упоминание о якобы сделанном им заявлении при отъезде из Киева: «Я еще сюда вернусь и рассчитаюсь со всеми».
В 1931 году Леплевский был переведен в Москву, в центральный аппарат, где семь месяцев возглавлял особые отделы Главного управления госбезопасности НКВД. Именно под его непосредственным руководством и с его участием военные контрразведчики чинили расправы над известными со времен Гражданской войны военачальниками — Тухачевским, Якиром, Корком, Уборевичем и другими. Сослуживцы вспоминали, как Якира привели в кабинет начальника военной контрразведки Леплевского. Он вошел в военной форме, а из кабинета был выведен без ремня, петлиц, избитым и в разорванной гимнастерке. Под руководством Леплевского у командующего Киевским военным округом командарма 1 ранга Якира были выбиты показания, свидетельствующие о том, что Балицкий являлся участником антисоветского заговора.
Как участники антисоветских троцкистских организаций были арестованы 21 комкор, 37 комдивов, 29 комбригов, 7 дивизионных комиссаров и т. д. — около тысячи высших командиров и политработников.
С первых же дней назначения наркомом Леплевский стал требовать увеличения арестов военнослужащих, усилил расправу над партийными и советскими работниками, сотрудниками центрального, областных аппаратов НКВД Украины. Верных себе сотрудников он наставлял: «Следует действовать более решительно. Для вас не должны существовать никакие директивы, кроме моих».
На пленуме ЦК КП(б)У по докладу Леплевского отмечалось, что органы НКВД на протяжении нескольких лет проявляли бездеятельность. В результате многие руководители НКВД, старые чекисты, были выведены из состава партийных органов КП(б)У, из обкомов партии и в последующем арестованы.
О своем исключении из состава ЦК и готовящемся аресте узнал начальник управления НКВД по Харьковской области комиссар госбезопасности 3 ранга С. Мазо и покончил жизнь самоубийством. В его рабочем кабинете была обнаружена записка коллегам: «Товарищи, одумайтесь! Куда ведет такая линия арестов да выбивания у обвиняемых показаний?»
Не выдержал массовых репрессий на Украине и личных обвинений в участии в националистической организации председатель Совнаркома Украины Панас Петрович Любченко. Он покончил жизнь самоубийством, застрелив при этом и свою жену. (Черные страницы истории как бы повторяются, когда вспоминаешь, как в 1991 году после ГКЧП подобная участь постигла Бориса Карловича Пуго, бывшего председателя КГБ Латвийской ССР, министра внутренних дел СССР, и его супруги.)
В соответствии с указанием НКВД СССР от 30 января 1937 года категория лиц, подлежащих репрессиям на Украине, значительно увеличилась за счет членов антибольшевистских партий, прежних царских чиновников, жандармов, участников казацко-белогвардейских повстанческих организаций, сектантских и церковных активистов, а также уголовников, бандитов, воров-рецидивистов. В 1937 году в органы НКВД поступила телеграмма наркома Ежова, согласно которой подлежали аресту и расстрелу через «тройки» кулаки и уголовные преступники, бежавшие из лагерей или ссылок. Для НКВД Украины устанавливался лимит на арест 28 800 граждан (к расстрелу — 8000).
По личной просьбе Леплевского лимит на расстрел был увеличен на 4200 человек. Руководство НКВД Украины, как всегда, шло с опережением.
11 августа 1937 года Ежов издал указание, в соответствии с которым на Украине была проведена этническая чистка лиц польской национальности, обвинявшихся в сотрудничестве с польской разведкой, в шпионской, террористической и фашистско-повстанческой деятельности. Я знакомился с некоторыми подобными делами по арестам поляков в Житомирской области. С применением физического воздействия обвиняемые лица признавались в связях с польской разведкой, подготовке подрывов мостов в случае войны и т. д. Обычно один подозреваемый под пытками признавался, затем оговаривал своих знакомых или односельчан, и те подпадали под каток репрессий.