Когда началось наступление белых и Киев был сдан, Люшков вместе с эвакуированными советскими работниками Украины оказался в Брянске. В сентябре 1919 года он был направлен политруком в 1-ю Отдельную бригаду 14-й армии на Южный фронт. С бригадой прошел весь путь на Мозырском и Речицком направлениях Польского фронта, являясь секретарем и начальником политотдела бригады. В сентябре 1920 года он впервые ненадолго попал на чекистскую работу — уполномоченным Особого отделения ВЧК 57-й стрелковой дивизии. После советско-польской войны Люшков был демобилизован и вернулся в родную Одессу, поступил на учебу в Институт гуманитарных наук, но закончить образование не удалось: в ноябре 1921 года он был отозван с учебы и направлен на работу в Одесскую губЧК.
Украина, неоднократно переходившая из рук в руки противников в Гражданской войне, в начале 20-х годов оставалась ареной ожесточенной борьбы органов ВУЧК—ГПУ УССР с многочисленными противниками большевистского режима: петлюровцами, эсерами, польскими националистами, анархистами, крестьянскими повстанцами и просто уголовно-бандитскими элементами. Кроме того, на Правобережье Украины, имевшем выход к двум границам — с Польшей и Румынией, органы ГПУ вели борьбу с проникавшими из-за кордона вооруженными формированиями и шпионско-диверсионной агентурой иностранных государств.
Именно такого рода служба досталась Люшкову в период 1921–1924 годов в ряде пограничных и окружных отделов ГПУ Тирасполя, Вознесенска, Первомайска, Каменец-Подольского и Волочинска на юго-западе Украины. Работа чекиста-оперативника в приграничье зачастую была связана с риском для жизни: в 1921 году во время ликвидации банды в Вознесенском уезде Люшков был ранен в руку.
В ноябре 1924 года он был выдвинут на самостоятельную руководящую работу начальником Проскуровского окружного отдела ГПУ, входившего тогда в Подольский губернский отдел ГПУ, которым в то время руководил крупный, «идущий в гору» украинский чекист — И. М. Леплевский. Именно ему и предстояло сыграть заметную роль в судьбе Люшкова.
Израиль Моисеевич Леплевский (1896–1938), как и Люшков, происходил из бедной еврейской семьи рабочего-табачника. В молодости он был членом Бунда, но в феврале 1917 года примкнул к большевикам. Отсутствие какого-либо образования (он был самоучкой) компенсировалось у него природной предприимчивостью, опытом практической работы в ЧК с 1918 года и наличием покровительствующей «руки» в Москве в лице старшего брата — Г. М. Леплевского, занимавшего видные посты в Малом Совнаркоме и Наркомвнуделе РСФСР. К моменту сближения Люшкова с Леплевским последний уже «показал себя стойким большевиком-чекистом, проявившим выдающиеся способности в деле борьбы со всеми видами контрреволюции» на Украине и в 1921 году награжденным орденом Красного Знамени.
Когда в октябре 1925 года им пришлось расстаться (Леплевский был назначен начальником Одесского окр-отдела ГПУ), бывший начальник Люшкова рекомендовал его на ответственную работу в центральный аппарат ГПУ Украины, дав тем самым первоначальный толчок его карьере. Перебравшись в Харьков, Люшков как хороший «агентурист» был сразу назначен начальником Информационно-осведомительного отдела (ИНФО) ГПУ Украины. Получив в свои руки всю агентурноосведомительную сеть республиканского ГПУ, Люшков перешел к делам «крупного масштаба» и уже в 1926 году «нащупал террористическую группу, подготовлявшую покушение на Председателя ВУЦИКатов. Петровского».
Следует сказать, что опыт в делах такого рода очень пригодился Люшкову во время его ленинградской командировки в связи со следствием по делу об убийстве С. М. Кирова и способствовал его сближению с одним из «кураторов» этого следствия — Н. И. Ежовым.
Смерть Кирова, ленинградского партийного руководителя, убитого в 1934 году, является, кстати сказать, классическим примером во всех отношениях. Это преступление до сих пор будоражит умы многих историков как своей простотой, так и таинственностью. Полного и точного ответа на вопрос, почему и как погиб первый секретарь Ленинградского обкома ВКП(б) Сергей Миронович Киров, так до сих пор и нет. Существуют только версии.
1 декабря 1934 года в Ленинграде во Дворце Урицкого (так тогда назывался Таврический дворец) в 18.00 должно было состояться заседание актива обкома. На этом заседании ожидали выступление С. М. Кирова. До четырех часов вечера он сидел у себя дома на улице Красных Зорь и работал над докладом. Затем внезапно собрался и выехал в Смольный. Кроме шофера и начальника личной охраны М. Борисова, с ним рядом никого не было.