В Особом отделе, понесшем тяжелые потери, срочно потребовался телефонист и шифровальщик. Так я был послан на работу в органы безопасности. Это и было началом моей службы в ВЧК — КГБ.
В дивизии, где я служил, вместе с нами сражались поляки, австрийцы, немцы, сербы и даже китайцы. Последние были очень дисциплинированны и дрались до последней капли крови. Борьба шла жестокая, и случалось, что целые деревни оказывались уничтоженными украинскими националистами и бандформированиями: всего входе гражданской войны на Украине погибло свыше миллиона человек. Мое поколение вскоре привыкло к жестокостям этой войны, потерям и лишениям. Мы считали все это вполне естественным. В состоянии войны страна находилась с 1914 года, и трагедия России заключалась в том, что до самого конца гражданской войны, то есть до 1922 года, создать стабильное общество, опирающееся на нормальные, гуманистические ценности, не представлялось возможным.
Опыт, приобретенный при выполнении обязанностей телефониста, а затем шифровальщика, оказался полезным. Я печатал документы с грифом «секретно», посылавшиеся командованию, и расшифровывал телеграммы, которые мы получали непосредственно от главы ВЧК Феликса Дзержинского из Москвы.
1921 год стал переломным в моей жизни. Дивизия была переведена в Житомир. Главной задачей нашего Особого отдела была помощь местному ЧК в проникновении в партизанское подполье украинских националистов, руководимых Петлюрой и Коновальцем. Их вооруженные банды устраивали диверсии против органов Советской власти на местах. Возглавлявшим ЧК Пота-жевичу и Савину удалось установить диалог с партизанскими руководителями и провести с ними неофициальные переговоры. Мое руководство встретилось с ними в Житомире на явочной квартире. Я, как младший сотрудник на подхвате, должен был проживать в доме, где находилась явочная квартира, и обслуживать переговоры. Опыт общения с главарями формирований украинских националистов, являвшимися, по существу, настоящими хозяевами в своей округе, помог мне в дальнейшем, когда я стал оперативным работником госбезопасности. На своей собственной шкуре испытал я, каково иметь дело с заговорами в подполье.
Война с украинскими националистами продолжалась почти два года и закончилась компромиссом — их главари приняли амнистию, которую дало им правительство Советской Украины. Произошло это лишь после того, как кавалерийский отряд в две тысячи сабель, посланный Коновальцем в Житомир, был окружен частями Красной Армии и сдался. Банда Коновальца потерпела сокрушительное поражение. В этих боях погиб мой старший брат Николай, служивший в погранвойсках на польской границе. Я же подал рапорт о переводе в Мелитополь, чтобы быть поближе к семье и иметь возможность помогать ей.
В течение последних трех лет пребывания в Мелитополе я был младшим оперативным работником в окружном отделе ГПУ и отвечал за работу осведомителей, действовавших в греческом, болгарском и немецком поселениях. В 1927 годуя получил повышение и был переведен в Харьков, тогдашнюю столицу Украины, где стал работать в ГПУ УССР. Именно там, в Харькове, я встретился со своей будущей женой, Эммой Кагановой: мне было двадцать, ей на два года больше — она приехала на Украину из белорусского города Гомеля.
Эмма была способной, и ей удалось поступить в гимназию, где для евреев существовала ограничительная норма. Она окончила несколько классов гимназии и позднее стала работать секретарем-машинисткой у Хатаевича, секретаря гомельской губернской организации большевиков. Когда ее начальника перевели в Одессу, где он возглавил партийную организацию, она последовала за ним. Именно в Одессе Эмма и перешла в местное ГПУ. Ей поручили вести работу среди проживавших в городе немецких колонистов. Голубоглазая блондинка, она говорила на близком к немецкому идише и вполне могла сойти за немку.
В Харьков ее перевели за год до того, как я туда перебрался. Эмма занимала в ГПУ УССР более весомое положение, чем такой новичок, каким я тогда был. Как образованной и привлекательной женщине, к тому же начитанной и чувствовавшей себя вполне свободно в обществе писателей и поэтов, ей доверили руководить деятельностью осведомителей в среде украинской творческой интеллигенции — писателей и театральных деятелей. Мы встретились с ней на службе, и меня поразили ее красота и ум. Отец Эммы, сплавщик леса, умер, когда ей было всего десять лет. Она начала работать и одна содержала всю семью, где было восемь детей. Так что у нас с Эммой было много общего: и я, и она являлись опорой для семьи и должны были в силу обстоятельств рано повзрослеть.