В мае 1920 года Наум Эйтингон по путевке Гомельского губкома партии большевиков становится уполномоченным Особого отдела Гомельского укрепрайона. Таким образом, служба Эйтингона в органах государственной безопасности нашей страны, которая продолжалась затем более тридцати лет, началась с военной контрразведки.
Становление Эйтингона как чекиста совпало с назначением на должность председателя Гомельской губернской ЧК Николая Львовича Волленберга, который впоследствии сыграл в его судьбе немалую роль. Под руководством Волленберга за два года Эйтингон прошел путь от уполномоченного Особого отдела до члена Коллегии и заместителя председателя Гомельской губчека, то есть стал вторым по значимости чекистом Гомельской губернии.
Позже хорошо знавшие Эйтингона коллеги и друзья отмечали: «Он с юных лет привык все делать обстоятельно и подходить к делу с полной ответственностью. Возможно, поэтому его работа в качестве сотрудника секретной службы была уже с первых дней оценена по достоинству. В 21 год Эйтингон стал исполнять обязанности заведующего секретно-оперативным отделом губернской ЧК. По сути дела, он руководил главным отделом местной секретной службы и пользовался полным доверием и поддержкой начальства. Когда в Гомеле вспыхнул бунт бывших мелких собственников и уволенных из армии солдат, Эйтингон принял в его подавлении самое активное участие. Он защищал новую власть с оружием в руках».
Особый отдел ВЧК был образован в декабре 1918 года под руководством видного революционера Михаила Кедрова. Подчиненные ему особые отделы создавались при всех фронтах, армиях, дивизиях, а также в ряде губернских ЧК. Они занимались выявлением вражеской агентуры в Красной армии, ее штабах, на фронтах и в тылу, борьбой с саботажем и диверсиями на железных дорогах, в продовольственных и других организациях, имевших отношение к обороне республики. Поскольку в годы Гражданской войны советское правительство привлекло на службу в Красную армию до сорока тысяч бывших царских генералов и офицеров, среди которых оказалось немало белогвардейских агентов, сотрудники особых отделов выявляли их, тайно внедряясь в штабы Красной армии и вербуя осведомителей в армейских частях. О их принадлежности к особым отделам знал ограниченный круг лиц.
Сотрудники особых отделов вели также разведку за линией фронта и в ближайшем тылу, внедряясь в белогвардейские организации и в штабы армий интервентов, так как в тот период в ВЧК еще не было Иностранного отдела. Особисты входили в состав военных трибуналов РККА, рассматривавших дела об измене и вредительстве, а также «в отношении всех преступлений, направленных против военной безопасности Республики».
О том, какое значение приобрели особые отделы в годы Гражданской войны, свидетельствует тот факт, что 18 августа 1919 года решением ЦК РКП (б) начальником Особого отдела ВЧК был назначен Феликс Дзержинский, одновременно являвшийся председателем ВЧК. В июле 1920 года на этом посту его сменил будущий председатель ОГПУ Вячеслав Менжинский. Заслуги Особого отдела ВЧК в борьбе с военным шпионажем и вредительством были отмечены приказом Реввоенсовета Республики от 20 декабря 1922 года, наградившим его орденом Красного Знамени.
Нелегко приходилось в то время гомельским чекистам, не имевшим достаточного опыта оперативной работы. Гомель, будучи, по сути дела, прифронтовым городом, постоянно подвергался нападениям самых разношерстных врагов советской власти — от белополяков до анархистов. В губернии активно действовали контрреволюционные элементы и иностранные шпионы, по уездам свирепствовали кулацкие банды. Эйтингон и его коллеги участвовали, в частности, в раскрытии мятежа на Днепровской военной флотилии, стоявшей тогда в Гомеле. Однако основной задачей была в то время борьба с бандитизмом, а также с польским шпионажем. Наибольшую опасность тогда представляла крупная боевая террористическая организация эсера Бориса Савинкова «Народный союз защиты Родины и свободы», отделения которой действовали на территории западных губерний РСФСР.
В мае 1921 года гомельские чекисты, внедрив своего агента, раскрыли в Гомеле штаб так называемого «Западного областного комитета», который структурно входил в «Народный союз защиты Родины и свободы». Руководил им бывший эсеровский боевик, организовавший убийство великого князя Владимира Александровича, бывший товарищ (заместитель) военного министра Временного правительства России Борис Савинков.
Именно по его указанию в июле 1918 года в Ярославле был поднят кровавый мятеж, после подавления которого Савинков перешел на службу польской, французской и английской разведок.