В один из августовских дней 1919 года его пригласил к себе член Реввоенсовета 16-й Красной Армии Уншлихт: «Слушай, Янек, я внимательно изучил представленные тобой материалы по ревизии губернского чекистского аппарата в Минске и пришел к выводу, что опыт подпольщика, навыки партийной и советской работы позволяют тебе объективно судить о деятельности органов ЧК, давать неплохие рекомендации. Но это, как говорится, взгляд со стороны. Думаю, для общего дела будет лучше, если ты непосредственно займешься борьбой с контрреволюцией и шпионажем. Давай-ка возвращайся в Вильно и вместе с Филиппом Медведем организуй там особый отдел. Вот тебе предписание Центрального Комитета».
Так начался новый период в жизни Яна. 13 последующих лет посвятил он чекистской работе. Из автобиографии: «…С августа 1919 года работаю в органах ВЧК—ОГПУ. Был начальником особого отдела 16-й Армии, в 1920 году назначен особоуполномоченным особого отдела Западного фронта… При формировании 1-й Польской Красной Армии мне была поручена организация ее особого отдела, а после я вновь назначен в 16-ю Армию».
Осенью 1920 года по инициативе РСФСР и Украины начались переговоры с буржуазно-помещичьей Польшей, завершившиеся (хотя и с большим трудом) подписанием договора о перемирии. Естественно, что в договоре нельзя было предусмотреть все нюансы, поэтому возникали спорные вопросы, в том числе между противостоящими друг другу войсками. Для их решения стороны обменялись группами офицеров связи.
Одна из таких групп находилась и при штабе 16-й армии. Но, как вскоре выяснилось, польских представителей больше занимал поиск путей для сбора разведывательной информации о красноармейских частях, а не исполнение дипломатических функций. Это не осталось незамеченным военными контрразведчиками. Если бы не решительные действия чекистов, возглавляемых Яном Каликстовичем, то тайная возня польских офицеров могла привести к весьма опасным последствиям для наших войск.
Дело в том, что руководители миссии связи майор Равич-Мысловский и подхорунжий Езерский успели-таки установить связь с существовавшей еще с 1918 года польской шпионской организацией в Могилеве. В той или иной степени на Равича работали 58 человек, среди которых были командиры и солдаты, железнодорожники, служащие органов снабжения армии и даже… несколько поляков — сотрудников особых отделов. Один из предателей вознамерился передать «дипломатам» шифр особого отделения 1-й дивизии, другой даже обратился с письмом к польским военным представителям с перечнем услуг, которые он бы мог оказать в обмен на содействие после бегства в Польшу. Медлить было нельзя. Раскрыв в полном объеме шпионскую деятельность Равича и имея на руках неопровержимые улики, особый отдел армии в начале января 1921 года приступил к ликвидации разросшегося филиала польской разведки.
Итог пребывания Равича и Езерского в Могилеве был печальным: все завербованные ими агенты провалились, а сами они по возвращении в Польшу преданы военно-полевому суду как не обеспечившие выполнение важных заданий Генерального штаба.
За операцией в Могилеве последовало раскрытие крупной шпионской организации в Витебске. И там Ян Каликстович проявил себя как грамотный и решительный контрразведчик.
Закончилась война. Прекращение боевых действий на польском фронте позволило приступить к налаживанию хозяйственной жизни в Белоруссии. Но тайная война не прекращалась. С согласия и при всевозможной поддержке военных и разведки в Польше формировались, а затем перебрасывались в Белоруссию разномастные вооруженные банды. К маю 1921 года на территории республики уже насчитывалось до четырех тысяч бандитов. «Лесное воинство» постоянно пополнялось за счет все новых и новых групп, просачивавшихся через бреши в охране границы.
В начале лета в Минск прибыла специальная комиссия во главе с Уншлихтом и Каменевым. Выслушав доклады военных и чекистов, они поддержали предложение о создании Реввоенсовета Минского района, наделенного чрезвычайными полномочиями по борьбе с бандитизмом. В его состав вошли командующий 16-й армией Иероним Уборевич, нарком по военным и внутренним делам Иосиф Адамович и председатель Белорусской ЧК Ян Ольский. Чекистам поручалось не только обеспечить войска информацией о местонахождении и численности банд, но и разгромить подпольные националистические и савинковские организации, тесно связанные с вооруженными группировками.
Прицельные удары белорусского ЧК и особых отделов бандиты ощутили очень скоро. В Шуменском уезде удалось вскрыть и ликвидировать контрреволюционную группу савинковского союза, руководившую кровавыми налетами на безоружные крестьянские селения. Недолго просуществовал и так называемый Западный областной комитет с его филиалами в нескольких белорусских городах. Но предстояла еще упорная борьба. Реввоенсовет Минского района издал приказ о сохранении на территории Белоруссии военного положения.
16 декабря 1921 года, выступая на III Всебелорусском съезде Советов, председатель республиканской ЧК Ян Ольский с уверенностью заявил, что «бандитизм к данному моменту полностью ликвидирован». По докладу Яна Каликстовича участники съезда приняли резолюцию, где деятельность чекистов признавалась правильной. Съезд вновь утвердил Ольского председателем Белорусской чрезвычайной комиссии. Отмечая заслуги Яна Каликстовича в деле искоренения бандитизма, президиум ЦИК Белоруссии направил ему письмо с выражением благодарности, а Реввоенсовет наградил орденом Красного Знамени.
В 1923 году, по настоянию заместителя председателя ОГПУ Уншлихта, Ольского переводят на работу в Москву, где он возглавляет одно из подразделений контрразведки. Кто-то может подумать: все понятно, свою роль сыграли высокопоставленные связи, вот и взяли в центральный аппарат. Да, Ян Каликстович был непосредственно знаком с некоторыми руководителями ОГПУ, но дело совсем не в связях. Читаем характеристику, выданную комиссией по аттестации сотрудников ОГПУ: «Работоспособный, с широкой инициативой, безусловно, честный, усовершенствованно знакомый со всеми отраслями чекистской работы… Имеет колоссальные заслуги в области разработок разных контрреволюционных и шпионских организаций, известных ВЧК. Вполне соответствует своему назначению и, несмотря на молодость (родился в 1898 г.), способен занимать более высший пост». Это сказано о 24-летнем Ольском еще за год до переезда его в столицу.
В середине 1924 года в ОГПУ создается отдел пограничной охраны, и первым его руководителем становится Ян Каликстович, одновременно назначенный главным инспектором войск ОГПУ и начальником Высшей пограничной школы. Даже по тем временам нагрузка на его плечи легла немалая. Охрана наших рубежей, по существу, только приобретала облик стройной системы, сочетающей войсковое прикрытие и чекистскую работу в местах наиболее вероятного проникновения противника.
Значительную активизацию оперативной работы в приграничных районах отметил начальник КРО ОГПУ А. Х. Артузов. Видимо, не без его участия Ольский реализовал свое стремление вернуться в контрразведку. В конце 1925 года он стал помощником Артузова, а через некоторое время — заместителем. Во второй половине 20-х годов Ольскому пришлось руководить многими операциями чекистов и лично участвовать в наиболее важных мероприятиях. В этот период его работа отмечена двумя знаками «Почетный чекист», а к десятилетию органов госбезопасности коллегия ОГПУ наградила его почетным боевым оружием с надписью «За беспощадную борьбу с контрреволюцией». В 1927 году Ян Каликстович сменил на должности начальника контрразведывательного отдела легендарного Артузова, возглавив фактически все органы борьбы со шпионажем после объединения КРО и особого отдела в единый Особый отдел ОГПУ.
1929–1931 годы — особый период в чекистской биографии Ольского. Заняв исключительно ответственный пост в центральном аппарате органов госбезопасности, Ян Каликстович много внимания уделял обеспечению законности в деятельности чекистов и особенно следователей. Известны многочисленные факты, когда он жестко реагировал на нарушения закона со стороны работников ОГПУ. Даже по его коротким заметкам на полях документов и записок, адресованных Главному военному прокурору, можно судить, как дальновиден был Ольский, как он стремился предостеречь своих коллег и подчиненных от пренебрежения нормами закона при ведении следствия. Совместно с работниками ГВП он подготовил циркуляр, в котором категорически требовал от начальников особых отделов обеспечить соблюдение законности, устранить трения с военной прокуратурой.