С 1921 по август 1924 г. Боровой работал в Закавказской ЧК в Тифлисе. Как нередко случалось с чекистами тех лет, он был на некоторое время уволен из «органов», но потом вновь вернулся к прежней работе. Уйдя из ОГПУ, Боровой в 1925–1928 гг. трудился в Москве на очень неплохой должности партследователя Центральной контрольной комиссии ВКП (б) и занимался расследованием грешков и откровенных преступлений своих товарищей по партии. Правда, и его самого пытались обвинить в «некоммунистическом поведении», но без особого успеха. Довольно логичным образом контролёра вернули в самую главную контролирующую организацию, но уже не для борьбы с врагом внутренним. В 1928 г. Борового взяли в ОГПУ и устроили в аппарат Иностранного отдела.
Для разведчика начались годы работы за рубежом, о конкретном содержании которых пока практически ничего не известно. Только из материалов позднейшего судебного дела можно понять, что Боровой недолго входил в курс дела и быстро оказался за границей. С 1929 по 1931 гг. он работал под «крышей» секретаря советского торгпредства в Турции.
Служба резидента советской политической разведки шла успешно. К 1938 году И. И. Боровой вырос до поста начальника отделения Иностранного отдела НКВД СССР, причём дело обернулось так, что на него даже в годы террора не нашлось никакого приличного компромата. Но избежать репрессий, выкосивших три четверти аппарата внешней разведки, ему не удалось. Арестован 2 декабря 1938 г. Боровой был по ордеру № 2415, подписанному Берией. Обвинение стандартное: шпионаж. Что до санкции прокурора, то она была получена лишь в феврале следующего года.
Скорее всего, Боровой был арестован по личному желанию Берии. По крайней мере, нарком внутренних дел не погнушался принять личное участие в следствии по делу известного разведчика. На допросе 10 декабря 1938 г., который велся Берией, Меркуловым и Деканозовым, Боровой после жестоких побоев признал шпионскую деятельность и показал, что якобы был завербован своим начальником С. М. Шпигельглазом в пользу японской разведки.
Ещё Боровому пришлось признать то, что он в 1928–1932 гг. примыкал к правым и вместе с «совестью партии» А. А. Сольцем, секретарем последнего М. Хаевским и другими лицами помогал бухаринцам и троцкистам восстанавливаться в партии (отметим, что Сольц не был арестован). Впоследствии было зафиксировано, что виднейший разведчик Сергей Шпигельглаз в ответ на «признания» нашего героя «категорически отрицал факт вербовки Борового для шпионской деятельности в пользу японской разведки». Но Борового решили судить именно как шпиона.
В судебном заседании Военной коллегии Верховного Суда СССР 10 марта 1939 г. (в этот день, кстати, осудили и казнили бывшего работника ИНО НКВД и беспощадного к врагам народа контрразведчика А. П. Невского) Боровой отказался от показаний, данных на следствии — и спас себе этим жизнь. Поскольку никаких других обвинительных материалов не было, его дело отправили на доследование.
Бериевцы бросились выбивать из упорного арестанта нужные показания и добились своего: пока Ульрих и компания продолжали расстреливать уцелевших от ежовщины наркомов, членов ЦК и чекистов (как отборных палачей, так и видных разведчиков), Боровой, не выдержав допросов, 28 марта и 4 апреля 1939 г. подтвердил свои первоначальные показания. Довольные следователи тут же отправили папку с его делом по прежнему адресу, и 27 апреля того же года Боровой снова предстал перед военным судом.
Он и на этот раз отказался от вымученных из него показаний, но избежать осуждения у Борового не получилось: Военная коллегия отмерила ему 20 лет лагерей с конфискацией имущества. Он настойчиво обжаловал приговор, и это упорство принесло кое-какие плоды. Пленум Верховного Суда СССР по протесту союзного прокурора год спустя, 4 апреля 1940 г., отменил приговор, поскольку в деле Борового были доказаны только его «троцкистские колебания» в 1927 г. относительно возможности построения социализма в одной стране, а также то, что разведчик «делился с сослуживцами и членами семьи о некоторых вопросах заграничной работы органов НКВД». Самое страшное обвинение — шпионаж — отпадало. По делу Борового началось третье по счёту следствие, продолжавшееся целый год. Но следователи по-прежнему не собирались упускать свою законную добычу.