По возвращении в Москву в сентябре 1933 года Ф. Карин был назначен начальником 1-го отделения ИНО ОГПУ, занимавшегося ведением разведки в США и Европе. Ему было присвоено звание старшего майора госбезопасности, что соответствовало армейскому званию генерал-майор. В связи с приходом к власти в Германии Гитлера и возросшей опасностью войны новому начальнику ведущего отделения внешней разведки предстояло реорганизовать работу «легальных» и нелегальных резидентур, прежде всего в Германии, с таким расчетом, чтобы на постоянной основе получать упреждающую информацию о планах и намерениях нацистов, в том числе о подготовке ими к войне. Эту задачу Ф. Карин решал успешно. Под его руководством были созданы «запасные площадки» германской нелегальной резидентуры ОГПУ в соседних странах. В случае осложнения обстановки в Германии предполагалось организовать с их помощью работу по третьему рейху.
В связи с возросшей нацистской угрозой в мае 1934 года Политбюро ЦК ВКП(б) рассмотрело вопрос о координации деятельности Разведывательного управления РККА, Иностранного и Особого отделов ОГПУ. Решением ЦК партии начальник ИНО ОГПУ А.Х. Артузов был назначен по совместительству заместителем начальника Разведывательного управления Красной Армии. Ему было предложено в месячный срок проанализировать работу военной разведки и разработать меры по устранению недостатков, прежде всего многочисленных провалов военных разведчиков. При назначении на этот пост А. Артузов в качестве единственного условия оговорил право взять с собой в Разведывательное управление РККА около двадцати сотрудников ИНО ОГПУ. Просьба была удовлетворена. Ф.Я. Карин был переведен в военную разведку и назначен на должность начальника ее 2-го отдела, занимавшегося ведением разведывательной работы в странах Востока. Ему было присвоено звание комкора, что соответствовало воинскому званию генерал-лейтенант.
В июне 1934 года А. Артузов подготовил подробный доклад на имя Сталина, в котором были проанализированы причины провалов военной разведки в Европе. Они объяснялись низкой дисциплинированностью сотрудников Разведупра, пренебрежением правилами конспирации, нежелательным использованием коммунистов европейских стран в работе «легальных» и нелегальных резидентур. Выводы А. Артузова были одобрены Сталиным, который распорядился «навести должный порядок» в работе резидентур военной разведки. По указанию начальника Разведупра Я.К. Берзина Ф. Карину было поручено проанализировать работу резидентур своего отдела, в которых также произошло несколько провалов, и принять меры по улучшению их работы.
Однако в феврале 1935 года по вине видного военного разведчика А. Улановского произошел очередной, весьма серьезный провал резидентуры Разведупра в Копенгагене. Расследование показало, что, несмотря на указания А. Артузова о недопустимости привлечения к разведработе местных коммунистов, пятеро связников резидентуры А. Улановского состояли в Компартии Дании. К тому же один из них являлся осведомителем полиции. Конспиративная квартира нелегального резидента была взята полицией под наблюдение. Вскоре датские спецслужбы, организовав засаду, арестовали на ней сразу троих резидентов Разведупра из других европейских стран, прибывших к А. Улановскому в Копенгаген на совещание. Поскольку начальник Разведупра Я. Берзин отсутствовал в Москве, докладную записку на имя наркома обороны К. Ворошилова был вынужден подготовить А. Артузов.
Нарком, с недоверием относившийся к представителям ОГПУ в его ведомстве, использовал данное обстоятельство для дискредитации А. Артузова и пришедших вместе с ним в военную разведку чекистов. Направляя докладную записку Сталину, он написал на ней резолюцию, смысл которой сводился к тому, что А. Артузов мало что сделал для улучшения разведывательной работы.
После этого провала военной разведки Сталин назначил на должность начальника Разведупра С. Урицкого, который имел тот же ранг корпусного комиссара, что и А. Артузов, О. Штейнбрюк и Ф. Карин, пришедшие из ОГПУ. Урицкий ревниво воспринял этот факт и вскоре практически отстранил их от всех дел по руководству военной разведкой.
20 декабря 1936 г. А. Артузов пишет на имя С. Урицкого письмо, в котором просит объяснить причины подобного отношения к разведчикам, пришедшим в Разведывательное управление РККА из ОГПУ. Однако его попытки объясниться с вышестоящим начальником ни к чему не привели. 11 января 1937 г. Политбюро ЦК ВКП(б) по предложению К. Ворошилова приняло решение об освобождении Артузова, Штейнбрюка и Карина от работы в Разведывательном управлении РККА и направлении их в распоряжение НКВД.