Утром 22 июня 1941 года в резидентуры ушли телеграммы, подписанные начальником разведки, в которых уточнялись их задачи в связи с начавшейся войной. Главная задача — выявить реальные военно-политические планы нацистской Германии и ее союзников в отношении СССР.
18 июля 1941 года ЦК ВКП(б) принимает специальное постановление «Об организации борьбы в тылу германских войск». Одновременно принимается решение об очередной реорганизации внешней разведки органов государственной безопасности. Наркомат госбезопасности был ликвидирован, а внешняя разведка вновь возвратилась в состав НКВД, которым руководил Берия.
Фитин стал начальником 1-го (разведывательного) управления НКВД. Основной задачей его управления определяется развертывание активной разведывательной работы за рубежом.
С утерей разведывательных возможностей непосредственно в Германии Фитин сделал ставку на активизацию работы «легальных» резидентур в таких странах, как Англия, США, Болгария, Турция, Китай, Иран, Афганистан, Швеция и Япония. Наиболее значительных результатов внешняя разведка под руководством Фитина добилась в Англии, где активно действовала «Кембриджская пятерка».
Особое место принадлежит резидентурам внешней разведки в Англии и США в получении секретов атомного оружия. Благодаря настойчивости Фитина в июле 1943 года ГКО СССР принял специальное постановление о начале работ над атомным оружием в нашей стране и определил задачи внешней разведки по данному вопросу.
В связи с наметившимся переломом в ходе войны в апреле 1943 года происходит новая реорганизация органов госбезопасности: вновь воссоздается наркомат государственной безопасности Советского Союза. Фитин становится начальником его 1-го управления.
Помимо атомной проблемы разведка в годы войны решала множество других важных задач. В качестве приоритетной ставилась задача изыскать возможности для получения политической, экономической и военной информации по Германии и ее союзникам. Особое внимание обращалось также на своевременное выявление планов и намерений США и Великобритании в отношении СССР, а также стран «оси».
После того как в Великой Отечественной войне произошел коренной перелом, важное место в работе внешней разведки за рубежом стали занимать вопросы, связанные со сроками открытия второго фронта и сепаратными переговорами, которые Англия и США пытались вести с нацистской Германией за спиной СССР.
Известно, что вопрос об открытии второго фронта был окончательно решен на Тегеранской конференции, когда стало ясно, что Советский Союз сможет в одиночку разгромить гитлеровскую Германию. Стремясь не допустить подобного развития событий, США и Англия открыли второй фронт в Европе только 6 июля 1944 года.
Руководимая Фитиным внешняя разведка внимательно следила за сепаратными переговорами наших союзников по антигитлеровской коалиции. В мае 1942 года резидентура внешней разведки в Стокгольме сообщила в Центр, что сотрудник германского посольства тайно вылетел в Лондон для переговоров с британской стороной об условиях выхода Германии из войны. Резидентуры разведки регулярно информировали Центр о попытках германской стороны установить контакты с англичанами в Анкаре, Берне и Ватикане. Сепаратные контакты англичан с немцами также имели место в 1943 году в Мадриде и Лиссабоне.
В феврале 1943 года в Швейцарию прибыл видный представитель германской аристократии князь Гогенлоэ, который установил контакт с региональным руководителем Управления стратегических служб (разведки) США в Европе Алленом Даллесом. В 1944 году с американским разведчиком в Берне встречался отставной нацистский генерал фон Браухич. В ходе переговоров обсуждались вопросы отстранения Гитлера от власти и создания в Германии военного правительства, которое будет поддержано Англией и США. Подобные контакты имели место и в 1945 году.
Фитин регулярно докладывал советскому правительству информацию внешней разведки о сепаратных переговорах между представителями Германии и нашими западными союзниками. 7 апреля 1945 года, когда советские войска приближались к Берлину, Сталин направил личное послание президенту США Рузвельту, в котором подчеркнул недопустимость сепаратных переговоров с Германией накануне ее поражения. Он настоятельно потребовал участия советской стороны во всех ведущихся переговорах об условиях капитуляции Германии. По указанию Рузвельта Даллес прервал переговоры с немцами, и Германии не удалось внести раскол в антигитлеровскую коалицию.