С января 1921 года служил в Чеченском окружном отделе ЧК, в 1923-м, будучи заместителем начальника отделения областного ГПУ, руководил крупной боевой операцией по разгрому банды Мазы Шалаева в Ачхой-Мартановском районе Чечни. Через год принял участие в уничтожении крупных (до десяти тысяч штыков) вооруженных формирований шейха Али Митаева.
В январе 1925 года назначен на должность помощника начальника контрразведывательного отдела Чеченского ГПУ, принимал участие в разоружении Чечни и Дагестана.
В феврале 1927 года переведен в Ростов-на-Дону, в Полномочное представительство ОГПУ по Северо-Кавказскому краю в качестве оперуполномоченного. Как и ранее в Грозном, занимался борьбой с политическим бандитизмом.
В октябре 1930 года назначен начальником отделения Информационного отдела Полномочного представительства ОГПУ по Северо-Кавказскому краю. В сентябре 1937-го старший лейтенант госбезопасности Павел Федотов, удостоенный к тому времени высшей чекистской награды — нагрудного знака «Почетный работник ВЧК—ГПУ (XV)» — и являвшийся одним из ведущих специалистов по Северному Кавказу, откомандирован в распоряжение отдела кадров НКВД СССР.
10 ноября 1937 года назначен начальником 7-го (восточного) отделения 4-го отдела ГУГБ НКВД. Вскоре в Москву был переведен и первый секретарь ЦК компартии Грузии Лаврентий Берия, назначенный сначала первым заместителем, а затем наркомом внутренних дел. Петра Федотова он знал по совместной работе на Кавказе. Уже в июле 1938 года Федотов с подачи Берии назначен заместителем начальника, а с сентября 1939-го — начальником 4-го (секретно-политического) отдела ГУГБ НКВД.
В сентябре 1940 года следует очередное повышение. Получивший специальное звание комиссара госбезопасности 3-го ранга, он назначается на должность начальника 3-го (контрразведывательного) отдела ГУГБ НКВД, который спустя полгода был преобразован во 2-е управление Наркомата госбезопасности.
Перед сотрудниками управления, возглавляемого Федотовым в предвоенный период, в качестве основной ставилась задача воспрепятствовать разведывательной деятельности спецслужб Третьего рейха на территории СССР, а также выяснять истинные планы Берлина в отношении нашей страны. С этой целью чекисты задействовали многочисленную агентуру. Федотову также принадлежал замысел операции по оперативно-техническому проникновению в посольство нацистской Германии, располагавшееся в Хлебном переулке. По его указанию чекисты под предлогом устранения в доме напротив аварии водопровода проникли по подземным коммуникациям в здание германского посольства и установили спецтехнику в кабинете военного атташе. Аппаратура подслушивания день за днем фиксировала его переговоры с посетителями. Нацистского разведчика в первую очередь интересовали уровень боеготовности Красной армии, состояние оборонной промышленности СССР, мобилизационная готовность нашей страны.
Результаты прослушивания регулярно докладывались Сталину в виде спецсообщений контрразведки. Из них Сталин сделал вывод, что Германия вынашивает планы нападения на нашу страну и только ждет подходящего предлога.
Германское и японское посольства не были единственными объектами разработки советских чекистов. Весьма активно и результативно сотрудники 2-го управления НКГБ, руководимые Федотовым, работали по дипломатическим представительствам Англии, Финляндии, Турции, Ирана, Словакии и других стран. Нараставший поток информации свидетельствовал об одном: война с Германией неизбежна.
В связи с нападением гитлеровской Германии на Советский Союз изменились задачи советской контрразведки. Федотов по-прежнему руководил 2-м управлением, но теперь уже не НКГБ, а НКВД, поскольку в июле 1941 года произошло их слияние. Управление решало серьезнейшие задачи: борьба с германскими спецслужбами и их агентурой на территории СССР, разработка и ликвидация агентуры противника, оперативная работа в лагерях для военнопленных, учет и оперативный розыск предателей и пособников нацистов, охрана дипломатического корпуса, а позднее, когда Красная армия перешла в наступление, — очистка освобожденных районов от оставленной там агентуры противника и организация в них оперативной работы.
В начале 1943 года Наркомат внутренних дел подвергся очередной реорганизации. Из него вновь выделили НКГБ, в котором Федотов по-прежнему возглавлял контрразведывательное управление. К прежним задачам главка добавились новые: оперативное обслуживание объектов военной промышленности, борьба с антисоветскими элементами внутри страны и националистическими вооруженными формированиями украинских националистов и «лесных братьев» в Прибалтике. Возглавляемый Федотовым 2-й главк в годы войны занимался также контрразведывательным обеспечением Тегеранской (ноябрь — декабрь 1943 года), Ялтинской (февраль 1945 года) и Потсдамской (июль — август 1945 года) конференций «Большой тройки».