Начало сотрудничества Павла Павловича Дьяконова с советской разведкой совпало по времени с первыми шагами мало кому тогда известного в Европе лидера Национал-социалистской рабочей партии Адольфа Гитлера, стремившегося захватить власть в Германии. Несмотря на опасность возрождения германского милитаризма, некоторые политические и военные лидеры Запада видели в лице Гитлера не столько возможного диктатора и тирана, сколько фигуру, способную бросить перчатку «красной опасности». К числу таких людей во Франции принадлежала влиятельная военная группировка бывших российских генералов, во многом определявших настроения и политические симпатии тогдашнего высшего руководства французских вооруженных сил.
Понимая всю опасность сближения на антибольшевистской основе Германии и Франции, советская разведка в те годы принимала все меры, чтобы не допустить этого альянса. И здесь роль генерала Дьяконова оказалась во многом решающей. Именно ему, кавалеру ордена Почетного легиона, советская разведка поручила довести до сведения Второго бюро Генерального штаба французской армии сведения о «пятой колонне» — профашистски настроенных офицерах и генералах. Незадолго до начала Второй мировой войны французские власти, которым генерал Дьяконов представил соответствующие документы (частично полученные из Москвы), объявили персонами нон грата и выслали из страны большую группу прогерманского крыла русской эмиграции во главе с генералом Туркулом. А сам Павел Павлович получил благодарственное письмо от руководства французской разведки: «Ваша информация о русских, которые известны своими немецкими симпатиями, чрезвычайно ценна для Франции. Мы высоко оцениваем наше сотрудничество».
Жизнь Павла Павловича во Франции была сложной и беспокойной. После смерти жены он остался вдвоем с дочерью Машей, которая нуждалась в постоянной заботе и внимании. К тому же над бывшим генералом нет-нет да и собирались темные тучи. Влиятельная эмигрантская газета «Возрождение» опубликовала статью, в которой назвала Дьяконова «чекистским агентом» и прямым участником нашумевшего на всю страну дерзкого похищения руководителя РОВС генерала А.П. Кутепова. Хотя многим из окружения Кутепова был известен тот факт, что Дьяконов даже не был лично знаком с руководителем РОВС и никогда не видел его, тень подозрения была брошена, и пришлось потратить немало времени и сил, чтобы в судебном порядке опровергнуть клевету. Французский суд, рассмотрев материалы следствия по делу «Генерал Дьяконов против газеты “Возрождение”», признал утверждения газеты необоснованными и принудил ее принести соответствующие извинения…
Началась Вторая мировая война. В 1940 году гитлеровцы заняли Париж. В первые же дни оккупации гестапо стало арестовывать антифашистов и людей, сочувствовавших Французскому Национальному фронту. В числе арестованных оказался и генерал Дьяконов. Сорок три дня он провел в фашистском застенке, надеясь на помощь советского посольства, которому когда-то генерал предложил свои услуги. И эта помощь пришла. Павлу Павловичу и Марии было пре-доставлено советское гражданство, и Народный комиссариат иностранных дел Союза Советских Социалистических Республик незамедлительно потребовал от германских властей освободить арестованных во Франции советских граждан П.П. Дьяконова и его дочь М.П. Дьяконову. Германскому военному командованию в Париже не оставалось ничего иного, кроме как выполнить это требование. Нужно было соблюдать в те дни правила взаимоотношений между СССР и Германией.
В конце мая 1941 года, за месяц до нападения гитлеровской Германии на Советский Союз, Павел Павлович и Маша вернулись на родину.
— Это самый счастливый день в нашей жизни! — сказал растроганный старый генерал оперативному работнику, встретившему их на вокзале в Москве. — Надеюсь, что наша жизнь теперь будет лишена всяких тревог и странствий…
Дьяконов, к сожалению, ошибся. Пять недель спустя после возвращения на родину он и его дочь были арестованы «по подозрению в поддержании связи с иностранными разведками и шпионаже против СССР». Следственный изолятор, снова тюрьма. На этот раз — советская. После первых допросов Павел Павлович снова, как когда-то в Париже, попросил лист бумаги. В письме к руководителю Лубянки он писал:
«За 17 лет заграничной работы мне пришлось выполнить много ответственных заданий. За эту работу я получил только благодарности. В голове моей не укладывается, как могли меня всерьез подозревать в преступной деятельности против родины. Излишне говорить, какую нравственную боль мне причинило такое подозрение».