Починаючи з 1908 року польський соціаліст налагодив співпрацю з австрійським Генштабом. Австрійці сподівалися, що Пілсудський напередодні великої війни з Росією нейтралізує пропаганду народових демократів з російської Польщі, які прагнули «об’єднатися» з Галичиною у складі Росії; а після вибуху війни допоможе перетворити запальних польських патріотів на гарматне м’ясо, яке покірно вмиратиме за інтереси Габсбурґів. Пілсудський же розраховував, що австрійці не заважатимуть йому ідейно, технічно та фізично школити кадри для майбутнього польського війська, яке у великій європейській війні дійсно буде відважно битися з росіянами, але не за інтереси струхлявілої Дунайської імперії, а за власну державу.
Цей альянс викликав тоді і викликає досі чимало застережень морального характеру. Як міг такий патріот, як Пілсудський, співпрацювати з історичними ворогами своєї країни, «піти на службу» до тих, хто разом із росіянами та пруссаками за століття перед тим знищив і розділив Річ Посполиту? Та й імператору Францу-Йосифу якось непристойно зв’язуватися з соціалістом-терористом. Але політика — брудна річ. І кожна з двох сторін цинічно намагалася використовувати іншу у своїх цілях. Кому ж це вдалося краще? Відповідь відома: Австро-Угорська імперія безславно і безповоротно розпалася у листопаді 1918-го. А Пілсудському вдалося на руїнах трьох імперій відновити Польщу.
Велика війна, якої так очікував Пілсудський, вибухнула у липні 1914 року. І відразу ж він розвинув суперенергійну діяльність. Як результат, незабаром Відень дозволив сформувати у складі австрійської армії добровільні польські легіони (і українські, до речі, теж). Військовозобов’язані за власним вибором могли вступати до цих легіонів добровольцями або йти служити до звичайних «загальноавстрійських» частин. Цісар зовсім не відкрив зелену вулицю полякам та українцям у їхніх прагненнях створювати масові національні формування. Згідно з таємними розпорядженнями Відня місцева влада мала чинити все можливе, аби до Польського легіону та до Легіону Українських січових стрільців не йшли представники «нижчих» верств населення — робітнича та селянська молодь, які мали б служити в австрійських частинах. Легіони розглядали як «забавку» для національно свідомих молодих українців та поляків, перш за все студентів та гімназистів, які би просто так помирати за цісаря не пішли, а могли б навіть бути джерелом якихось антиавстрійських виступів. Відтак національні легіони з австрійського штабу були немовби пасинками — їм давали найгірше озброєння, ставили на найнебезпечніші місця в бою тощо. І хоча Пілсудському вдалося «виторгувати» в австрійців польського орла на кашкети своїх легіонерів, на рукавах вони змушені були носити жовто-чорну пов’язку — кольори Габсбурґів. День, коли Пілсудський був змушений почепити таку пов’язку, став, за його власним спогадом, днем найбільшого приниження в його житті. Пілсудському не вдалося отримати загального командування над усіма польськими легіонами. Формально він командував лише Першою бригадою. Проте він був «коханим Комендантом» для всіх легіонерів. І кожному з них передавалася непохитна віра Пілсудського, що легіонери проливають свою і чужу кров не заради чужого цісаря, а за власну батьківщину.
Легіони хоробро билися на фронті. Паралельно з цим Пілсудський створив із легіонерів і цивільних ПОВ — Польську військову організацію. Прикриттям перед австрійцями для неї була диверсійно-розвідувальна діяльність у російському тилу. Насправді ж «пеовяки» — еліта пілсудчиків, ті, кому Комендант беззастережно вірив і перед ким не приховував, що в будь-який слушний момент він готовий повернути зброю і проти австрійців. Коли визнає, що це буде в інтересах Польщі. Через п’ятнадцять-двадцять років бути пеовяком стало достатньою умовою, щоб майже автоматично увійти до складу еліти Польщі. На відміну від Леніна і Сталіна, Пілсудський і його спадкоємець Ридз-Смігли «членів партії з дореволюційним стажем» не розстрілювали.
У 1916 році явне небажання Пілсудського та легіонерів тягати каштани з вогню для Франца-Йосифа та Вільгельма II стало очевидним. Польські легіони було роззброєно й інтерновано, а самого Пілсудського ув’язнено в тюрмі німецького міста Маґдебурґ. Проте було вже пізно. Пілсудський встиг викувати кадри обстріляних військових-патріотів, злютованих в єдину, хоч і таємну організацію.