Важным этапом в становлении Пилсудского-политика становится русско-японская война. Он вступает в контакт с европейскими посольствами в Европе, добивается от военного атташе Японии в Лондоне финансирования разведывательной деятельности. Однако планы Пилсудского простирались много дальше: формирование в Японии польских легионов, разведывательная и диверсионная деятельность на территории России. Реализовать эти планы не удалось, но у Пилсудского появляются деньги для закупки оружия, амуниции и, главное, для относительно самостоятельной от ЦК ППС деятельности.
В годы так называемой первой русской революции Пилсудский создает организационно и финансово независимые боевые отряды, которые занимаются охраной рабочих демонстраций, террористическими актами и грабежом отделений государственного банка (с целью пополнения партийной кассы). Самыми известными их акциями стали освобождение из Варшавской тюрьмы приговоренных к смертной казни политических заключенных и «кровавая среда» 15 августа 1906 года, когда в результате нападений боевиков было убито около 80 полицейских и жандармов.
В это время в ППС происходит раскол. Созданная Пилсудским в марте 1907 года революционная фракция, во-первых, отстаивает радикальные методы борьбы, а во-вторых, не считает тесное взаимодействие с российским революционным движением необходимым условием освобождения Польши.
1908–1914 годы прошли под знаком подготовки польских военных кадров. Пилсудский мало заботится об условиях собственного существования, но зато свято верит в освобождение родины и свою роль в нем. Один из соратников как-то застал его сидящим за столом в одних кальсонах и раскладывающим пасьянс. (Единственные штаны были отданы портному, чтобы залатать дыры.) Между тем Пилсудский тогда сказал: «Я загадал, если этот пасьянс сойдется, то я буду диктатором…» Естественно, раскладывание пасьянса было далеко не единственным занятием Пилсудского. Он изучает военную историю и теорию, устанавливает связь с австрийской разведкой, которая в обмен на разведывательные данные помогает доставать оружие, позволяет размещать в Галичине тайные склады оружия и боевиков, скрывавшихся здесь от российских властей.
Накануне войны в Галичине создается Тайная комиссия организаций, борющихся за независимость. Она не только координировала деятельность патриотических кругов, но и в случае войны должна была взять на себя функции временного национального правительства. Пилсудский занимает в Тайной комиссии пост главного коменданта, которому подчинялись все вооруженные формирования. Многие другие важные посты занимали его ближайшие соратники.
С началом Первой мировой Юзеф Пилсудский оказывается в своей стихии. От войны он ожидает ослабления оккупировавших польские земли империй, прежде всего России. Уже 6 августа 1914 года Пилсудский во главе польских воинских формирований переходит российскую границу с целью поднять народное восстание в тылу русской армии. Однако большинство населения, украинцы, восприняло поляков как часть оккупационных австрийских войск. Тем не менее Пилсудский не унывает, а со всей энергией включается в формирование польских легионов в составе австрийской армии, одну из бригад которых сам и возглавил. Как раз тогда рождается легенда о Пилсудском-военачальнике. С одной стороны, на нее работали реальные кровавые сражения, в которых участвовали поляки, а с другой — она умело культивировалась самим же Пилсудским и его окружением.
Тем временем отношения с австрийскими и немецкими властями постепенно осложняются. Ни Вена, ни Берлин не спешили создавать на оставленных российскими войсками польских землях национальную администрацию. Попытки достигнуть компромисса завершились «кризисом присяги» в июле 1917 года. Польским легионерам предложили принять присягу на верность немецкому кайзеру. Вполне может быть, что Пилсудский и не делал бы из присяги проблему, если бы не коренные изменения в политической и военной ситуации. В России началась революция, в войну вступили США, предопределив исход мирового противоборства, изменились настроения и на польских территориях. Дальнейшее сотрудничество с Германией становилось малоперспективным. Легионы, отказавшиеся принять присягу, немцы разоружили, а Пилсудского, как и других командиров, отправили в тюрьму Магдебурга.
Пробыл Пилсудский в тюрьме чуть больше года. В октябре 1918 года созданный немцами как прототип польской власти Совет регентов обращается к канцлеру Германии Максу Баденскому с просьбой освободить из-под ареста Пилсудского. Последний прибывает в Варшаву в разгар германской революции и обстановки неопределенности в Польше, получает от Совета регентов пост главнокомандующего польскими вооруженными формированиями и пост главы правительства. 22 ноября 1918 года созданное Пилсудским правительство, несмотря на конкуренцию со стороны других образовавшихся государственных национальных центров, провозглашает его временным руководителем государства.