Юзеф ходив до російської гімназії. Шкіл з іншими мовами викладання тоді в Литві просто не було. «Апухтінська», як її називали, школа не лише русифікувала. Головною метою виховання було переконати дітей у другосортності польської мови та культури, довести їм, що життєвий успіх можна осягнути лише на «общєрусскіх» шляхах. Когось ця школа ламала і на ціле довге майбутнє життя робила безхребетним конформістом. Пілсудський же щодня йшов до гімназії як на бій. Саме зі школи він виніс на все життя стійку ненависть не тільки до царя та його слуг, а й до Росії як такої, до російської мови та культури, які він, до речі, дуже добре знав.
Будучи ще гімназистом-старшокласником, він вирішив присвятити все своє життя одній-єдиній меті — руйнуванню Російської імперії. Не тільки відродженню Польсько-Литовської держави, а й звільненню від російського панування всіх поневолених імперією народів. І на відміну від багатьох, дуже багатьох романтичних юнаків не занехаяв через кілька років своїх ідеалів під тиском життєвих обставин. До досягнення сформульованих ще в юності цілей він методично й уперто йшов усе своє довге життя.
У біографії молодого Пілсудського можна провести чимало аналогій з життєписом іншої непересічної фігури XX століття… Володимира Ульянова (Леніна). Так само, як і «вождя світового пролетаріату», Пілсудського за участь у студентських заворушеннях було виключено з першого курсу університету, до якого він уже більше ніколи не повернувся. Леніна виключали з Казанського університету, а Пілсудського — з Харківського, росіянина — з юридичного факультету, а литвина — з медичного. Але обидва назавжди залишили свою альма-матер у віці 18 років. Та оскільки Пілсудський був на три роки старший від Ульянова, то сталося це на три роки раніше — 1885 року. А вже через два роки Пілсудського було засуджено за підготовку замаху на російського царя Олександра III — саме за цей злочин було страчено старшого брата Леніна — Олександра. У випадку Пілсудського суд не мав практично ніяких доказів, відтак він, порівнянно з Ульяновим-старшим, відбувся легко — його «лише» вислали на 5 років до Сибіру, до Кіренська та Тунки. На відміну від Ульянова, який відправився цим же маршрутом за кілька років, Пілсудський не отримував практично ніякої матеріальної підтримки з дому, отож заробляв собі на хліб, навчаючи місцевих дітей іноземних мов та математики. Свого войовничого норову «останній шляхтич» не зрадив і в Сибіру — з трьох років заслання півроку він відсидів у в’язниці — за організацію кампанії непокори засланців царській адміністрації.
Після повернення із заслання 1890 року Пілсудський став одним із найактивніших діячів польського соціалістичного руху, а через кілька років — одним з батьків-засновників Польської соціалістичної партії — ППС. Сталося це за рік до того, як молодий Ленін — тоді ще Ульянов — заснував перший зародок марксистської партії в Росії — «Союз боротьби за визволення робітничого класу». Незабаром колишній сибірський засланець створив і став головним редактором підпільної соціалістичної газети «Роботнік», яка стала центральним органом ППС, «колективним агітатором та організатором». Протягом двох десятиріч Пілсудський був одним із лідерів польських соціалістів. Його біографи ще й досі ламають списи навколо питання: чи справді він у молоді роки щиро перейнявся вченням Маркса і завданнями звільнення працюючого люду від капіталістичної експлуатації, а чи тільки розглядав соціалістичний рух як своєрідного «коня», який міг вивезти його до досягнення головної мети — здобуття Польщею незалежності і знищення Російської імперії? Адже в ті десятиріччя практично всі несоціалістичні партії в російській Польщі та Литві стояли на угодовських позиціях і співробітничали з царським урядом, сподіваючися лише за сприятливого збігу обставин виторгувати у росіян якусь обмежену автономію в рамках імперії. Найпотужніша і найвпливовіша з цих партій — народові демократи, ендеки — підтримувала ідею «об’єднання всіх польських земель під скіпетром Романових» і обстоювала приєднання до Російської імперії австрійської Галичини та німецької Познані. Отож єдиною силою, що була готова не просто боротися проти Росії, а й боротися зі зброєю в руках, були соціалісти. Втім, і серед них єдності в цьому питанні не було. Якщо ППС розглядала завдання соціального та національного визволення як рівною мірою важливі, то інша партія — Соціал-демократія Королівства Польського та Литви (в її лавах «виховувалися», зокрема, одна із засновниць комуністичного руху в Німеччині Роза Люксембурґ та творець ВНК-ОГПУ-НКВС-КДБ «залізний» Фелікс Дзержинський) звинувачувала «пепесяків» у націоналізмі і близько до серця прийняла відоме твердження Маркса «Пролетаріат не має вітчизни».