Из «централки» Иосифа перевели в известную строгостью режима виленскую тюрьму Лукишки. Именно там, в апреле 1933 года, он узнал о смерти матери, близкого дорогого человека. Ничто не предвещало несчастья, оно обрушилось на него внезапно. Из заключения был освобожден один из сокамерников Григулевича. Зная, что у того нет своего угла в Вильнюсе, Иосиф посоветовал ему остановиться на квартире у своей матери. Гость рассказал всё о тюрьме и бесчеловечных условиях содержания заключенных. Разговор оказался для Надежды Лаврецкой роковым. Она была настолько потрясена услышанным, что сердце не выдержало. Ей было 47 лет.
Иосиф остался один на один с суровой действительностью. Отец не мог помочь из далёкой Аргентины ни материально, ни морально. Приехать он тоже не мог, поскольку и польские и литовские власти были прекрасно осведомлены: в дни большевистского переворота в Петрограде Григулевич-старший был среди красногвардейцев и принимал активное участие в установлении советской власти.
«В марте 1933 года следствие было закончено. Примерно через два месяца в Вильнюсском окружном суде разбиралось дело по обвинению бывших учащихся гимназии им. Витаутаса Великого: Д. Пумпутиса, Ю. Григупявичуса, Ю. Айдуписа, К. Мацкявичуса и студента И. Каросаса. Все они обвинялись в принадлежности к коммунистической партии и в распространении идей коммунизма. Первых двух — Д. Пумпутиса и Ю. Григулявичуса — суд признал виновными и осудил на 2 года тюремного заключения условно. Трёх остальных и студента оправдали».
Обвинителем на суде выступал прокурор пан Ястржембский, председательствовал судья пан Лимановский. Обвиняемых защищали четыре адвоката. Обвинитель Пиотровский (Григулевич назвал именно его, а не Ястржембского), «бывший белогвардеец, перешедший на службу к пилсудчикам», пытался доказать, что на скамье подсудимых находятся экстремисты и отщепенцы, представляющие реальную угрозу для безопасности Речи Посполитой. Адвокаты старались представить своих подзащитных идеалистами-правдоискателями, будущими светилами Литовского научного общества и литовской культуры. Выступил в свою защиту и сам Иосиф:
«Будучи ни в чём не повинным 19-летним парнем, я подвергся аресту и был посажен в тюрьму, где господствует произвол охранников, где к политическим заключенным относятся хуже, чем к уголовникам. Хотя я был подследственным и моя вина не была ещё доказана судом, ко мне применялся режим каторжника, меня заковывали в наручники, подвергали избиениям. По мнению начальников Лукишской и Стефановской тюрем и прокурора Пиотровского, я должен был сносить эти надругательства с христианским смирением, чтобы доказать, что не являюсь коммунистом. Я, однако, считал своим долгом протестовать против тюремного произвола и не боялся этого делать, так как совесть моя была чиста…»
Выйдя из тюрьмы, Иосиф снова включился в подпольную партийную работу, а в августе 1933 года был неожиданно вызван повесткой в прокуратуру, и ему в двухнедельный срок предложили покинуть Польшу. Поскольку Григулевич в Польше был уже сильно заметной личностью, Литовское комсомольское бюро рекомендовало ему выехать через Варшаву в Париж, где находился один из польских центров эмиграции.
«Я мог бы уехать в Советский Союз, и это было бы для меня величайшим счастьем, — отмечал Григулевич в своих воспоминаниях, — но я видел свой долг в продолжении борьбы против капитала и фашизма».
В Варшаве, на пути во Францию, Григулевич впервые соприкоснулся с деятельностью Международной организации помощи революционерам (МОПР). На явочной квартире ему передали контактные адреса, деньги на поездку и паспорт с «железной» визой, во Францию. В начале октября 1933 года Иосиф прибыл в Париж и, не теряя времени, отправился на встречу с представителем польской компартии во Франции 3. Модзалевским, который взял новичка под опеку».
Модзалевский помог Иосифу поступить в Высшую школу социальных наук Сорбонны и ввел в польскую редколлегию журнала МОПР. Он поставил перед Гршулевичем задачу: «Приобретай опыт международной политической работы, чтобы в будущем тебе можно было давать более серьёзные партийные поручения», Иосиф колесил по французской столице и её пролетарским предместьям, совершенствуя своё ораторское мастерство на митингах и встречах. В кампании за политическую амнистию в Польше он постоянно выступал первым. «Тяжелая артиллерия» — секретарь ЦК КПФ Жак Дюкло, писатель-пацифист Анри Барбюс, друг Маркса Шарль Раппопорт — выступала последней, «на бис», как вспоминал потом Григулевич.