По окончании университета в 1912 г. он, однако, увлекшись идеями сионизма, уехал из России в Палестину, находившуюся тогда под властью турецкой Османской империи, но сохранил российское подданство. Когда в 1914 г. Турция, в союзе с Центральными державами, вступила в войну против России, проживавшим в Палестине 85 000 евреев было предложено принять турецкое подданство.
Интересно, что Трумпельдор решительно отказался и был на турецком корабле вывезен в Александрию (зону английского влияния, хотя формально Египет также считался частью Османской империи). В конце 1914 г. Трумпельдор встретился с прибывшим в Египет лидером т. н. «сионистов-ревизионистов» Владимиром (Зеевом) Жаботинским и внес предложение сформировать еврейского полка в рядах британской колониальной армии. Поначалу дело ограничилось созданием еврейского транспортного отряда численностью 650 человек (и 750 мулов) под командованием британского подполковника Паттерсона. Трумпельдор, получивший сразу чин капитана английской армии, стал его заместителем.
Еврейский отряд официально назывался «Сионским корпусом погонщиков мулов» и имел собственное знамя с изображением шестиконечной «звезды Давида» (могендавида, ставшего к тому времени символом иудейской религии и сионизма), неофициально — «Еврейским легионом».
Бойцы легиона участвовали в боях с турками в ходе неудачной Галлиполийской операции 1915 г. и были эвакуированы с залитого кровью полуострова в Александрию одними из последних. В июле 1917 г. Временное правительство Керенского дало английским «союзникам» разрешение мобилизовать проживавших на территории Британской империи российских граждан, в т. ч. и евреев. Жаботинский (имевший чин британского сержанта) и капитан Трумпельдор начали формировать в Англии состоявший из российских граждан Еврейский полк (вскоре достигший численности 1200 штыков). Но, когда полк был сформирован, его командиром был назначен все тот же полковник Паттерсон, а Трумпельдору и Жаботинскому предложили стать рядовыми.
Иностранец не мог быть офицером полка регулярной британской армии (в отличие от «Корпуса погонщиков мулов», считавшегося, несмотря ни на что, нестроевой частью). Между тем в России при Временном правительстве начали, как грибы, расти «национальные части» (латышские, польские, украинские, чехословацкие и пр.). Иосиф Трумпельдор решил попытать счастья и добиться от А.Ф. Керенского разрешение на формирование еврейской национальной части. С этой целью он отправился в Россию.
Однако убедить Временное правительство в необходимости сформировать «Еврейскую Армию» на Кавказском фронте (с тем, чтобы оттуда пробиться в Палестину) Трумпельдору так и не удалось. Тогда он занялся формированием из российских евреев т. н. «халуцев» («пионеров», «первопоселенцев») для колонизации Палестины «га основе производительного труда и сознательного коллективизма».
Написав и опубликовав в 1918 г. брошюру «Халуц, его сущность и ближайшие задачи», Трумпельдор занялся в 1918–1919 гг. переправкой «халуцев» из северных районов России (Петрограда и Белоруссии) на черноморское побережье и организации там учебно- тренировочных лагерей («Хахшары»). Занимаясь переправкой своих «пионеров» морским путем, Трумпельдор лично вел переговоры и с белыми, и с красными властями. И. видимо, успешно, раз умудрился при этом остаться в живых. В августе 1919 г. он и сам отплыл из Ялты в оккупированный войсками Антанты Константинополь, где пробыл 3 месяца, организуя перевалочный пункт для переселенцев в Палестину — «Новый Путь» («Месила Хадаша»).
В октябре 1919 г. Трумпельдор объявился в Земле обетованной, жившей под знаком разгоравшейся войны между оккупировавшими Сирию (на управление которой, а также Ливаном, Франция получила «мандат» от Лиги Наций) французскими войсками и обманутым Антантой арабским эмиром Фейсалом (знаменитым другом британского разведчика Лоуренса Аравийского, получившим за свою помощь «союзникам» в войне против турок не «новый арабский халифат от Красного моря до Средиземного», как ему было обещано, а «фигу с маслом» и «еврейский национальный очаг» в Палестине!).
Вождь воинственных бедуинов Фейсал стал знаменем арабского национализма (в чем, кстати, Лоуренс Аравийский — ярый антисемит, погибший в 1935 г. при неясных обстоятельствах в дорожно-транспортном происшествии накануне своего переезда в гитлеровскую Германию по приглашению адмирала Канариса, предложившего ему должность начальника ближневосточного отдела абвера! — своего друга-эмира всецело поддерживал), открыто претендовавшего на всю Палестину, которую именовал «Южной Сирией» («мандат» на управление которой Лига Наций вручила Англии).