В конце августа 1941 года в лагерях для военнопленных начали работать специальные комиссии Министерства по делам оккупированных восточных территорий (Восточного министерства), которые занимались отделением тюркских военнопленных от других (под тюркскими, при всей запутанности их идентификации, понимались все народы Поволжья, Средней Азии, Кавказа, в том числе, как это ни странно, таджики, армяне, грузины и разные другие малочисленные народности Северного Кавказа). Было создано от 25 до 30 таких комиссий общей численностью от 500 до 600 человек (в основном состоявшие из немцев и многократно проверенных представителей довоенной эмиграции).
14 октября появился официальный приказ ОКВ об отделении тюркских военнопленных и размещении их в специальных сборных лагерях, создававшихся тогда на оккупированных территориях Польши, Прибалтики, Белоруссии и Украины. Такие «отделенные» продолжали считаться по своему статусу военнопленными, положение их в принципе менялось мало, но в значительной степени усиливалась их пропагандистская обработка.
31 октября 1941 года ОКБ сообщал о первых итогах работы: число отделенных и зарегистрированных тюркских военнопленных достигло 55 тысяч. Из них для сотрудничества комиссиями Восточного министерства было отобрано 5600 человек.
Почти параллельно, но без какой-либо санкции сверху пошли абвер и командование отдельных военных частей. 6 октября 1941 года генерал-лейтенант Вагнер от имени ОКХ дал директиву командующим тылами в районах действий групп армий «Север», «Центр» и «Юг» в порядке опыта создать из военнопленных казачьи добровольческие сотни и использовать их в борьбе против партизан, что фактически и стало «днем рождения восточных отрядов». Опыт этот, вероятно, удовлетворил германское командование, и 15 ноября 1941 года ОКХ отдало приказ командующему тылом группы армий «Юг» создать при каждой дивизии по одной сотне из «военнопленных туркестанской и кавказской принадлежности». Созданные сотни впоследствии были объединены в туркестанский полк (позднее переименован в «тюркский 444-й батальон»), который был задействован на охранной службе в районе устья Днепра и на Перекопе.
Осенью 1941 года возникли еще два довольно известных подразделения из представителей кавказских и среднеазиатских народов — это 450-й туркестанский пехотный батальон под командованием майора Андреаса Майер-Мадера и батальон «Бергман» («Горец») под командованием обер-лейтенанта Теодора Оберлендера. Эти соединения, однако, не вошли в состав сформированных чуть позже «Восточных легионов» и существовали впоследствии вполне автономно. Поправившись, Гитлер санкционировал создание «Тюркского легиона», а позднее и вовсе оформил свое решение специальной директивой ОКВ, по которой на территории Польши должны были быть созданы сразу четыре легиона из народов нерусской национальности: Туркестанский, Армянский, Грузинский и Кавказско-мусульманский.
Вербовка в легионы проводилась среди военнопленных в специальных переходных лагерях — дулагах (от немецкого Durchgangslager — переходный, транзитный лагерь), с использованием методов «кнута и пряника». Военнопленным наглядно давалось понять, какие прежде всего материальные «блага» сулит им переход на немецкую сторону — лучшее обеспечение, обмундирование, более свободные условия содержания в лагерях. Пропагандисты делали при этом основной упор на национальную самобытность военнопленных и те гонения, которым подвергались их религия и национальные языки в Советском Союзе.
В основных лагерях формировались сами легионы, а прибывшие в них военнопленные зачислялись в так называемые дополнительные (запасные) роты. Приказ ОКХ № 6953/42 от 24 апреля 1942 года предписывал, чтобы после прибытия в основной лагерь военнопленные обеспечивались так же, как и немецкие солдаты, при этом обращалось внимание на национальные особенности будущих легионеров (например, в питании). Они получали старое немецкое или же трофейное советское обмундирование. Военнопленные должны были как минимум один месяц находиться при таких дополнительных ротах под обязательным строгим контролем и проходить соответствующую подготовку и проверку на лояльность.
При комплектовании подразделений легионеров большое внимание уделялось не только подбору и расстановке кадров, в чем немцы были большие мастера, но и формированию «корпоративного духа» посредством соответствующих знаков различия. Так, легионеры должны были в обязательном порядке носить военную форму германского образца, однако кроме официальных иметь еще и свои собственные знаки различия своей национальной принадлежности: на правой стороне каски, на правом рукаве кителя или шинели и на воротнике кителя.