С русской стороны инициатива формирования этой воинской части принадлежала берлинскому эмигранту, радиоинженеру Сергею Никитичу Иванову. Используя свои связи в среде немецкого военного руководства, Иванов предложил сформировать русскую часть для ведения антисоветской борьбы и последующего создания армии «Новой России».
Формирование части было построено по следующим принципам:
1. Формирования носят русский национальный характер, их основная задача — антибольшевистская борьба.
2. Офицеры и солдаты — русские.
3. Внутренний распорядок и проведение занятий ведутся на русском языке.
4. Униформа и снаряжение должны быть также русскими.
5. Все, попавшие в плен к новому формированию, рассматриваются прежде всего как пополнение, а не как потенциальные узники концлагерей.
6. У формирования должна быть возможность развернуться в крупное боевое соединение.
7. Формирование существует как первый шаг к определению лидера русского антисоветского правительства (желательно из числа советских военнопленных генералов).
Все эти идеи также нашли поддержку у абвера.
В марте 1942 года С. Н. Иванов заручился поддержкой командующего группы армий «Центр» фон Клюге и получил у него разрешение на отбор военнопленных из концлагерей, располагавшихся в тылу группы армий «Центр». В ставке верховного командования проект был утвержден. В Смоленске разместилась организационная группа, состоящая из соратников Иванова. В нее входили эмигранты: К. Г. Кромиади, И. К. Сахаров, И. Юнг, В. Ресслер, священник о. Гермоген (Кивачук), граф Григорий Ламсдорф, граф С. Пален, граф А. Воронцов-Дашков, В. Соболевский. От немецкой стороны присутствовали представитель ставки обер-лейтенант Бурхардт с командой связи из 20 солдат, от разведки начинание курировал начальник абверкоманды-203 подполковник фон Геттинг-Зеебург.
Из этих людей был сформирован штаб акции, куда вошли сам С. Н. Иванов (псевдоним Граукопф — «Седая голова») — руководитель акции, И. К. Сахаров (псевдоним Левин) — заместитель Иванова, К. Г. Кромиади (псевдоним Санин) — комендант штаба.
В последующем начинание получило наименование «Русской национальной народной армии» (РННА), в донесениях советской разведки называется также «Зондервербанд «Граукопф» — спецподразделение «Седая голова», а также «Операция «Граукопф».
Местом постоянной дислокации был избран поселок Осинторф, располагавшийся в 6 километрах от станции Осиновка на железной дороге Орша — Смоленск в Белоруссии. В распоряжение «Граукопфа» был предоставлен заброшенный поселок торфоразработчиков, до войны рассчитанный на 10 тысяч рабочих.
Первая партия военнопленных из 20 человек послужила основанием для дальнейшего развертывания части.
Прием людей из лагерей шел на основе их добровольного желания. Агитаторы из РННА разъезжали по лагерям и выступали перед военнопленными, объясняя им задачи формирования. После записи шел отбор пригодных, который в основном сводился к беседе и последующему отсеву негодных кандидатур — ими считались летчики и танкисты. Этому способствовало предубеждение эмигрантов, убежденных в том, что эти рода войск РККА комплектуются исключительно надежными комсомольцами и коммунистами.
Начальник штаба РННА полковник Кромиади объезжал концлагеря, отбирая людей. Картина всюду была устрашающая — по немецким данным, за зиму 1941/42 года в лагерях умерло 80–90 % военнопленных. В связи с таким положением в добровольцах недостатка не было. Некоторые авторы сообщают, что РННА была укомплектована в основном бывшими советскими военнослужащими из состава 33- й армии, 4-го воздушно-десантного и 1-го Гвардейского кавалерийского корпусов.
К осени 1942 года РННА была укомплектована бывшими советскими командными кадрами, и при надобности на ее базе можно было бы развернуть целую дивизию. Батальоны стояли в Осинторфе в гарнизонах «Москва», «Урал», «Киев», «Березино», «Шклов», подчинявшихся коменданту штаба К. Г. Кромиади. При этом была предусмотрена возможность развертывания каждого батальона до полка. К августу 1942 года РННА насчитывала 1500 человек. На вооружении у личного состава были винтовки Мосина и «СВТ», 180 ручных и 45 станковых пулеметов, 24 миномета, батарея 76-мм орудий (8 шт.), 45-мм орудия (8 шт.) и 2 бронемашины (БА-10 и БА-20). Существовало свое авиационное звено, но без самолетов.