Экономические и политические трудности способствовали разобщению армейских частей, но командование армии прикладывало все свои силы для сохранения связи со всеми бывшими чинами армии. Началась работа по переформированию кадров различных воинских частей в различные союзы и общества. 1 сентября 1924 г. генерал Врангель собрал высших чинов Русской армии в городке Сремские Карловцы. На этом собрании Врангель огласил проект приказа о создания Русского Общевоинского союза (РОВС), образуемого для консолидации всех бывших военнослужащих императорской и белых армий. Большинство собравшихся генералов поддержали главнокомандующего, и его проект стал приказом № 35. В этот же день было принято временное положение о РОВСе, в первом параграфе которого значилось, что союз образуется с целью «объединить русских воинов, рассредоточенных в разных странах, укрепить духовную связь между ними и сохранить их как носителей лучших традиций и заветов русской Императорской Армии»{1085}.
В структуре РОВСа было образовано 5 территориальных отделов. В состав 1 отдела входили союзы и общества, располагавшиеся в Бельгии, Великобритании, Дании, Италии, Чехословакии, Финляндии и Франции. В состав II отдела входили организации, располагавшиеся в Венгрии и Германии, а в состав III — расположенные в свободном городе Данциге, Латвии, Литве, Польше и Эстонии. IV отдел был создан для организаций, располагавшихся в Королевстве сербов, хорватов и словенцев (Югославия) и Греции. В состав V отдела входили организации, расположенные в Болгарии и Турции. В дальнейшем во внутренней организации РОВСа произошли многочисленные изменения, что стало недавно предметом для отдельного исследования{1086}. Для придания РОВСу большого веса в среде эмиграции генерал Врангель обратился к великому князю Николаю Николаевичу с просьбой принять пост почетного председателя РОВСа. Затем начались переговоры с великим князем о финансировании РОВСа и усилении антисоветской работы. К сожалению, в окружении Николая Николаевича и генерала Врангеля нашлись интриганы, противостоящие консолидации русских национальных сил.
На начальном этапе существования Врангелю удавалось финансировать деятельность союза и его руководства. После передачи всех финансовых средств организации Николаю Николаевичу РОВС начал испытывать дефицит денежных средств. Правда, в то время начался всемирный финансовый кризис и поэтому списывать денежные трудности РОВСа на неумелое руководство не приходится. 12 января 1926 г. генерал Врангель был информирован о прекращении сметных ассигнований, выделяемых великим князем на РОВС{1087}. Несмотря на кажущийся финансовый крах, организации РОВС продолжали функционировать, постоянно сокращая свои и без того скудные расходы.
После смерти генерала Врангеля в апреле 1928 г. новым руководителем РОВСа стал один из героев Гражданской войны и руководитель антисоветской работы (т. н. Кутеповской организации) при великом князе генерал от инфантерии Александр Павлович Кутепов. Кутепов с новой силой взялся за консолидацию Русского военного Зарубежья в рядах РОВС. К членству были привлечены бывшие военнослужащие флота и казачьи войска. Заметно расширилась география союза, количество членов возросло до 50–60 тыс. человек{1088}. Важным аспектом деятельности РОВСа была его антисоветская работа, которая особенно активизировалась при генерале Кутепове. Он активно содействовал всевозможным антисоветским акциям, в том числе и откровенно террористическим. Боевики Кутепова много раз проникали в СССР из Финляндии с целью проведения диверсий. В СССР громкие антисоветские акции белоэмигрантов периода 1927–1928 гг. связывали непосредственно с Кутеповым. Активная антисоветская позиция генерала и его безусловное лидерство в военной эмиграции после смерти Врангеля и великого князя стали главными причинами для того, чтобы советские спецслужбы начали готовить операцию по его физическому уничтожению.
26 января 1930 г. в Париже с помощью предателя — генерал-майора Павла Павловича Дьяконова — советскими агентами был похищен генерал Кутепов. Дьяконов сумел выманить главу РОВСа на тайную встречу с одним из иностранных спонсоров. Генерал Кутепов был усыплен советскими агентами, и они стали готовить его к тайной отправке в СССР, однако сердце генерала не выдержало, и он умер на руках своих похитителей.
29 января 1930 г. на встрече общественных и военных деятелей эмиграции в Париже новым руководителем РОВСа был избран бывший главнокомандующий белым Северным фронтом генерал-лейтенант Евгений Карлович Миллер. Генерал Миллер продолжил работу своих предшественников по реорганизации РОВСа. В апреле 1930 г. для персонального учета чинов союза были введены личные учетные карточки и книги учета личного состава{1089}. Месяцем ранее в Брюсселе для работы с эмигрантской молодежью была образована Военно-учебная группа Русской дворянской молодежи, позже переформированная в Русскую стрелковую генерала Врангеля дружину. Также был урегулирован вопрос уплаты членских взносов чинами союза.
Генерал Миллер был одним из ближайших сотрудников генерала Врангеля, и его назначение на пост руководителя РОВСа было закономерным. Однако в отличие от предыдущих лидеров союза Евгений Карлович был мало известен основной массе чинов РОВС — в годы Гражданской войны он сражался с большевиками на Севере, а большая часть чинов РОВСа — на Юге России. Генерал Миллер был хорошим командиром, неплохим организатором, но имел очень мягкий характер. Для упрочения своего положения и ознакомления с членами союза генерал Миллер во 2-й половине 1930 г. совершил ряд инспекционных поездок по отделам. Генералом Миллером была предпринята попытка повысить уровень подготовки офицеров РОВСа. С этой целью в конце 1930 г. с одобрения Миллера началась широкомасштабная работа по организации различных курсов повышения квалификации офицеров в Париже и Белграде. В сентябре 1931 г. были открыты и унтер-офицерские курсы при отделении Общества Галлиполийцев в Варне{1090}.
В самом начале 1932 г. судьба нанесла очередной удар по финансовому положению организации. Незадолго до этого генерал Миллер вложил значительную часть капитала РОВСа в шведскую спичечную компанию Ивара Крегера, надеясь на обещанную шведами прибыль. В марте 1932 г. компания Крегера разорилась, а он сам покончил жизнь самоубийством. Возможно, помещение капитала РОВСа в шведскую компанию и последовавший вслед за этим финансовый крах компании были осуществлены при непосредственном участии агентов советского ГПУ. Совокупные потери РОВСа в результате этой сделки составили 7 000 000 франков{1091}. Но это были еще не все потрясения, выпавшие на долю РОВСа в 1932 г. В течение 1932 г. отделы союза были потрясены несколькими скандалами. Ряд известных генералов из руководства союза были сняты со своих постов и исключены из РОВСа. Причинами этого стала критика в адрес непосредственного руководства и активное участие в политической жизни. В ноябре 1932 г. на совещании руководства союза по итогам года шесть старших начальников союза выступили с острой критикой методов антисоветской работы, проводимой союзом. Несмотря на трудности, РОВС продолжал свою деятельность. Организовывались и новые подотделы.
В 1933 г. обстановка в рядах РОВСа стала еще более взрывоопасной. Наметился разрыв между начальником I отдела союза генерал-лейтенантом Павлом Николаевичем Шатиловым и Миллером. Причиной для этого стало близкое сотрудничество Шатилова с тайной организацией союза (т. н. Внутренней линией) и сбор компромата последней на всех руководителей РОВСа. Кроме того, многие подозревали генерала Шатилова в желании лично занять пост руководителя союза. Сам генерал Шатилов считал, что руководство союза состарилось и его новаторским идеям противостоит ряд консервативных генералов: «Во многом виноват возрастной состав участников центрального аппарата»{1092}.