Первого ноября 1922 года Кутепов писал в Белград Александру Александровичу Лодыженскому (в войну тот был начальником канцелярии гражданского управления Императорской ставки):
«Я окончательно убедился, что работать на наше общее дело можно, и если не сидеть сложа руки, то результаты будут огромные.
Великий князь Николай Николаевич уже не ждет того момента, когда к нему обратится весь русский народ, а готов встать во главе национального движения, когда к нему обратятся: национальные комитеты, парламентские комитеты, промышленные круги и монархисты. Я решил переговорить со всеми этими организациями. А приехав сюда, принимаю все меры, чтобы Петр Николаевич немедленно командировал генерала Миллера с кем-нибудь к Великому князю Николаю Николаевичу, чтобы уговорить его принять представителей организаций хотя бы секретно; затем надо поехать в Париж, где организовать это паломничество.
Сейчас почти во всех иностранных государствах растет сознание, что с советской властью иметь дело нельзя, поэтому они начинают искать антибольшевистскую организацию, но, к великому нашему стыду, такой найти не могут. Для меня ясно, что наступил момент создания сильной и авторитетной организации».
А Петр Николаевич Врангель отказался заниматься тайной работой против Советской России, чтобы не испачкаться. Писал генералу Миллеру 29 июля 1923 года: «Всю жизнь я привык нести ответственность за свои действия и никогда не подписывал имени моего внизу белого листа, хотя бы этот лист был в руках самого близкого мне человека».
Здесь их пути с Кутеповым разошлись. Более того, они почти что возненавидели друг друга. В начале 1924 года Петр Николаевич писал генералу Шатилову о Кутепове: «Вот уже год, как он сидит здесь, ничего не делая и отказываясь от всякой работы, мною предлагаемой. В то же время он пытается самостоятельно что-то делать, то посылая каких-то своих представителей в Балтийские страны, то пытаясь вести свою разведку в России. Всё это лишь затрудняет мою работу и дает повод к созданию слухов о каких-то расхождениях в верхах Армии».
В эмиграции Павел Николаевич Шатилов очень сблизился с Врангелем. Выпускник Академии Генштаба, Первую мировую Шатилов завершил генерал-квартирмейстером штаба Кавказской армии. Деникин поручил ему командовать 4-м конным корпусом, в мае 1919 года произвел в генерал-лейтенанты. В декабре 1919 года назначил начальником штаба Добровольческой армии. Такую же должность Шатилов занимал у Врангеля, который произвел его в генералы от кавалерии, — возможно, в благодарность за то, что тот помог сместить Деникина с поста главнокомандующего и занять его место.
Врангель обосновался в городке Сремские Карловны, где находился патриарх Сербской православной церкви. Весь штаб разместился в нескольких комнатах. Начальником штаба был генерал Федор Абрамов, его помощником стал ротмистр Юрий Асмолов, генерал-квартирмейстером — генерал Павел Кусонский, полицейской частью руководил бывший директор Департамента полиции генерал-лейтенант Евгений Константинович Климович (в Крыму он заведовал особым отделом штаба главнокомандующего).
Врангель искал способ сохранить организационную структуру русской армии в ситуации, когда европейские страны потребовали распустить русские вооруженные формирования, оружие сдать и вернуться к мирной жизни.
В ноябре 1923 года он писал генерал-майору Алексею Александровичу фон Лампе в Берлин: «Полгода, как трехцветное знамя свернуто, как на него надели чехол защитного цвета и тщательно спрятали в цейхгауз. Боюсь, что ежели его оттуда не извлекут и вновь не развернут, те, кто шел за ним, разбредутся. Дай Бог, чтобы этого не случилось».
Первого сентября 1924 года приказом № 35 Петр Николаевич Врангель основал Русский общевоинский союз (первоначальное название Обще-Офицерский):
«Продолжая заботы по объединению зарубежного офицерства Русской Армии, в прошлом году я предоставил возможность всем офицерским союзам войти в ее состав…
Считая своим долгом в новых формах бытия Армии связать возможно теснее всех тех, кто числит себя в наших рядах, приказываю:
1) Образовать Русский Обще-Воинский Союз…
2) Включить в РОВС все офицерские общества и союзы, вошедшие в состав Русской Армии, все воинские части и войсковые группы, рассредоточенные в разных странах на работах, а также отдельные офицерские группы и отдельных воинов, не могущих по местным условиям войти в какие-либо офицерские общества…