По мере того как страна возрождала свою экономику и искала возможность возобновить контакты с внешним миром, казалось все более очевидным и естественным, что для этих целей она должна действовать как единое целое. Хотя формально, а иногда и фактически тщательно соблюдалась автономия на местах, в РКП(б), к которой присоединились местные партии, существовала единая дисциплина, и основные решения относительно экономической и внешней политики принимались в Москве. В качестве первого шага было необходимо склонить три Закавказские республики — Армению, Грузию и Азербайджан — к объединению в Закавказскую Социалистическую Федеративную Советскую Республику. Позже, в декабре 1922 года, состоялись съезды четырех республик — РСФСР, Украинской, Белорусской и Закавказской, которые проголосовали за создание Союза Советских Социалистических Республик (СССР). И наконец, делегаты от этих четырех республик собрались все вместе, провозгласили свой съезд первым съездом Советов СССР и избрали комиссию для подготовки проекта конституции. В июле 1923 года Конституция СССР была одобрена и затем формально ратифицирована в январе 1924 года на II съезде Советов СССР.
Эта конституция была составлена по образцу конституции РСФСР. Высший орган государственной власти — Всесоюзный съезд Советов — состоял из делегатов республиканских съездов Советов, представительство в нем было пропорционально населению каждой из республик. Съезд избрал Центральный Исполнительный Комитет (ЦИК), который назначил состав Совнаркома СССР. Функции Совнаркома определить довольно сложно. Иностранные дела, внешняя торговля, военные вопросы и борьба с контрреволюцией, осуществляемая ВЧК, теперь переименованной в Объединенное государственное политическое управление (ОГПУ), были закреплены исключительно за союзным руководством, в каждой республике имелось свое ГПУ, которое, однако, подчинялось непосредственно ОГПУ. Большинство экономических вопросов находилось в ведении системы объединенных комиссариатов; были комиссариаты общесоюзные, республиканские, причем последние обладали некоторой степенью независимости. В отдельных сферах управления — сельским хозяйством, внутренними делами, здравоохранением и образованием — над республиканскими комиссариатами не стояли общесоюзные комиссариаты. По форме СССР был федерацией республик. Но отсутствие в его названии слова «федеративный» было, по-видимому, неслучайным, поскольку с самого начала были очевидны центростремительные тенденции. В РСФСР проживало свыше 75 % населения Союза, а на долю территории РСФСР приходилось 90 % территории Союза. У других республик были основания подозревать, что СССР — это всего лишь расширенный вариант РСФСР, рычаг для подчинения их централизованной власти Москвы. В комиссии, готовившей проект новой конституции, раздавались голоса протеста, особенно со стороны украинских и белорусских депутатов.