В 1921–1923 гг. боевая подготовка осуществлялась в составе сводных учебных отрядов, в которые включались все боеготовые на тот момент корабли на каждом из театров. В 1922 г. состоялись первые зарубежные визиты советских кораблей. В том же году на Балтийском море и в 1923 г. на Черном море впервые после окончания Гражданской войны проводились общефлотские маневры. В 1924 г. были сформированы постоянные соединения флота – на Балтийском море дивизия линкоров, бригады эсминцев, подводных лодок, траления и заграждения, на Черном море – отдельные дивизионы эсминцев, подводных лодок, тральщиков, сторожевых и минных катеров. С летней кампании 1924 г. подготовка сил флота стала строиться на плановой основе в три этапа: подготовительный, учебно-боевой и заключительный.
Одновременно были приняты меры по укреплению флота кадрами (в первую очередь партийными), при общем сокращении численности личного состава. Уже к 31 декабря 1921 г. личный состав РККФ сократился с 86,6 тыс. (на начало года) до 41,2 тыс. человек. Большую материальную, кадровую и политическую помощь флоту оказал его шеф – комсомол (шефство установлено V съездом РКСМ 16.10.1922). В ходе добровольных мобилизаций и плановых призывов на флот до 1928 г. пришло более 18,5 тыс. комсомольцев.
В начале 20-х гг. проводилась работа по обобщению опыта Первой мировой войны на море, а также уточнение роли и места флота в военной организации государства. Этому способствовали дискуссии: «Какой РСФСР нужен флот?» (в 1922), «Флот морской или флот воздушный» (в 1922–1923), содержание которых можно почерпнуть из работ М. С. Монакова.
Ставший в январе 1925 г. наркомом по военным и морским делам М. В. Фрунзе дал высокую оценку состоянию флота и перспективам его развития: «…Реввоенсовет твердо и незыблемо стоит на той точке зрения, что флот нам крайне необходим, что мы должны его развивать и дальше… В отношении боеспособности, в отношении улучшения командного состава нужно констатировать, что мы достигли многого, и эти наши достижения нужно развивать и двигать дальше». Вместе с тем после смерти Фрунзе и назначения наркомом по военным и морским делам К. Е. Ворошилова (ноябрь 1925), дискуссия о роли и месте флота в системе Вооруженных сил разгорелась с новой силой.
На основании собственного и зарубежного опыта военно-политическое руководство СССР пришло к выводу, что одним из решающих условий эффективного руководства ведением войны является единство военной доктрины и военной стратегии. Этот вывод лег в основу мероприятий по реформированию Вооруженных сил во второй половине 20-х гг. В целом правильная идея в тот период приобрела радикальные формы – группа влиятельных командиров во главе с начальником штаба РККА М. Н. Тухачевским призывала целиком передать руководство применением всех видов Вооруженных сил в руки армейского командования. Письменное оформление эти взгляды нашли в подготовленных в апреле 1926 г. штабом РККА «Соображениях по вопросу организации Морских Сил», которые шли вразрез с мнением моряков о необходимости сохранения ВМФ как самостоятельного вида Вооруженных сил. Борьба вокруг структуры и функций органов управления флотом завершилась тем, что 22 июля того же года был издан приказ РВС СССР, в соответствии с которым вместо ликвидируемого штаба РККФ создавалось Управление Военно-морских сил РККА. С 23 августа должность начальника управления и наморси занял видный политработник Р. А. Муклевич, никогда ранее на флоте не служивший. На УВМС РККА была возложена ответственность за боевую подготовку и материально-техническое обеспечение РККФ, комплектование и подготовку личного состава, контроль над реализацией планов строительства кораблей. Функции штаба РККФ перешли к Учебно-строевому управлению УВМС, которое возглавляли А. А. Тошаков и М. А. Петров (с августа 1928). Функции оперативного управления силами флота и планирование их развития и применения перешли к штабу РККА, в составе которого был сформирован морской (2-й) отдел. Фактически же наморси – начальнику УВМС приходилось решать и эти вопросы, поскольку специалисты морского отдела штаба РККА не являлись достаточно компетентными в данной области.