После окончания гражданской войны антицерковный террор не прекратился. Свидетельство тому - акция по изъятию церковных ценностей, осуществленная после того, как во второй половине 1921 г. в России разразился голод. В 1922 г. по обвинениям, выдвинутым в связи с противодействием изъятию церковных ценностей, были расстреляны 2691 священнослужитель, 1962 монаха, 3447 монахинь и послушниц, а жертвами судебных и внесудебных расправ в общей сложности стали не менее 15 тыс. человек.
Наряду с антицерковным террором в начале 20-х годов власти сделали ставку на разложение Церкви изнутри, используя группу священников, оппозиционных официальному руководству Церкви. Они высказывались за поддержку Церковью советской власти, как "воплощающей христианские идеалы," настаивали на "обновлении церкви," отчего за ними закрепилось наименование "обновленцев," они требовали ликвидации патриаршества, создания выборных органов коллегиального церковного управления, упразднения института монашества; выступали против иерархического строя церкви, стояли за проведение литургических реформ. В мае 1922 г. "обновленцы" объявили о создании собственной организации, получившей название "Живая Церковь."
Но уже в 1922 г. в рядах лидеров обновленчества начались распри, оно разделилось на несколько организаций. В 1937-1938 гг. большинство лидеров "обновленчества" было репрессировано, а в 1946 г. закрылся последний "обновленческий" приход.
В 1925 г. умер Патриарх Тихон. Местоблюстителем патриаршего Престола стал митрополит Крутицкий Петр (Полянский). Органы ОГПУ пытались заставить митрополита Петра провести совместно с ними "чистку церкви от контрреволюционных элементов." Архиерей отверг это требование и, предвидя свой скорый арест, назначил заместителем Патриаршего местоблюстителя митрополита Нижегородского Сергия (Страгородского). В декабре 1925 г. митрополит Петр был арестован. Долгие годы он находился в ссылках и тюрьмах, а в 1937 г. был расстрелян.
В 1926 г. митрополит Сергий был арестован, но в апреле 1927 г. выпущен на свободу. В июле того же года он обнародовал послание "К пастырям и пастве," в котором подчеркивалась лояльность Церкви и верующих к советской власти: "Мы хотим быть православными и в то же время сознавать Советский Союз нашей гражданской Родиной."
Церковно-политическую линию митрополита Сергия, как вынужденную, поддержали многие видные архиереи, в том числе находящиеся в заключении. Но с конца 20-х годов поднялась волна новых антирелигиозных гонений.
Согласно постановлению ВЦИК и СНК РСФСР "О религиозных объединениях" от 8 апреля 1929 г. деятельность религиозных общин ограничивалась совершением богослужений. Урезались права общин. Началось массовое закрытие церквей: в 1928 г. было закрыто 534 церкви; в 1929 г. - 1129; в 1937 г. более 8 тыс. В Москве из 600 православных церквей к концу 30-х годов действовали только 23. В Ленинграде действовало лишь 5 храмов из бывших 300; в 25 областях РСФСР вообще не было ни одного храма. Были закрыты все еще сохранившиеся на территории СССР монастыри.
В 1939 г. на свободе, помимо Патриаршего местоблюстителя митрополита Сергия, находилось лишь три архиерея - митрополит Ленинградский Алексий, архиепископ Петергофский Николай и епископ Дмитровский Сергий.
К концу 30-х годов к СССР были присоединены Западная Украина, Западная Белоруссия, Бесарабия (Молдавия) и страны Балтики. Православные приходы этих стран вошли в состав Русской Православной Церкви. В итоге число ее приходов многократно возросло: к началу Великой Отечественной войны она располагала 4,5 тыс. храмов и 88 монастырями.
Начало Великой Отечественной войны привело к изменению государственной политики в отношении церкви. В первые же дни войны к Сталину обратился Ливанский митрополит Илия, сообщивший об откровении Божией Матери и Ее повелении открыть храмы, освободить священников, возобновить молитвы и прекратить преследования Православия. В сентябре 1943 г. в Кремле состоялась встреча Сталина с Патриаршим местоблюстителем митрополитом Сергием, митрополитом Николаем (Ярушевичем) и митрополитом Алексием (Симанским). В результате встречи было дано разрешение на открытие храмов и монастырей, воссоздание духовных школ, создание в епархиях свечных заводов и мастерских церковной утвари. Митрополит Сергий передал Сталину список находящихся в заключении архиереев и священников, после чего некоторые из них были освобождены. Было получено разрешение на избрание патриарха. Созванный в сентябре 1943 г. Архиерейский собор избрал митрополита Сергия предстоятелем Русской церкви с титулом "Патриарх Московский и всея Руси."