Важнейшим событием церковной политики Иоанна XXIII было установление 23 ноября 1961 года непосредственных отношений с Советским Союзом. Тем самым и в церковной политике началась эпоха смягчения напряженности. Первым ощутимым результатом нового курса был прием Иоанном XXIII 7 марта 1963 года дочери Хрущева и ее мужа Аджубея, являвшегося тогда главным редактором «Известий». Через пять недель после этого визита, вышла в свет энциклика «Pacem in Terris». Отказ от закоснелого антикоммунизма означал не сосуществование с марксистско-ленинской идеологией, а лишь терпимость по отношению к общественно-политическому строю, основанному на этой идеологии. Под знаком смягчения международной обстановки и мирного сосуществования «Pacem in Terris» провозгласила взаимодействие с миром, включая в это понятие уже и социалистический мир. Совместная деятельность в интересах мирного будущего человечества сделала возможным, что дух отвержения и предания анафеме потерпел поражение и в Ватикане. В энциклике «Pacem in Terris» Иоанн XXIII отказался от «связывания» судеб церкви исключительно с Западом и открыл путь для конструктивных переговоров с социалистическими странами.
Самым значительным событием в истории католической церкви был, несомненно, II Ватиканский собор (1962–1965), открывший новую эпоху в истории папства. По взглядам Иоанна XXIII, осуществление внутренней реформы — прерогатива не одного папы, но и вселенского собора. Генеральной репетицией вселенского собора стало заседание синода римской епархии, проходившее между 24 и 31 января 1960 года. Папа пожелал, чтобы этот местный собор выросшего до уровня митрополии Рима скорректировал пастырскую работу применительно к изменившимся условиям. Это было первым случаем в истории города, чтобы епископ Рима, папа, спрашивал на соборе мнение духовенства. Духовно-пастырская деятельность большого города требовала современной церкви; таким образом, римский синод стал моделью готовящегося вселенского собора.
После внезапного объявления о созыве вселенского собора Иоанн XXIII уже больше не колебался. 17 мая 1959 года он назначил первую комиссию по подготовке собора. Папа призвал епископов католической церкви, монашеские ордена, университеты внести свои предложения по повестке дня собора, по проблемам, подлежащим обсуждению на нем. 5 июня 1960 года папа по своей инициативе создал центральную подготовительную комиссию собора, которой подчинил десять профилированных комиссий и два секретариата, в задачу которых входила разработка проекта решений собора с учетом мнений, высказанных в огромной массе поступающих предложений. Комиссии под строгим контролем курии составили 73 проекта решений собора, которые были одобрены Центральной комиссией.
Папа нетерпеливо торопил, стремясь ускорить подготовку собора. Одной из причин этого было, несомненно, то, что уже тогда он уже был тяжело болен и знал о своем заболевании раком. Другой, пожалуй, еще более серьезной причиной было его намерение помешать курии саботировать собор. А целью консервативного направления, ссылавшегося на необходимость основательно подготовиться к собору, было поставить его — так же как в свое время сделал Пий IX — перед свершившимся фактом и низвести собор до уровня послушной машины голосования.
25 декабря 1961 года Иоанн XXIII своей апостольской конституцией «Humanae salutis» созвал собор, одновременно объявив I Ватиканский собор закрытым. Принципиальное значение этого акта состояло в том, что тем самым папа воспрепятствовал стремлению интегристов рассматривать этот собор как продолжение I Ватиканского и на этом основании проводить его в прежнем духе. На собор папа пригласил также и отколовшиеся христианские церкви. Открытие собора папа своим решением от 2 февраля 1962 года («Concilium») назначил на 11 октября 1962 года.
На торжественное открытие II Ватиканского собора в храм Святого Петра прибыло 2540 соборных отцов. Заседания собора проводились тоже в этом храме. II Ватиканский собор был самым многолюдным собранием в истории церкви. Впервые в истории церкви 18 некатолических церквей приняли приглашение папы. В своей речи при открытии собора 11 октября 1962 года Иоанн XXIII снова заявил, что задачей собора является соответствующее обновление церкви, ее разумная реорганизация, чтобы тем самым церковь продемонстрировала свое понимание развития мира и подключилась бы к этому процессу. Это был знаменательный момент открытия, момент прорыва. Обращаясь к решениям Тридентского и I Ватиканского соборов, папа высказал пожелание, чтобы результатом настоящего собора стала открытая миру церковь. Выход из изоляции и сепаратизма и приток свежего воздуха в древнее здание церкви могут осуществиться не путем прокламирования новых догм и тем более не путем осуждений, а посредством ясного и современного изложения соответствующих религиозных истин. Папа Иоанн неоднократно заявлял, что церковь располагает уже вполне достаточным количеством догм, дефиниций и суждений; задача собора не в отвергающем, непогрешимом осуждении, а в проведении конструктивных реформ. Действительно, II Ватиканский собор потому и стал эпохальным событием, что не принял ни одной новой догмы.