Избрать нового папу оказалось труднее, чем предыдущего. Когда после одиннадцатого голосования объявили об избрании кардинала Ронкалли, многие сочли, что этот семидесятисемилетний кардинал избран как переходная фигура, чтобы дать кардиналам время для определения будущей политики. Но краткий понтификат (1958-1963) престарелого папы, принявшего имя Иоанна XXIII, был отмечен важными изменениями. Само его решение принять имя Иоанн, вызывавшее горькие воспоминания о периоде авиньонского папства и о пизанском антипапе Иоанне XXIII, служило указанием, что новый папа намерен идти по новому пути. Вскоре он привел в сильное беспокойство многих в курии и свою охрану беспрецедентными посещениями беднейших кварталов Рима. Высказывались даже опасения, что он, возможно, слишком простодушный человек, чтобы нести возложенную на его плечи тяжелую ответственность. Но он был человеком с богатым опытом и глубоким умом, продемонстрировавшим на требующих большой осмотрительности должностях в Болгарии, Стамбуле и Франции понимание всех тонкостей ведения переговоров и дипломатии. Кроме того, жизнь в турецком Стамбуле и в светском Париже показала ему, до какой степени церковь порвала связи с миром в целом. Свою основную миссию он видел в восстановлении этих связей, и выполнение этой задачи требовало дипломатического искусства, ибо многие в курии и на других высоких должностях в церкви не разделяли его понимания ситуации.
Он был старым человеком, а цели перед ним стояли большие, поэтому Иоанн XXIII чувствовал необходимость действовать быстро. Через три месяца после избрания он объявил о своем плане созвать экуменический собор. Многие в курии эту идею не одобрили. В прошлом большинство соборов созывались для рассмотрения какого-либо неотложного вопроса, чаще всего ереси, считавшейся особенно опасной. Более того, высказывалось мнение, что после провозглашения на I Ватиканском соборе догмата о непогрешимости папы эпоха соборов закончилась и что папа должен управлять церковью как абсолютный монарх. Действительно, со времени Пия IX тенденция к централизации проявлялась все ощутимее. Но папа Иоанн смотрел на вещи иначе. Он упорно называл других епископов "моими братьями епископами" и настаивал на необходимости советоваться с ними, а не управлять ими. Он был также убежден, что настало время для полного аджорнаменто (итальянское слово, буквально означающее "осовременивание") церкви и что этого можно добиться только благодаря соединению мудрости и усилий епископов всей церкви.
Подготовительная работа для проведения собора заняла более двух лет. Тем временем папа выпустил энциклику "Mater et Magistra", которую многие католические активисты в борьбе за установление справедливых общественных отношений сочли одобрением папой их деятельности. Наконец, 11 октября 1962 года папа Иоанн официально открыл заседания II Ватиканского собора. Лишь немногие ожидали, что эта ассамблея ознаменует радикальное изменение курса, которому церковь следовала в течение последних четырехсот лет. Документы для обсуждения и принятия на соборе были подготовлены курией и в целом не содержали почти ничего больше, кроме подтверждения традиционного католического учения и предупреждения об опасностях, исходящих от современного мира. Но папа принял меры, чтобы направить работу собора и по другим направлениям. Год назад он создал Секретариат развития христианского единства, указав тем самым на значение, которое он придавал поиску сближения с другими христианами, и на свое желание рассмотреть этот вопрос на заседаниях собора. Его вступительная речь тоже задала иной тон по сравнению с большинством предварительно подготовленных документов – он сказал, что настало время, когда церковь должна отреагировать на проблемы современного мира словами понимания и ободрения, а не резкого осуждения. Достижению этих целей способствовали присутствие некатолических наблюдателей (тридцать один человек в начале работы и девяносто три – ко времени закрытия последней сессии собора) и особенно состав самого собора. Западную Европу, Канаду и Соединенные Штаты представляли всего 46 процентов прелатов. В общей сложности 42 процента прибыли из Латинской Америки, Азии и черной Африки. Свыше половины присутствовавших епископов представляли церкви со столь ограниченными ресурсами, что расходы, связанные с их пребыванием на соборе, пришлось оплачивать из средств более богатых церквей. Этих епископов глубоко волновал вопрос о необходимости облегчать тяжелое положение бедных, обращаться к нехристианскому миру и в целом выступать со словом сострадания и понимания, а не самодовольного осуждения. Таким образом, призыв папы во вступительной речи к "исцелению милосердием" был встречен с пониманием.