Во время дискуссии на соборе по вопросу экуменизма Павел VI объявил, что едет в Святую землю, в Палестину и Иерусалим. Это посещение папы, состоявшееся в начале января 1964 года, было первой со времени вынужденного пребывания Пия VII во Франции поездкой пап за пределы Италии. В Палестине арабы весьма радушно принимали папу Павла VI; тем более холодным оказался его прием в Израиле. Выдающимся событием экуменизма явилась встреча в Иерусалиме Павла VI и Вселенского патриарха Афинагора и их взаимные объятия. Иерусалим мог бы действительно быть символом взаимопонимания и диалога: ареной встречи иудейской, христианской и магометанской религий. В целях стимулирования диалога Павел VI создал в мае 1964 года Секретариат по делам нехристианских религий.
Третья сессия собора проходила между 14 сентября и 28 ноября 1964 года. Эту сессию можно рассматривать, по сути дела, поворотным пунктом собора. Папа решительно вмешался в ход обсуждений, высказавшись, в частности, против слишком рьяных реформистов. Он дал им понять, что предпосылкой дальнейшей дискуссии должно быть окончательное формулирование и принятие догматической конституции «О церкви». В центре дискуссии стоял вопрос о коллегиальном участии епископов в церковном управлении. Число увидевших в том угрозу для папского примата и проголосовавших против превысило 300! Самый значительный документ собора, догматическая конституция «О церкви» («Lumen gentium»), был принят на последнем общем заседании собора 21 ноября. Конституция вместо понятия «торжествующая церковь» вводила понятие «церковь на службе». Вводился институт коллегиального участия епископов в управлении церковью посредством активизации епископского синода. Наряду с тем, что неприкосновенными остались основные устои церкви, неизменным сохранился и такой, исторически напластовавшийся институт, как, например, целибат.
Вообще же третья сессия прошла под знаком экуменизма. 21 ноября папа обнародовал декрет о восточных церквах («Orientalium Ecclesiarum») и декрет об экуменизме («Unitas redintegratio»). Однако экуменизм нашел претворение в практических шагах только касательно восточных православных церквей. 7 декабря 1965 года папа Павел VI и Афинагор взаимно отменили отлучение, провозглашенное в 1054 году, что явилось жестом на пути к сближению, но в догматическом и ритуальном отношении обе церкви ни на йоту не приблизились друг к другу.
Расширению диалога, активизации диалога с атеистами и марксистами способствовало то, что 8 апреля 1965 года папа создал Секретариат по делам неверующих. Летом 1965 года в перерыве в работе собора папа информировал епископов о нескольких запланированных им реформах: о реформе курии, о ревизии церковного законодательства, о новом регулировании смешанных браков, а также об изучении вопроса регулирования рождаемости. Однако перед тем, как приступить к осуществлению реформ, папа решил завершить работу собора. Это имело место на четвертой сессии (8—14 декабря 1965 года).
Четвертая сессия собора была самой продуктивной. При открытии сессии Павел VI объявил об обновлении постоянного епископского синода. На соборе обсуждалось 11 проектов документов. Наибольшую дискуссию вызвали декларация о свободе вероисповедания, а также духовно-пастырская конституция о роли церкви в современном мире.
28 октября 1965 года собор принял три декрета и две декларации: о духовно-пастырском предназначении епископов («Christus Dominus»), декрет об обновлении в современном духе монашеской жизни («Perfectae caritatis»), декрет о воспитании и обучении священников («Optatum totius»), декларация о христианском воспитании («Gravissimum educationis momentum») и, наконец, декларация об отношениях церкви и нехристианских религий («Nostra aetate»).
Весьма важным документом для нового толкования экуменизма, а также для понимания отношений между католической церковью и иудейством явилась декларация «Nostra aetate». Еще в сентябре 1960 года папа Иоанн XXIII поручил кардиналу Беа, председателю Секретариата христианского единства, представить проект документа об отношении церкви к евреям. Многократно перерабатываемый текст расширился затем также и за счет новой католической оценки великих мировых религий. Декларация исходила из того, что религиозность — естественный спутник человека и каждая религия есть проявление этого; поэтому и нехристианские религии также содержат ценные, достойные уважения со стороны христианина элементы.