Иоанн XXIII стал совершеннейшей противоположностью своему предшественнику. Выходец из простой крестьянской семьи, Ронколли был добродушным и веселым человеком, который и на папском престоле сохранял простоту, мудрость и человечность итальянских крестьян окрестностей Бергамо. Его родственники и во время его понтификата продолжали заниматься своей основной профессией; из всей большой семьи только один его племянник стал священником, но он и близко не был к курии. Непотизм при папе Ронкалли действительно сошел в могилу. Окончив простую сельскую школу, будущий папа познал всю тяжесть учебы, когда крестьянскому юноше приходилось испытывать большие материальные трудности, и для него был открыт, по существу, только один путь: церковная стезя. Получив стипендию, он смог поехать в Рим для продолжения духовного образования. Здесь он избегал иезуитов, но и модернизм не оказывал на него никакого влияния. В 1904–1914 годах он был секретарем епископа Бергамо. В 1915 году его призвали на военную службу, сначала санитаром, а затем в качестве полевого священника; только в конце первой мировой войны, в декабре 1918 года, он был демобилизован.
В 1921 году Ронкалли получил приглашение в Конгрегацию пропаганды веры и был назначен папским прелатом. В 1925 году Пий XI командировал его в Болгарию апостольским визитатором с одновременным назначением титулярным архиепископом. С этого времени началась его 20-летняя служба на Балканах. В Болгарии его задачей было сформирование католической иерархии. А при заключении брака болгарского царя Бориса III с итальянской эрцгерцогиней Йоландой Ронкалли должен был способствовать тому, чтобы посредством этого династического брака привязать Болгарию в политическом отношении к Италии, а в религиозном отношении — к католическому Риму. Последнее априори было невозможным, и все же визитатор потерял благосклонность Ватикана. Хотя его и повысили в должности, произведя в апостольские делегаты, о нем позабыли, так и оставив его на Балканах.
В 1934 году он стал апостольским викарием Турции и Греции. В бывшем когда-то греко-православной столицей Константинополе, нынешнем Стамбуле, он должен был представлять интересы католической церкви. Греко-турецкие противоречия в мусульманском окружении еще больше осложняли его миссию. В 1937 году он перенес свою резиденцию в Афины и здесь оставался и в годы немецкой оккупации. Когда папой стал Пий XII, Ронкалли имел все основания ждать, что тот вернет его в Рим. Но руководители курии, вероятно Тардини и Монтини, решили, что будет лучше, если Ронкалли останется на своем посту. Тем временем эта балканская позиция и впрямь стала весьма важной для папской дипломатии, и папа был заинтересован в том, чтобы там находился человек, хорошо знающий местные условия.
Наряду с дипломатическим опытом 20-летняя миссия Ронкалли на Балканах сделала его по-настоящему терпимым к отколовшимся христианам, к людям и народам другой веры. (Насколько иным был этот «багаж», чем для Пачелли атмосфера баварской столицы, а затем и Берлин с его прусским духом!) В глазах же Пачелли Ронкалли был не кем иным, как «балканским крестьянином» ватиканской дипломатии. Наряду со сказанным балканская «ссылка» имела еще одно большое преимущество: Ронкалли стоял в стороне от сотрудничества с фашизмом, от пийского духа курии.
Вновь он стал нужен тогда, когда дипломатия Пия XII потерпела фиаско: 23 декабря 1944 года Ронкалли был назначен папским нунцием в Париже. Его предшественник был прикомандирован Святым престолом к правительству Петена — и де Голль объявил его персоной нон грата. Де Голль потребовал, чтобы папа лишил сана и должностей 33 французских епископов, которые были известны своим коллаборационизмом с фашистами. Для погашения конфликта нужен был новый нунций. Посредничество Ронкалли увенчалось успехом: большинство епископов смогло остаться на своих постах.
Нунций Ронкалли не вмешивался во французскую политику. Консервативные французские политики косо смотрели на то, что нунций поддерживает хорошие отношения с лидерами левых сил Ориолем и Эррио. Ему вменяли также в вину, что он не вмешивался в дискуссию вокруг священников-рабочих. В то же время Ронкалли завоевал себе симпатии прогрессивных французских католиков. Так, например, когда в июне 1950 года умер Марк Сангье, бывший лидер христианских демократов «Силлона» и Франции, нунций в теплом письме выразил свое соболезнование его вдове.