То, что Иоанна выдавала себя за мужчину и в таком обличье стала папой, католиками не очень осуждалось. В конце концов, среди женщин, признанных церковью святыми, около двадцати прославились под видом мужчин. Например, Пелагия Антиохейская, жившая в IV веке, в миру была танцовщицей и славилась лёгким поведением. Уверовав в Иисуса, она раздала всё имущество нищим и удалилась в монастырь, причём мужской. Там она, назвавшись мужским именем, приняла постриг. «Безбородый монах» прославился на всю округу набожностью и благочестивым поведением. То, что он был женщиной, стало известно только при омовении тела, но не помешало канонизации. Известны и случаи, когда переодетые в мужчин женщины достигали высоких церковных постов. Правда, происходило это не в Риме, а в конкурировавшем с ним Константинополе. Папа Лев IX в середине XI века возмущался, что «Константинопольская церковь видела евнухов, а то и женщин на епископском престоле». Таким образом, священники и рядовые католики осуждали не столько то, что Иоанна была женщиной, сколько её грехопадение и прелюбодеяние.
Сам же факт существования Иоанны никем не ставился под сомнение. Например, Ян Гус, обличая папскую власть на Констанцском соборе в 1414 году, в качестве одного из аргументов привёл историю папессы Иоанны: «Без главы и без руководителя была церковь, когда в течение двух лет и пяти месяцев папствовала женщина… Церковь должна быть безупречна и незапятнанна, но можно ли считать безупречным и незапятнанным папу Иоанна, оказавшегося женщиной, которая публично родила ребёнка». Никто из десятков кардиналов и епископов и сотен богословов, присутствовавших при этом диспуте, не возразил против такого довода.
Споры вокруг существования папессы вспыхнули только во времена Реформации, когда первые протестантские проповедники стали изображать Иоанну в образе вавилонской блудницы и доказывать, что её правлением прервалась непрерывная череда отцов церкви, то есть нарушилась преемственность католических понтификов от святого Петра. Не найдя контраргументов, католические богословы просто начали уничтожать память об Иоанне. В собрании средневековых рукописей в Майнце есть список «Хроники» Мартина Полонуса, датированный XVI веком, в котором вместо папессы Иоанны в том же временном промежутке фигурирует какой-то папа-мужчина по имени Иоанн. Правда, на поле рукописи неизвестным поборником правды оставлена пометка на латыни: «Папа был женщиной».
В 1601 году Папа Климент VIII специальной папской буллой постановил считать папессу Иоанну выдумкой. Примерно в то же время бюст Иоанны, в течение нескольких веков спокойно занимавший своё место в галерее портретов понтификов в кафедральном соборе Сиены, был «переделан» в портрет папы Захария. Впоследствии всякие упоминания о папессе считались Ватиканом оскорблением чувств верующих. Французский писатель и антиклерикал Лео Таксиль в XIX веке ехидничал: «Главный аргумент христианских писателей, настойчиво отрицавших существование папессы Иоанны, основан на том, что бог никогда не допустил бы такого вопиющего позора и потому престол святого Петра, учреждённый самим Иисусом, не могла занимать распутная девка. Довод, конечно, солидный».
Большинство современных учёных считают, что история папессы Иоанны – всё-таки легенда. Их основным аргументом является то, что в официальной хронологии пап отсутствует временной зазор между правлениями Льва IV, умершего в 855 году, и Бенедикта III, взошедшего на престол в том же году. Историки-скептики пытаются найти «прототипы» папессы. С этой целью перебраны уже все папы, носившие имя Иоанн и правившие в VIII–XI веках. Больше всего подходит на эту роль Иоанн VIII, у которого современники отмечали некие «женственные слабости».
У сторонников существования папессы есть контрдоводы. Они утверждают, что правлению Бенедикта III предшествовала некая смута, не единожды упомянутая в хрониках. Не связана ли она с правлением Иоанны? В карьере умной девочки из Майнца нет ничего невозможного, считают многие исследователи истории церкви. Средневековая женщина легко могла выдать себя за монаха. Широкая ряса с капюшоном и длинными рукавами скрывала особенности фигуры, слишком тонкие шею и руки. Если женщина обладала низким голосом, то обман был трудно раскрываем. Частые и строгие посты меняли физиологические циклы женского организма: у монахинь в монастырях с самым строгим уставом часто прекращались месячные. «Сторонники» папессы отвечают и на вопрос, почему внезапные роды стали неожиданностью и для самой Иоанны. Несмотря на свою учёность, она вряд ли была в курсе строения собственного организма. В Средневековье половая жизнь и её последствия обсуждались разве что в узких женских кругах, в которые Иоанна, естественно, с детских лет не была вхожа. Найти ответ на вопрос, что происходит с ней в последние месяцы жизни, в книгах она не могла.