Сдержанность была заметна с самого начала. Климент V пригласил всех государей Европы, но ни один не прибыл. Короли Арагона, Кастилии, Португалии, Англии и Сицилии прислали большие делегации, но Генрих VII, все еще находившийся в Италии, якобы бойкотировал собор. Папа созвал около 230 архиепископов и епископов: по словам продолжателя Гийома де Нанжи, явились только 114, что подтверждается исследованиями современных историков, в частности Эвальда Мюллера, который насчитал 20 кардиналов, 4 патриархов, 29 архиепископов, 79 епископов и 38 аббатов. Эта явка далека от явки на предыдущий Лионский собор, где присутствовало 500 епископов. Треть из прибывших во Вьенну были французами. На протяжении всего собора присутствующие были охвачены эпидемией дипломатической лихорадки, поскольку многие прелаты были против децимов, которые должны были быть одобрены собором, и не хотели брать на себя ответственность за это. Однако у некоторых отсутствующих было уважительное оправдание — смерть. 7 декабря в Лукке умер кардинал-епископ Альбано Леонард Патрасс, 9 декабря за ним в могилу сошел кардинал Стефан ди Суизи, а кардинал Тускулума Беренгар Фредоль и кардинал Сабины Арно де Фальгьер были по настоящему и тяжело больны. Пророчество с плохим предзнаменованием даже предсказывало, что десять кардиналов умрут до Пасхи, не говоря уже о том, "кого я не смею называть", то есть, возможно, о сам Папа. Это предсказание сильно нагнетало атмосферу. Но помимо этих конкретных случаев, многие прелаты воздерживались от явки на собор, и Климент V, очень недовольный этим, 3 июля 1312 года объявил, что отстраняет их от служения за непослушание, не называя, однако, ни имен, ни дат.
Еще одной причиной для упреков стал выбор места проведения мероприятия. Город Вьенна с его примерно 7.000 жителей, был очень скромным местом для проведения вселенского собора. Стесненный в своих старых стенах, зажатый между высокими холмами и стремительной Роной, он представлял собой лабиринт узких улочек и нагромождение разнородных зданий вокруг руин римского театра, храма Августа, церквей Святого Петра, Святого Мартина и Святого Севера, аббатств Святого Андрея Верхнего и Святого Андрея Нижнего и собора Святого Мориса. Именно в последнем, который еще не был достроен, проводились пленарные заседания собора. Размещение Папы и его свиты, 114 епископов и кардиналов, около тридцати аббатов, сопровождаемых секретарями и слугами, а также десятков членов делегаций иностранных государей, в таком маленьком помещении в течение семи месяцев было непростой задачей. Не прошло и месяца после открытия Собора, как епископ Раймонд Валенсийский 9 ноября написал королю Арагона: "Мне здесь очень скучно, ибо в стране очень холодно, и по этой причине она не подходит для моего здоровья. Город небольшой, людей много, отсюда и сутолока. Люди также страдают от многих неудобств, но должны терпеливо их переносить". Терпение — вот что понадобилось этому епископу, ведь ему пришлось провести там всю зиму. Английский посол Генри Файкс, в свою очередь, жаловался на высокую стоимость жизни: "В Авиньоне на черный денье мы могли купить еды больше, чем здесь на стерлинг!"
Почему же Папа выбрал такое неудобное место? Помимо его личной привязанности к городу с престижным христианским прошлым, где он хотел бы короноваться, решающее значение имела политическая ситуация. Город находился на имперской территории, но от королевства Франция его отделяла только река Рона; он находился под совместной властью архиепископа Бриана де Ланьо и дофина Вьеннского Жана II. Место было тесное, но безопасное, со стенами, над которыми доминировал с севера замок Ла Бати.
Собор готовился несколько месяцев, его официальная программа состояла из трех или четырех пунктов: судьба ордена тамплиеров, крестовый поход, реформа церкви и, во вторую очередь, суд над Бонифацием VIII. Поскольку этот последний пункт был отменен Филиппом IV, король Франции в основном ждал решения относительно тамплиеров, в то время как Папу интересовал в первую очередь крестовый поход и реформаторы. Климент V, созывая собор, попросил, чтобы каждый епископ представил список реформ, которые считаются необходимыми в его епархии. Подобные cahiers de doléances (тетради с жалобами) собраны и классифицированы по церковным провинциям, и они дают поразительную картину множества злоупотреблений, совершаемых в среде духовенства и в отношениях между клириками и мирянами. Так, тетради провинции Санс содержат многочисленные жалобы на чиновников светской власти: произвольные аресты клириков, конфискация имущества умерших клириков, отказ разрешить церковным судам судить мирян, нарушение привилегий клириков, несоблюдение приговоров об отлучении. Особенно злобный документ был представлен собору епископом Менде Гийомом Дюраном. Племянник известного канониста Гийома Дюрана Старшего, прозванного "доктор-спекулятор" за его главный труд, Speculum juris (Зеркало закона), и бывший епископом Менде с 1286 по 1295 год, Гийом Дюран Младший, сменивший его с 1296 по 1330 год, был энергичным и мстительным прелатом, с которым Филипп Красивый уже был вынужден заключить договор в 1307 году по вопросу о разделе графства Жеводан. В 1309 году ему удалось получить треть имущества евреев, конфискованного в его епархии. Готовясь к собору, он написал обширную программу реформ, De modo generalis concilii celebrandi (О порядке проведения вселенского собора), которая не щадила никого. По его словам, реформа должна начинаться с самого верха: Папа и римский двор злоупотребляют своей властью, которая должна быть ограничена регулярным созывом собора каждые десять лет; Папа злоупотребляет "апостольскими положениями" и "резервами", чтобы одаривать льготами неспособным людей и членов своей семьи, что как мы видели, соответствовало действительности. Критика папского произвола включала также аллюзию на королевский произвол, направленную именно против Филиппа Красивого: "Для государства и его администраторов было бы хорошо и полезно, чтобы их власть была ограничена разумом, чтобы Папа не пользовался прерогативами своей власти без совета кардиналов, подобно тому, как короли и принцы ничего не делали, по крайней мере до этого времени, без совета сведущих лиц. Папа должен поступать таким образом, прежде всего, в случае любой уступки, противоречащей постановлениям соборов и действующему общему праву. А если бы речь шла о новых статутах, противоречащих постановлениям соборов и общему праву, то он принимал бы их только на вселенском соборе".