Однако, получив письмо Климента от 19 ноября, Иоанна больше не чувствовала себя скованной ни суровыми наставлениями и заявлениями кардинала, ни отсутствием официальной церемонии передачи власти, должным образом зафиксированной в письменном виде и переданной Папе. Неаполитанский двор за время короткого пребывания Эмери на посту правителя быстро распался на враждующие группировки, и королева должна была быстро принять меры, чтобы хотя бы защитить себя. Папа юридически подтвердил ее исключительное право на правление, но этого было недостаточно, чтобы обезопасить ее в нынешней нестабильной политической обстановке. Союз между Андреем и братьями Пипини, в частности, нанес существенный ущерб ее положению. Иоанна понимала, что теперь, когда у ее мужа появилась столь мощная поддержка в королевстве, обещанная ему коронация представляла реальную угрозу ее суверенитету. После публичной церемонии коронации Андрей вряд ли стал бы придерживаться ограничений, наложенных понтификом. Также нельзя было ожидать, что ее подданные смогут отличить почетный титул от реального и если Андрей отдаст какой-либо приказ, ему подчинятся. Более того, Иоанна предвидела, что теперь, когда Андрей повзрослел, ей будет все труднее контролировать его, как раньше. Поэтому лучшим способом помешать мужу обрести власть было бы не допустить проведения церемонии коронации и она отказалась назначить дату и попросила Людовика Дураццо и кардинала Талейрана направить свои усилия на то, чтобы убедить Климента отказаться от обещания коронации Андрея.
В то же время Иоанна занялась укреплением собственной власти в королевстве. Понимая, что ей необходимо окружить себя советниками и баронами, на которых можно было бы рассчитывать, что они останутся ей верны и будут противостоять малейшему посягательству на ее власть со стороны партии ее мужа, Иоанна издала ряд эдиктов, предоставляющих деньги, имущество и продвижение по службе некоторым ключевым представителям аристократии, которые уже были склонны отвернуться от Андрея и братьев Пипини и выступить против них. Среди них были, в частности, большая семья ее приемной матери, Филиппы ди Катанья, внебрачный сын Роберта Мудрого, Карл д'Артуа, и дом Таранто. В частности, королева проявила заметную благосклонность к одному из сыновей Филиппы, Роберту ди Кампанья, даровав ему графство Эболи и возведя его в великие сенешали королевства.
Поскольку было известно, что, по выражению Папы Римского, Иоанна и Андрей ссорились, неудивительно, что примерно в это время хронисты начали сообщать о некоторых слухах, касающихся сексуального поведения Иоанны. (Как и любой другой эвфемизм, "ссора" не отражает отношения молодой пары; очевидно, он ей угрожал ей, а она его презирала). Доменико да Гравина обвиняет императрицу Екатерину в том, что она подстроила так, чтобы ее второй сын, Людовик Тарентский, пробрался в постель Иоанны, а Боккаччо предполагает, что на самом деле любовником королевы был Роберт ди Кампанья, которого Иоанна только что возвела в графы. "Ведь Иоанна была выдана замуж за Андрея… а когда король Роберт умер, королева Санция удалилась в монастырь",[115] — пишет Боккаччо в своей биографии Филиппы ди Катанья.
По злому наущению некоторых лиц между Иоанной и Андреем возникли разногласия. Андрея все презирали, ибо вельможи королевства присягнули Иоанне еще при жизни короля Роберта. По приказу Иоанны Роберт [ди Кампанья] из сенешаля двора стал великим сенешалем королевства, а Санция, его племянница [внучка Филиппы], была выдана замуж за Карла, графа Марконского.
Эти необыкновенные почести достались африканцам, однако не обошлось без пятен на их репутации. Хотя верить в это, возможно, и не совсем правильно, но говорили, что именно потворство Филиппы привело Иоанну в объятия Роберта. Это преступление весьма сомнительно, поскольку… никто, кроме них [Филиппы, Иоанны и Роберта], не должен был знать тайну Иоанны.
Невозможно сказать, было ли все это правдой. Конечно, Иоанна никогда не была поймана на месте внебрачной связи. Существование двух разных любовников, а не одного, и другие разные истории, казалось бы, ставят под сомнение осведомленность хронистов. (Джованни Виллани утверждает, что Иоанна также имела в любовниках сына Карла д'Артуа, Бертрана, и нескольких других дворян, включая старшего брата Людовика, Роберта Тарентского. Но Виллани, сидевший в то время в тюрьме за участие в одном из разорившихся флорентийских банковских концернов, чьи активы захватили Иоанна и Санция, вряд ли является надежным источником). Но как признает сам Боккаччо, "при малейшей близости с мужчиной, позор легко может запятнать самую благородную женщину"[116].