Вскоре Анне стало казаться, будто при дворе постоянно сравнивают её с Ириной и полагают Ирину более достойной императорского венца.
Противники Кантакузина всё более ободрялись. В императорском совете начали разыгрываться бурные сцены. Великому доместику наносили оскорбления. Один из придворных чиновников дерзко заговорил с ним, перебив его речь. Иоанн Кантакузин приказал чиновнику немедленно замолчать, но тот заявил, что человек, желающий внести дельное предложение, имеет право говорить прежде первенцев державы. Кто-то из сторонников Кантакузина тотчас воскликнул:
- Что же это? Если первый встречный станет высказывать свои мысли и навязывать их первенцам и знатным, то мы вскоре очутимся не в империи, а в демократии!
Спор едва не завершился дракой. Но самое важное было то, что ни императрица, ни патриарх, возглавлявший совет, не вступились за Иоанна Кантакузина и его партию, не остановили дерзких, не пожелали выразить порицание наглости и скверным словам и поступкам, явно направленным против великого доместика. Иоанн Кантакузин подал прошение об отставке.
Анна и патриарх испугались последствий подобного решения великого доместика. Они, конечно, мечтали о его устранении, но полагали это совершить, когда Кантакузин будет лишён друзей, сторонников и своего влияния в армии. Императрица сама успокаивала Кантакузина; чиновник, осмелившийся возразить ему, был строго наказан. Кантакузину принесли торжественные извинения. Патриарх поклялся, что будет самолично преследовать каждого, кто осмелится злоумышлять против Иоанна Кантакузина! Кантакузин принял извинения, однако своей жене Ирине он говорил такие слова:
- Я верю зачастую в добрые намерения партии императрицы. Но я имею право полагать, что эти добрые намерения не имеют никакого отношения ко мне!..
Едва разнёсся слух об отставке великого доместика, на улицы и площади Константинополя вышли солдаты и горожане. Они приветствовали Кантакузина и осыпали укорами патриарха. У ворот дворца сбилась толпа шумливая. Испуганная Анна упрашивала Кантакузина выйти к народу. Как только он появился, согласившись на просьбы императрицы, крики против Апокавка и патриарха смолкли, сменившись приветствиями доместику. Смута была предотвращена. Однако же Анна пылала желанием ещё большим, чем прежде, свержения Кантакузина. Апокавк, в свою очередь, шипел, как змея, нашёптывая императрице злые наветы. Для него хороши были любые средства: лесть, подкуп, обман. Патриарх вторил ему, не отлучаясь из дворца, возбуждая императрицу против великого доместика, восхваляя преданность и верность Апокавка. Последний же всячески стремился привлечь на свою сторону итальянских приближенных Анны. В конце концов даже и патриарх уже побаивался Апокавка. Апокавк в своих мечтах уже видел себя на троне. Теперь план его был таков: похитить одного из сыновей Анны, увезти в свою крепость, женить на одной из своих маленьких дочерей, и таким образом принудить императрицу предоставить ему самому, его друзьям и родичам самые высокие должности в государстве, да и управление империей...
Мать Кантакузина, Феодора, тревожилась о своём сыне. Ей представлялись разные опасности, реальные и вымышленные. Однажды ночью она, выглянув из окошка своей опочивальни, расположенной в достаточной степени высоко, увидела во дворе всадника, вооружённого копьём. Она закричала, люди бросились во двор, но никого там не увидели. Феодора горько плакала, видя во всём этом дурное предзнаменование. Ирина же держалась спокойно, с большим мужеством, и утешала мужа и свекровь.