Лишь небольшая часть Византийской империи покорилась. Алексей III все еще находился на свободе в Македонии, тогда как в Малой Азии верность Филадельфии была под сомнением: Феодор Манкафа, поднявший восстание в годы первого правления Исаака II, все еще имел там вес. Но главная опасность власти таилась в Элладе, где владения Льва Сгура по обеим сторонам Коринфского перешейка давали ему экономическую и военную возможность расширять их. Михаил Хониат в Афинах боялся Сгура, который уже разделался с несколькими прелатами. Союзники этого магната – пираты с Эгины и Саламина регулярно совершали нападения на побережье Аттики. Найдя оправдание нападения в утверждении, что Афины укрывают предполагаемого беглеца от правосудия, Сгур повел на город флот и армию, надеясь на легкое завоевание. Михаил сначала пытался заставить его свернуть с этого пути, напомнив ему об их былых добрых отношениях, о том, как Сгур всегда называл Михаила отцом и епископом, и о греховности войны между византийцами-христианами. Зачинщик конфликта ответил, что в то время, когда Константинополь претерпевает такие страдания, каждый должен сам позаботиться о себе – утверждение, которое на тот момент выражало общие настроения провинциальных магнатов. Михаил был вынужден ретироваться в Акрополь и сидеть в осаде. И хотя Сгур был хорошо оснащен средствами для ведения войны, оборона велась упорно, и он был вынужден отступить. Уходя, он поджег город и угнал всех вьючных животных, оставленных сборщиками налогов. В 1204–1205 гг. он внезапно напал на столицу провинции Фивы и взял ее с первой попытки; вскоре к этим владениям он прибавил Фессалию. Независимость Афин была для него как кость в горле.
Самой насущной проблемой Алексея IV было присутствие крестоносцев. Увидев враждебность населения по отношению к себе, он предложил крестоносцам продлить свое пребывание в Византии. Но чтобы их проживание в городе не провоцировало скандалы и беспорядки, он попросил их передвинуть свой лагерь на другой берег гавани в район Эстанор – еврейский квартал. Они согласились, оставив во дворце авторитетного рыцаря Питера Брасье заботиться об их интересах. Небольшим группам латинян было позволено осматривать достопримечательности города и отдавать дань уважения хранившимся в нем драгоценным реликвиям. Робер де Клари пишет, что группа таких туристов пришла, чтобы увидеть императора, когда к нему на аудиенцию пригласили войти так называемого короля Нубии. Алексей IV не забыл о своем предпочтении компании латинян и часто приходил в их лагерь с небольшим количеством сопровождающих, чтобы поучаствовать в каком-нибудь праздновании с распитием спиртных напитков и игрой в кости. Он разрешал своим западноевропейским друзьям примерять свою корону, пока сам он носил полотняную шапочку латинян. Предаваясь распутству и осуждая византийские обычаи, Алексей копировал манеры самых порочных крестоносцев; такое поведение ослабляло его позицию в глазах его подданных.
В то же время у западноевропейцев были свои причины испытывать недовольство Алексеем, его отцом и византийскими властями: они хотели получить положенные им деньги. Все они, за исключением самых богатых, были должны венецианцам за перевозку, или брали у них ссуду на пропитание, или и то и другое вместе. Соблазном, приведшим многих из них в Константинополь, было обещание принца Алексея выплатить двести тысяч марок серебра, которые должны были покрыть их долги и отправить их в путь не с пустыми карманами. Императоры понимали эту насущную необходимость и старались удовлетворить ее. Исаак сначала раздал то, что нашел во дворцовых сокровищницах и у таких родственников бывшей императрицы, как Стрифн, затем богатства одного за другим состоятельных граждан были конфискованы и розданы в счет выплат. Исаак и его помощники, среди которых Никита Хониат признает и свою роль, также обратились к церковным богатствам: иконы и украшения из драгоценных металлов, включая серебряные светильники и золотые предметы из Святой Софии, были отвезены на переплавку. Неутолимо жадные латиняне тратили золото и серебро, полученное от переплавки священных предметов церковного назначения. И хотя они знали об источнике денег, они заявляли о своей непричастности к этому греху. Крестоносцы считали, что византийцы непростительно медленно выплачивают им деньги, и некоторые из них пытались ускорить решение проблемы, нападая на тех, кто доставлял металл на переплавку, или грабя церкви. После своей коронации Алексей сумел заплатить сто тысяч марок – половину того, что был должен; но во время его отъезда во Фракию Исаак, по-видимому, приостановил платежи. (Это заставило оставшихся в лагере крестоносцев позвать ушедших вернуться назад.) После возвращения Алексей попросил дать ему отсрочку платежа, а затем и другую; обе были ему предоставлены. Он все же сделал несколько платежей, которые, по словам Виллардуэна, были небольшими и скудными. Но, становясь все смелее, он попал под влияние тех, кто хотел положить конец этой раздаче; так между крестоносцами и византийцами возникла брешь.