После заговора Контостефана – Ангела Андроник приступил к террору в отношении знати: одни были отправлены в ссылку, другие – заключены в тюрьму или ослеплены. Всему этому у Андроника были следующие предлоги: принадлежность к знатному сословию, военный опыт или пренебрежительное отношение к нему с их стороны в прошлом. Их знатность связывала их с императорской семьей, давая им косвенные основания претендовать на трон. Мужчины, имевшие опыт военных действий, могли быть опасными противниками на поле боя, как это продемонстрировал Иоанн Комнин Ватац. Андроник на протяжении многих лет был не в ладах с придворными Мануила, а возраст не смягчил его нрав и не ухудшил память. Теперь погоня за его благосклонностью стала такой неистовой, что возможно стало предательство между друзьями и членами семьи. Доносы и ответные доносы стали обычным делом, и даже шутки и случайные фразы доносили безжалостному регенту. Доносители присоединялись к жертвам своих доносов в тюрьме, слуги предавали хозяев. Однажды Иоанн Кантакузин набросился с кулаками на евнуха по имени Цита, который возложил вину за происходящие в обществе бедствия на некомпетентность Алексея II, и за такое нападение вельможа был ослеплен и брошен в тюрьму.
Бедствий, упомянутых евнухом, было много, особенно на границах империи. Марию-Зену обвиняли в поддержании связи с королем Венгрии Белой III, и именно оттуда империи стала грозить самая непосредственная угроза. После смерти Мануила Бела возвратил себе Северную Далмацию и Зару; теперь, увидев для себя шанс, он оккупировал пограничные города Белград и Браничево в долине Дуная и стал продвигаться по Моравии. Ниш, до недавнего времени процветающий город, был захвачен, и завоеватель двинулся по долине реки Нишавы к Софии, откуда он увез реликвии святого Иоанна Рыльского в венгерский Гран. Летом 1183 г. Беле безуспешно противостояла византийская армия под командованием Алексея Враны и Андроника Лапарда. Венграм активно помогали Стефан Неманя и сербы, которые добились независимости Рашки и Зеты сразу после смерти Мануила. Теперь они стремились расширить свои владения, и Неманя вскоре получил остатки византийской Далмации. Бела, очевидно, ушел из Софии, но сохранил за собой Белград и долину Моравы. Это было начало краха власти Византии на Балканах. Когда в 1189 г. там проходили крестоносцы Барбароссы, большинство городов были в запустении.
Султан Коньи Кылыч-Арслан II не замедлил воспользоваться ситуацией. В то время когда Андроник захватил власть в Константинополе, а Ватац поднял восстание, он усилил натиск на границы империи. Созополис в Писидии был взят, Кютахья – разрушен, и даже Атталия на средиземноморском побережье подверглась нападению. Лишь после разгрома Ватаца султан вроде бы прекратил агрессивные действия; при этом его двор по-прежнему предоставлял убежище тем, кто спасался от Андроника.
Прежде чем надеть императорскую корону – каково и было его намерение, – Андроник счел необходимым привязать к себе тех членов семьи Комнинов, которых он не отправил в ссылку и не казнил. Ему также очень хотелось избавиться от патриарха Феодосия, который пользовался огромной популярностью в народе. Чтобы достичь этих целей разом, он предложил своей незаконнорожденной дочери Ирине от любовницы Феодоры Комнины – дочери брата Мануила Исаака севастократора – заключить брак. Ирина должна была выйти замуж за незаконнорожденного сына Мануила Алексея протостратора, матерью которого была другая Феодора Комнина – дочь одного из братьев Мануила. Однако Ирина и Алексей состояли в запрещенной степени родства. Андроник отправил в синод краткое письмо, которое было зачитано и народу, в котором доказывал (если верить Никите Хониату), что этот брак будет способствовать соединению восточной и западной частей империи и освобождению узников, равно как и продвижению многого другого, полезного народу. Мнения в синоде разделились, но его большинство, подкупленное деньгами и почестями, одобрило этот союз, и церемония бракосочетания состоялась под руководством архиепископа Болгарского. Одержавшие верх члены синода утверждали, что раз оба ребенка незаконнорожденные, то они в глазах закона не имеют отношения к своим отцам, а значит, нет никаких препятствий для заключения брака. Патриарх Феодосий не смог «проглотить» такой довод и отказался одобрить этот брак, несмотря на угрозы; но он добровольно удалился в монастырь на острове Теревинф, где и прожил оставшуюся жизнь. Андроник с радостью воспринял эту молчаливую отставку и избрал нового патриарха Василия Каматира (не путать с его тезкой – ослепленным логофетом дрома), который возглавлял проан-дрониковское духовенство.