Джафар был человеком совершенно иного склада. Правда, он также временами управлял Египтом, Сирией, а позднее и Хорасаном, но в провинции выезжать не любил, обычно жил в Багдаде. Харун ар-Рашид ценил общество Джафара, его остроумие, образованность и умение себя вести, часто приглашал его во дворец и сделал его своим собеседником и сотрапезником (надимом).
Мудрые и опытные политики, Бармакиды всячески старались добиться консолидации в мусульманском обществе, дабы предотвратить возможный распад государства. Предметом их особого беспокойства было положение в восточных областях Халифата, а также проблема взаимоотношений правящей династии с Алидами, к которым они старались проявлять максимум снисходительности даже в тех случаях, когда те открыто демонстрировали оппозицию властям.
Особое внимание Бармакиды уделяли иранским областям империи. В силу своего происхождения они, вероятно, сочувствовали возрождению национальных чувств в Хорасане и других восточных областях и были озабочены тем, чтобы улучшить условия жизни обитателей этих провинций. Порой это вызывало недовольство Харуна, с подозрением наблюдавшего за процессами национального подъема в иранских провинциях империи. В условиях возрождения сасанидских государственных традиций и придворного церемониала Бармакиды служили при халифском дворе как бы живым воплощением былого иранского блеска. Их богатство, щедрость и великодушие снискали симпатии современников, что часто вызывало в душе халифа чувство досады. И хотя Бармакиды полностью предоставляли свой административный талант в распоряжение халифа, в сознании Харуна постепенно созревала мысль о том, что, исходя из его политических целей и для защиты личной самодержавной власти от возможного посягательства могущественного рода, ему следует избавиться от Бармакидов. Подобно аль-Мансуру и аль-Махди, Харун ар-Рашид более всего опасался Алидов и вел за ними постоянное наблюдение. Он принял ряд мер, чтобы пресечь выступления Алидов против правящей династии. Один из Алидов, Йахья ибн Абдаллах, брат Мухаммада ибн Абдаллаха, в свое время поднявшего восстание против Аббасидов и погибшего в сражении с войском Исы ибн Мусы в 762 году, попытался создать в 792 году в Дайламе и Табаристане независимый эмират. Его поддержал через своего посланца Бармакид аль-Фадл. Позднее аль-Фадл от Йахьи отрекся и посоветовал ему сдаться халифской армии. Йахья получил от Харуна обещание безопасности (аман), но после приезда в Багдад был заключен в тюрьму, где и умер.
В дальнейшем аль-Фадл также вел себя довольно двусмысленно и независимо по отношению к Алидам. Когда Муса аль-Казим из Хусайнидов, ставший позднее седьмым шиитским имамом, был передан в его руки для наказания, он, вопреки воле Харуна, обращался с ним уважительно, хотя Муса был обвинен в изменнических намерениях. Терпимая политика Бармакидов по отношению к Алидам вызывала недовольство Харуна. В гневе он даже лишил аль-Фадла всех полномочий и отстранил его от власти. Аль-Фадла спасло лишь заступничество его отца Йахьи и то обстоятельство, что, испугавшись, он сам отдал приказ о казни Мусы. Тем не менее еще за четыре года до окончательной расправы с Бармакидами аль-Фадл был посажен под домашний арест. Это был первый сигнал усиливающейся враждебности халифа к пользовавшемуся уважением во всех слоях общества роду.
В 790 году умерла покровительствовавшая Бармакидам мать халифа – Хайзуран, и Харун получил большую свободу действий в управлении страной. Поскольку сыновьям Йахьи – аль-Фадлу и Джафару было поручено воспитание наследников престола, Харун, видимо, опасался, что после его смерти они могут возглавить государственную политику. Однажды ночью в 803 году Харун неожиданно приказал схватить и казнить своего советника Джафара, а вазира Йахью и его второго сына аль-Фадла бросить в тюрьму, где они и умерли. Нет сомнения в том, что Харун давно готовил эту операцию и неожиданной она показалась лишь людям, слабо осведомленным в придворной кухне. Жестокая расправа над Бармакидами, так поразившая современников, была следствием давно назревавшего конфликта.