Ярослав дурно жил со своей супругой Ольгой, дочерью Юрия Долгорукого, и любил другую женщину, именно Анастасию, принадлежавшую к роду какого-то Чагра. Родственники ее получили при княжем дворе большую силу, чем возбудили неудовольствие в других, более знатных боярах. К тому же Ярослав своему незаконному сыну от Анастасии, Олегу, оказывал явное предпочтение перед Владимиром, законным сыном от Ольги Юрьевны. Семейный раздор дошел до того, что в 1172 году Ольга со своим сыном бежала в Польшу. За нею последовали и некоторые недовольные бояре с воеводою Коснятином Серославичем во главе. В Польше они пробыли около восьми месяцев и отсюда завели сношения с партией галицких единомышленников. Чтобы быть ближе к ним, Владимир выпросил у одного из волынских князей город Червень. Между тем недовольным боярам удалось произвести в Галиче переворот. Они возмутили жителей, избили Чагрову родню; схватили Настасью и живую сожгли на костре; сына ее заточили; а князя заставили присягнуть в том, что он будет хорошо жить со своей законной женой. Хотя и совершенная под знаменем семейной законности, эта варварская самовольная расправа послужила пагубным примером для дальнейших отношений боярства к княжеской власти.
Ольга и Владимир воротились в Галич; но домашнее согласие не было восстановлено. Уже на следующем году княгиня и сын ее принуждены были снова бежать из Галича. После некоторых скитаний она удалилась в родной Владимир на Клязьме, где нашла приют у брата своего великого князя Всеволода III, и лет шесть спустя скончалась там, постригшись в монахини под именем Евфросиния. Между тем Владимир искал убежища у разных князей, у Романа Волынского, у князя Туровского, у Давида Смоленского, у дяди Всеволода III. Не желая ссориться с сильным галицким владетелем, князья отсылали от себя изгнанника. Только знаменитый Игорь Северский, женатый на родной сестре Владимира, приютил его в Путивле, пока тот снова не помирился с отцом и не воротился в Галич. Однако полного примирения не было. Выросший посреди семейных раздоров и скитаний, Владимир обнаруживал порочные наклонности и непокорство, а потому не сумел приобрести отцовское расположение. Ярослав продолжал отдавать предпочтение Олегу, которого освободил из заточения и держал при себе. Очевидно, ему удалось на время смирить партию недовольных бояр и восстановить свою власть. Когда же он тяжко заболел и почувствовал приближение кончины, тогда, по словам летописи, этот мудрый, велеречивый, богобоязненный и нищелюбивый князь созвал дружину, граждан, духовенство, и сказал им:
«Отцы, и братья, и сыновья! Вот я уже отхожу света сего суетного; я согрешил паче всех людей. Отцы и братья! простите и отдайте». Три дня продолжалось собрание; в эти дни слуги княжие раздавали его имение монастырям и нищим и будто бы не могли раздать: так велики были богатства, накопленные князем. Впрочем, настоящею целью созванного Ярославом земского веча, как оказывается, было не умилительное раскаяние в своих грехах, а задуманная перемена престолонаследия. Он объявил, что главный стол, то есть отний Галич, оставляет меньшему сыну Олегу, а старшему, Владимиру, приказывает дедний Перемышль. Отсюда ясно, как еще слабо развиты были в те времена понятия о государстве. Ярослав не дорожил единством своей земли, в жертву которому он и отец его принесли всех братьев и племянников. Чтобы доставить престол незаконному, но любимому сыну, он возобновлял удельный порядок в Галиции. Собор, или земское вече, не посмел ослушаться еще живого князя и присягнул на основании его завещания; присягнул на том же и сам Владимир. Но присяга эта не послужила ни к чему. 1 октября 1187 года Ярослав скончался, и на другой день его погребли в соборной церкви Богородицы. Тотчас поднялась сильная боярская партия против сына Анастасии, изгнала Олега и посадила на галицкий стол Владимира. Таким образом, при всем уме и правительственном искусстве, Ярослав Осмомысл своими семейными отношениями сам положил начало последующим галицким неурядицам.