Казалось, что в стране наступит тишина, но не тут-то было. Святослав оказался не только умелым полководцем и бесстрашным воином, но и опытным интриганом. События 1068 года наглядно показали ему, насколько непрочна в Киеве власть его старшего брата. И Святослав мысленно представил на киевском столе себя. Эта мысль ему настолько понравилась, что энергичный князь начал действовать в обход закона и права. Обратившись к младшему брату Всеволоду, он восстановил его против Изяслава и в 1073 году заговорщики в очередной раз выгнали старшего брата из Киева. Великим князем стал Святослав, а Всеволод перебрался из Переяславля в Чернигов. Что же касается Олега (тогда ещё не Гориславича), то он по воле отца обосновался на Волыни.
Примечательно, что в данном вопросе расходятся мнения двух великих российских историков — Н.М. Карамзина и В.Н. Татищева. Николай Михайлович пишет о том, что Олег правил во Владимире-Волынском, а Василий Никитич — в Ростове. И здесь, несомненно, прав Карамзин, поскольку в своем «Поучении» Владимир Мономах прямо пишет о том, что его двоюродный брат был впоследствии выведен из Владимира-Волынского. С другой стороны, в 1076 году Олег и смоленский князь Владимир Мономах ходили походом на чешского князя Братислава. Вести дружину из Ростова в поход на чехов, по меньшей мере, глупо, зато для волынского князя подобный рейд вполне логичен и объясним, поскольку враг, можно сказать, под боком.
Вообще же в это время отношения между Владимиром и Олегом складываются очень хорошо, можно даже предположить, что они были друзьями. Недаром Олег Святославич стал крестным отцом у сыновей Мономаха Изяслава и Мстислава. Но всё резко изменилось, когда в том же 1076 году умирает киевский князь Святослав, отец Олега. Всеволод Ярославич оказался перед выбором — либо вступить в борьбу со старшим братом за Киев, либо оставить всё как есть и пропустить Изяслава в столицу. Изяслава поддерживали ляхи, но не это, скорее всего, остановило Всеволода, а то, что в данном случае он действовал не по закону и праву. Как ни поверни, а вернувшийся изгнанник был старшим братом, и в случае продолжения борьбы за киевский стол Всеволод в глазах всей Руси выглядел бы узурпатором. Младшему Ярославичу был чужд авантюризм брата Святослава, он был человеком прагматичным. Просчитав все последствия любого из своих решений, Всеволод решил пойти с Изяславом на мировую. Братья-соперники встретились на Волыни, куда вышел Всеволод с полками, и заключили мир. Изяслав получил Киев, Всеволод удержал за собой Чернигов, а его сын Владимир Мономах так и остался смоленским князем. Но пока Всеволод оставался на Волыни, в оставленном им Чернигове произошли очень интересные события.
Сын князя Вячеслава Ярославича Борис 4 мая 1077 года неожиданно объявился под городом и с ходу захватил его. Причина для такой авантюры могла быть только одна: князь оказался без удела и таким образом пытался восстановить попранную справедливость. Но не задалось, Чернигов Бориса не принял, и, прокняжив там всего восемь дней, он покинул город. Всеволод спокойно вернулся домой. Но не один, а вместе с племянником Олегом, который был лишен княжения во Владимире-Волынском в пользу сына Изяслава. На Руси начиналось очередное перераспределение княжеских столов, и дети Святослава оказываются практически на положении изгоев, поскольку их выводят из уделов. Старшему сыну Святослава Давыду ещё повезло, и он оказался на княжении в Муроме. Для Олега же полоса везения закончилось…
В 1077 году, по сообщению Воскресенской и других летописей, Олег жил у своего дяди Всеволода в Чернигове. Трудно сказать, в качестве кого находился Святославич при своем дяде, может, даже в качестве заложника, поскольку Всеволод был очень хитер. Но в одном можно не сомневаться — видя, как во дворце его отца, где прошла вся жизнь Олега и который он привык считать своим, распоряжаются чужие люди, молодого князя охватывала ярость. Но он пока ничего не предпринимал, а просто сидел и ждал, когда же у дядьев проснется совесть и они выделят ему какой-либо удел, согласно закону и праву. Однако совесть не проснулась, и Олег понял, что за своё место под солнцем ему придется бороться.
Но был ещё один момент, который не мог не пугать даже такого мужественного человека, как Святославич. Дело в том, что Олег опасался, что с него могут спросить за дела отца. Он не сомневался, что его дяде Изяславу хорошо известно, кто же был истинным виновником его изгнания, так же как и в том, что Всеволод постарается как можно больше очернить Святослава, чтобы снять с себя часть вины. В итоге терпение Олега лопнуло. Прождав практически год, когда же старшие родственники выделят ему волость, он в апреле 1078 года побежал туда, куда в последнее время бежали из Русской земли изгои-князья. В Тьмутаракань.