Некоторое время Святослав Ольгович спокойно владел Северским княжеством, возвращенным ему после таких усилий. Но вскоре изменились обстоятельства в войне Изяслава с Юрием, и Юрий должен был отказаться от Киева и отойти в Суздаль.
Святослав Ольгович вынужден был договариваться также со своим родом. Одному бороться не было сил. Он послал сказать Изяславу Давыдовичу: «Мир стоит до рати. Мы все братья; отчины между нами две, одна моего отца Олега, а другая твоего отца Давыда. Ты, брат, Давыдович, а я Ольгович: возьми себе все Давыдово, а что Ольгово, то оставь нам, и мы между собою поделимся».
Изяслав Давыдович поступил по-христиански, принял братьев в любовь и возвратил им их отчину (1151).
Но Юрий не успокоился и опять пошел на Изяслава. Святослав Ольгович по дороге должен был принять его сторону. Дела пошли неудачно, и Юрий должен был отложить на время свое намерение. Его половцы ушли на Путивль домой, разоряя по дороге, а Юрий на Новгород Северский и оттуда в Рыльск.
Святослав Ольгович старался удержать его, выговаривая, что он волость его поел, и жита около города потравил, а теперь хочет оставить его на жертву Изяславу, который «придет на меня из-за тебя и прок волости моей погубит» (1152).
Юрий оставил ему только сына Василька с 30 дружинниками и вернулся в Суздаль, повоевав по дороге остальных вятичей.
Новгород, действительно, подвергся сильному нападению великого князя Изяслава Мстиславича, в начале зимы, в феврале месяце, острог был взят после жаркой битвы, и Святослав получил мир только вследствие приближения весны.
После смерти Изяслава Мстиславича, Изяслав Давыдович успел занять Киев и отдал Святославу Ольговичу Чернигов; но когда показался Юрий, Святослав Ольгович отдал ему назад Чернигов, убедив примириться с Юрием (1154).
Святослав Ольгович отнял тогда у Святослава Всеволодовича Сновеск, Карачев и Воротынск за то, что племянник отступал от него во время последних передвижений.
Он еще получил от великого князя Юрия, за свои услуги, Мозырь, — и был спокоен во все время его княжения (1154–1157).
По кончине Юрия, когда Изяслав Давыдович во второй раз овладел Киевом и отдал Чернигов племяннику Святославу Владимировичу, Святослав Ольгович, сговорившись с другим племянником, Святославом Всеволодовичем, пришел отнимать его. Начались переговоры. Было определено сидеть в Чернигове Святославу Ольговичу, а Новгород Северский отдан Святославу Всеволодовичу.
Таким образом, Святослав Всеволодович, скитавшийся до сих пор из страны в страну, служивший то дядям по матери Мстиславичам, то братьям Давыдовичам, то дяде по отцу Святославу Ольговичу, получил, наконец, себе отцовский город (1157).
Он принимал участие в киевских и черниговских делах.
В Новгороде Северском Святослав Всеволодович прожил семь лет и после смерти Святослава Ольговича черниговского, после долгих прений с его сыном, Олегом, получил Чернигов, а Олегу предоставил (1164) Новгород Северский, обещая наделить сверх того его братьев, Игоря и Всеволода. Но не исполнил.
Олег женился на дочери великого князя Ростислава киевского.
Святослав Всеволодович не хотел наделить его и после смерти Святослава Владимировича (1166) во Вщиже, даже посылал на него рать с половцами, а тот ходил на Стародуб, и уже только в уважение ходатайства великого князя Ростислава он получил четыре города.
Олег Святославич постоянно был с ним во вражде, ходил разорять Черниговские волости, а тот, в свою очередь, отплачивал разорением Новгородских.
Олег ходил часто на половцев, бился с Боняком и победил его (1166); разорил земли Козины и пленил его (1167), участвовал в знаменитом походе великого князя Мстислава Изяславича (1168) и в войне против него Андрея Боголюбского (1169).
В 1173 и 1174 годах вел ожесточенную войну с черниговским князем, Святославом Всеволодовичем, который, наконец, подступил к Новгороду, отбил Олегову вылазку, сжег острог и пленил дружину, но дал ему мир.
Последнее время его жизни прошло в мире и тишине. В 1180 году он скончался, и Новгород достался брату, Игорю Святославичу северскому, который был женат на дочери Ярослава галицкого.
Игорь с усердием действовал заодно со Святославом Всеволодовичем черниговским, и, по примирении последнего с Рюриком Ростиславичем, принимал деятельное участие в их походах на половцев.
В походе 1183 года Игорь не хотел уступить первенства переяславскому князю Владимиру Глебовичу, который за то обобрал, возвращаясь, Северские города.