Как мы уже говорили, партия Сильвестра и Адашева (то есть все боярство) явно не сочувствовала войне с Ливонией, полагая, что надо воевать с Крымом; при этом Сильвестр, человек, бесспорно, большого благочестия, но очень властный и мелочный, не только постоянно докучал Иоанну своими наставлениями, вторгаясь даже в его супружеские отношения, но не переставал укорять его и за Ливонскую войну: «Началась война с Ливонцами, – писал впоследствии Иоанн князю Курбскому, – Сильвестр с вами, своими советниками, жестоко за нее восставал; заболею ли я или Царица, или дети – все это, по вашим словам, было наказание Божие за наше непослушание к вам».
Недовольство бояр новыми московскими порядками с самодержавным царем во главе продолжалось, разумеется, и после выздоровления Иоанна; Литва с ее огромными вольностями для больших панов служила им постоянной приманкой; начиная с 1554 года, движение московского боярства на Литву принимает, по словам одного польского писателя, «угрожающие размеры».
В июле 1554 года был застигнут при побеге к Литовским пределам князь Никита Ростовский; при этом было обнаружено, что, кроме него, собрался также бежать думный боярин князь Семен Ростовский со всей своей обширной родней – Лобановыми и Приимковыми; они вступили в сношения с Сигизмундом-Августом, а князь Семен Ростовский водился в Москве с польским послом Довойной, поносил ему Иоанна и рассказывал, что говорилось в Государевой думе насчет мира с Польшей. Подобный поступок являлся, очевидно, прямой изменой, за которую и в наше время полагается по закону смертная казнь. Царь и бояре осудили виновных к тому же наказанию, но затем, снисходя на просьбу духовенства, государь их помиловал и ограничился отправлением в ссылку на Белоозеро. К его большому неудовольствию, Сильвестр после этой ссылки относился с необыкновенным сочувствием к князю Семену Ростовскому и ко всему его роду. «Когда князь Семен Ростовский изменил и мы наказали его с милостию, то Сильвестр с вами, злыми советниками своими, начал его держать в великом бережении и помогать ему всяким добром, и не только ему, но и всему роду его», – читаем мы в письме Иоанна к князю Курбскому.
Сильное неудовольствие возбудило также в Иоанне поведение Сильвестра и его сторонников в отношении царицы Анастасии Романовны во время путешествия поздней осенью 1559 года, причем ее смерть он прямо приписывал огорчениям, претерпенным ею от дворцовых дрязг. «Зачем вы разлучили меня с женой? – спрашивал Иоанн Курбского в одном из своих последующих писем. – Если бы вы не отняли у меня мою юницу, то Кроновых жертв и не было бы (боярских казней). Только бы на меня с попом (Сильвестром) не стали, то ничего бы и не было, все учинилось от вашего самовольства…» «Как вспомню этот тяжкий обратный путь из Можайска с больной Царицей Анастасией… – говорит царь в другом месте своей переписки с Курбским. – Молитвы, путешествия ко святым местам, приношений и обетов ко святыне о душевном спасении и телесном здравии – всего этого мы были лишены лукавым умышлением; о человеческих же средствах, о лекарствах во время болезни и помину не было…».
Главной же причиной недовольства государя на Сильвестра и Адашева являлось, конечно, все более и более возраставшее в нем убеждение, что они, войдя в сношение с боярской партией, стали за его спиною сами всем распоряжаться в государстве, что, разумеется, должно было казаться Иоанну особенно нестерпимым и обидным, так как он, испытав в детстве страшное своеволие бояр, необыкновенно чутко и болезненно относился к тому, чтобы никто не смел посягать на полученную им от Бога царскую власть. «Подружился он (Сильвестр) с Адашевым и начали советоваться тайком от нас, считая нас слабоумными, мало-помалу начали они всех вас, бояр, в свою волю приводить, снимая с нас власть», – писал об этом царь Курбскому.
И действительно, нет сомнения, что Сильвестр и Адашев с боярами старались незаметно, но исподволь ограничить царскую власть. Они раздавали саны и вотчины самовольно и противозаконно и, по-видимому, даже старались отобрать у государя право жаловать боярство: «от прародителей наших данную нам власть от нас отъяша, – писал Иоанн, – еже вам, бояром нашим, по нашему жалованью честию председания почтенным быти».
Перед смертью царицы Анастасии Сильвестра и Адашева уже не было при дворе; Сильвестр, вследствие неприятностей в описанном государем последнем его путешествии с женою, добровольно удалился от двора и постригся в Кирилло-Белозерском монастыре, а Адашев был отправлен в Ливонию, как бы в почетную ссылку – третьим воеводою большого полка.