Консерваторы из группы Милославских ненавидели А.С. Матвеева за его ум, способности, приверженность западным традициям. Но если ранее борьба против него носила скрытый характер, то смерть царя Алексея Михайловича положила начало открытому выступлению против А.С. Матвеева. Вначале Милославские, оказывавшие большое влияние на воспитание Федора Алексеевича, отстранили А.С. Матвеева от наблюдения за аптекой, представив дело таким образом, что столь подозрительный и опасный человек, как А.С. Матвеев, не должен иметь непосредственное отношение к здоровью государя. По сути это было замаскированным отдалением его от царя Федора. Опекуном последнего был назначен родовитый боярин князь Ю.А. Долгорукий.
В борьбе против А.С. Матвеева бояре использовали окольничего В. Волынского, который всячески чернил и поносил А.С. Матвеева перед царем. Тогда же датский резидент Магнус Гэ (Монс Гей) сфабриковал донос на А.С. Матвеева. Во время пребывания в Москве Гэ вел себя крайне вызывающе и непристойно. А.С. Матвеев писал в челобитной царю: «Он пьяница был, везде ругался, от всех друзей его возили через лошадь и через седло перекиня, пьяного, в карете, положа вверх ногами пьяного», «Петру Марселису пьян разрезал рюмкою горло, чаять от того и скончался».[491] В письмах датскому королю Гэ часто оскорблял А.С. Матвеева, но в Москве не осмеливался открыто выступать против своего недруга. После того как датский король, зная сомнительное положение Гэ при московском дворе, его необъективные оценки событий, отозвал его, Гэ решил свести счеты с боярином.
По пути из России, следуя через Ярославль, датский резидент оставил ярославскому воеводе Нащокину донос на А.С. Матвеева, обвиняя его в оскорблении царского величества и должностных злоупотреблениях. Кроме того, Гэ прислал царю жалобу на то, что начальник Посольского приказа якобы не доплатил ему 500 руб. за рейнское вино, которое он поставлял ко двору. Долг заплатили, однако обвинения Гэ послужили поводом для отстранения А.С. Матвеева от дел. Неожиданно, когда А.С. Матвеев, как обычно, приехал по делам во дворец, боярин Р.М. Стрешнев объявил ему царский указ о том, что быть теперь ему, А.С. Матвееву, на службе воеводою в далеком городе Верхотурье. Начальником Посольского приказа назначался думный дьяк Л. Иванов. Провожали опального все же с почестью и уважением. Он выехал вместе с сыном, взяв часть имущества, деньги, посольские письма, грамоты царя Алексея Михайловича, книги, лечебники и т. д. Это произошло в июле 1676 г.
Однако вскоре бояре сочли ссылку Матвеева воеводой в Верхотурье недостаточно строгой мерой. В ноябре на него поступил донос от лекаря Д. Берлова. Получивший поддержку бояр, Д. Берлов доносил, что когда он лечил одного из слуг А.С. Матвеева, Захара, то тот ему сказывал, будто болен от побоев своего хозяина. По словам Захара однажды тот видел, как А.С. Матвеев читал «черную книгу» и что было в это время при нем множество «нечистых духов».[492] Бояре потратили немало сил на розыск «свидетелей» колдовства А.С. Матвеева. Привлеченных по его делу отдавали в пыточные камеры, где заставляли давать нужные показания. Однако А.С. Матвеев очень умело отводил обвинения.
Обвинение в колдовстве было в те времена делом серьезным. У А.С. Матвеева производились обыски, искали его знаменитый лечебник, допрашивали его родственников, пытали слуг, делали все, чтобы обвинить его в распространении «черных книг». Он требовал очной ставки со всеми арестованными по его делу людьми, просил в свидетельство своей верной службы взять показания у некоторых бояр и духовных лиц, среди которых были П.А. Долгоруков, А.Н. Трубецкой, П.И. Прозоровский, Г.Г. Ромодановский, архиепископ Симеон Тверской, протопоп Успенского собора Кондрат и др. Однако оправдание не входило в планы судей.
Вскоре А.С. Матвеева вместе с сыном перевезли в Казань, где воеводой был боярин И.Б. Милославский, его давний враг. Охраняли опального пять приставов, словно он был важным политическим преступником. «И в Казани дан был на крепкие приставы и караул», – с горечью писал А.С. Матвеев царю. Через некоторое время в Казань для переписи его имущества был прислан дьяк И. Горохов, ранее служивший в Посольском приказе и за тайную переписку с донскими казаками сосланный в ссылку. В течение почти месяца он переписывал имущество А.С. Матвеева, всячески издеваясь над ним: «И он, Иван, пересмотрел и переписал, и переписав взял без остатка».[493]