Падение Матвеева было решено: представили, что нельзя такого подозрительного человека оставить правителем аптеки, когда государь болен, и аптеку отняли у Матвеева; потом датский резидент Монс Гей, уезжая из Москвы, прислал жалобу, что Матвеев не доплатил ему 500 рублей за рейнское вино, поставленное им ко двору, и что на его требование прислали ему из Посольского приказа фальшивый контракт на эту поставку. 500 рублей велели заплатить Гею и воспользовались этим случаем, чтоб отнять у Матвеева заведование посольскими делами и удалить его из Москвы. Когда Матвеев приехал по обычаю во дворец, боярин Родион Матвеевич Стрешнев вынес указ из комнаты в переднюю и объявил ему: «Указал великий государь быть тебе на службе в Верхотурье воеводою». Посольский приказ был поручен думному дьяку Лариону Иванову. Матвеев с сыном и племянниками отправился в почетную ссылку; при них был монах, священник, учитель сына польский шляхтич Поборский, большая дворня; взяты были две пушки для безопасности. Но в Лаишеве Матвеева остановили: приехал полуголова московских стрельцов Лужин и потребовал книги лечебника, в котором многие статьи писаны цифирью, потребовал двоих людей: Ивана-еврея и карлу Захара; Матвеев отвечал, что книги нет, а людей выдал. С месяц после этого прожил Матвеев в Лаишеве, как однажды разбудили его ночью: приехали из Москвы думный дворянин Соковнин и думный дьяк Семенов: «Давай жену Ивана еврея, давай письма, давай имение на осмотр, давай племянников, давай монаха, давай священника, давай всех людей!» Матвеев сейчас все и всех выдал; Соковнин и Семенов поехали на съезжий двор и послали оттуда за Матвеевым, чтоб пришел сейчас же; боярин пошел пешком; здесь расспрашивали его племянников и людей о знаменитом лечебнике, взяли сказки за руками, взяли с Матвеева сказку о том, как составлялись и подносились лекарства больному царю. Матвеев показал, что лекарства составлялись докторами Костериусом и Стефаном Симоном по рецепту, а рецепты хранятся в аптекарской палате; всякое лекарство отведывал прежде доктор, потом он, Матвеев, а после него дядьки государевы, бояре, князь Федор Федорович Куракин и Иван Богданович Хитрово, после же приема что оставалось лекарства допивал опять он же, Матвеев, в глазах государя. За Соковниным и Семеновым явился в Лаишев дворянин с указом перевести Матвеева в Казань. Здесь воевода Иван Богданович Милославский приставил к нему караул, и скоро пришел царский указ – отпустить людей по деревням, других на волю; потом ночью приехал дьяк Горохов: «Где имение, давай сейчас!» Матвеев отвечал: «В животах моих ни краденого, ни разбойного, ни воровского, ни изменного, ни заповедного нет, животы отца моего и родителей его, животы матери моей и родителей ее и мои нажитые милостию божиею и великих государей жалованьем, за посольские службы и за мои работы ратные, за крови и за всякие великие работы в 69 лет нажитые, а когда час пришел невинному нашему разоренью, что великий государь изволил животы все взять без вины моей, в том воля божия и его, государская!» Приехал стольник Тухачевский, назначенный приставом к Матвееву, и потребовал от него пушек, пороху, свинцу, панцирей, шапок, наручей. «К унятию всякого воровства был я починщик, а не к начинанию», – отвечал Матвеев. Затем явился присланный от воеводы стрелецкий голова, взял Матвеева, сына его, людей с женами и детьми и повел в съезжую избу пешком, на позор людям. Тут в съезжей избе объявили ему вины: он написал в сказке своей в Лаишеве, что после приема лекарства государем остаток выпивал он, Матвеев; но дядьки государевы, князь Куракин и Хитрово, объявили, что никогда он не выпивал остатков. Лекарь Давыд Берлов донес, что лечил он у Матвеева человека его, карлу Захара, и тот говорил ему, что болен от господских побой: однажды он заснул за печью в палате, в которой Матвеев с доктором Стефаном читали черную книгу; во время этого чтения пришло к ним множество злых духов и объявили, что есть у них в избе третий человек; Матвеев вскочил и, найдя его за печью, сорвал с него шубу, поднял, ударил о землю, топтал и выкинул из палаты замертво. Берлов прибавил, что он сам видел, как Матвеев с доктором Стефаном и переводчиком греком Спафари, запершись, читали черную книгу; Спафари учил по этой книге Матвеева и сына его Андрея. Матвеев хотел было говорить, но дьяк Горохов крикнул: «Слушай! Молчи, а не говори». У Матвеева отняли боярство, все имение, дали только тысячу рублей и сослали на житье в Пустозерск вместе с сыном.