Политическое чутье изменило Шафирову, он настроил против себя не только Меншикова, но и обер-прокурора Сената Г.Г. Скорнякова-Писарева, а также канцлера Г.И. Головкина.
Уже в 1723 году Правительствующий сенат приговорил Шафирова к смерти и конфискации имущества, в том числе и каменных палат. Петр (побывавший в гостях у Шафирова незадолго до приговора) сжалился над осужденным, заменив казнь ссылкой. Так бывший фаворит и жил в Нижнем Новгороде, пока в 1725 году императрица Екатерина I не возвратила его из ссылки и не реабилитировала. А в палатах с 1723 года жил уже другой человек – граф Петр Андреевич Толстой, управляющий Тайной канцелярией, секретной службой империи, наводившей ужас одним своим упоминанием. Палаты в Огородной слободе были сродни переходящему Красному знамени, владение которым означало большую честь и близость к престолу. Толстой оказал царю неоценимую услугу – в 1717 году выманил в Россию царевича Алексея из Европы, а затем возглавил следствие по его делу. Вряд ли столь ответственный процесс, как расследование деяний собственного сына, Петр мог бы поручить кому попало. Много в окружении царя было доверенных лиц и собутыльников, но выбор его пал именно на Толстого. Что же касается смерти царевича, до сих пор неясно – действительно ли он был казнен, скончался ли от пыток или умер от апоплексического удара. Причастность графа к смерти царевича Алексея и стала причиной краха его карьеры уже на следующем историческом этапе, наступившем после смерти Петра Великого. Естественно, что для Толстого восхождение на трон сына царевича Петра II было неприемлемо. И потому в союзе с Меншиковым он в 1725 году активно поддержал императрицу Екатерину I. Однако когда в 1727 году пришел черед искать преемника уже ей самой. Толстой с Меншиковым разошлись во взглядах на будущее российского престола. Александр Данилович сватал свою дочь за малолетнего Петра II, видя в этом огромную выгоду для себя. А Петр Андреевич ратовал за возведение на трон одной из дочерей Петра I. В итоге Меншиков победил, и в мае 1727 года старого графа Толстого отправили в ссылку на Соловки, где он через два года и преставился. А все имущество его и даже титул отобрали – в ссылку он отправился в одном овчинном тулупе.
Палаты Толстого приглянулись ближайшему помощнику Меншикова Алексею Волкову, обер-секретарю Военной коллегии. Напомним, что сам Меншиков к тому времени стал генералиссимусом, а фактически был правителем России при малолетнем Петре II (вспоминаются пушкинские строки о Меншикове из «Полтавы»: «Счастья баловень безродный, полудержавный властелин»). Но пожить в палатах Волков, два десятка лет служивший своему патрону верой и правдой, не успел. Не прошло и трех месяцев, как уже в сентябре 1727 года Меншикова отправляют вслед за Толстым, только не на Соловки, а в Березов Тобольской губернии. Как только яркая звезда Меншикова закатилась, сгустились тучи и над его обер-секретарем. И по какой-то неведомой причине с тех пор к зданию словно прилепилось название «палаты Волкова», заметим, не Шафирова с Толстым, а именно Волкова.
Словно проклятие висело над старыми палатами – бывшие хозяева один за другим отправлялись кто в ссылку, а кто и в тюрьму. Москвичи даже стали косо поглядывать в сторону дворца – кто следующий? Однако охота пуще неволи, и вот уже здесь обживается новый владелец. Им оказался князь Григорий Дмитриевич Юсупов. Он челом бьет Петру II, буквально выпрашивая себе волковские палаты. А Волкова в своем доносе-прошении он называет «согласником» во всех «непорядочных и худых проступках князя Меншикова». «Ныне, – просит Юсупов, – у него, Волкова, оный двор описан на Ваше ж Императорское Величество, а я, нижайший, двора своего в Москве не имею, а другим многим моей братьи в Москве дворы с каменным строением всемилостивейше пожалованы. Всемилостивейший Государь, прошу дабы Вашего Императорского Величества указом за многие мои службы вышеобъявленным двором повелено было пожаловать меня нижайшего». Прошение князя было удовлетворено. С 1727 года Юсуповы владели палатами без малого два века – до 1917 года.