Тем не менее доказательства, собранные Толстым и его подручными, были сочтены достаточными. Царевич Алексей был приговорен к смертной казни. Ночью он внезапно скончался, по официальной версии — от апоплексического удара, а по слухам — был отравлен, задушен подушкой или даже забит насмерть кнутом в присутствии отца и Толстого.
После завершения следствия канцелярию Толстого должны были упразднить. Но Тайную розыскных дел канцелярию ждала другая судьба. Ей сразу же дали несколько дополнительных поручений, касавшихся «слова и дела». Тайная канцелярия превратилась в постоянно действующий орган. Штаты канцелярии были небольшими. Ею заведовали четыре «министра», которых потом стали называть судьями, а иногда именовали инквизиторами. Формально все четверо были равны, хотя главную роль, бесспорно, играл Толстой. В числе других судей были Г.Г. Скорняков-Писарев, И.И. Бутурлин, А.И. Ушаков. Им помогали секретарь и шесть канцелярских служащих, а также достаточное количество заплечных дел мастеров. Подобно приказам допетровской эпохи, Тайная канцелярия одновременно выполняла функции следственного органа и судебной инстанции.
Параллельно с Тайной канцелярией продолжал свою деятельность Преображенский приказ. Оба учреждения были равноправны, а императорский указ от 28 апреля 1722 г. предписывал местным властям направлять дела о государственных преступлениях либо в Преображенский приказ, либо в Тайную розыскных дел канцелярию. В основном Преображенский приказ принимал дела из Москвы и дальних местностей, а Тайная канцелярия — из новой столицы, Петербурга, и ближайших к нему провинций. Преображенский приказ выполнял гораздо больший объем работы. Так, с 1719 по 1724 г. Преображенский приказ рассмотрел 1363 дела, а Тайная канцелярия — 280 дел.
После смерти Петра Великого Толстой поспешил избавиться от тяжелой обязанности начальника Тайной канцелярии. По указу императрицы Екатерины I (1725–1727 гг.) это учреждение со всеми нерассмотренными делами было передано в ведение главы Преображенского приказа князя Ю.Ф. Ромодановского. Но и сам Преображенский приказ просуществовал только до 1729 г.
Однако самодержавная монархия не могла обойтись без ведомства политического сыска. Упраздненное при малолетнем императоре Петре II (1727–1730 гг.), оно было восстановлено уже при императрице Анне Иоанновне (1730–1740 гг.). Указ от 6 апреля 1731 г. возродил Тайную канцелярию. Ее прежний руководитель Толстой не удержался на плаву среди бурных дворцовых событий. Будучи одним из главных виновников гибели царевича Алексея, Толстой пытался воспрепятствовать воцарению его сына Петра II. Поэтому окружение малолетнего императора распорядилось отправить Толстого в тюрьму Соловецкого монастыря. В камере, куда посадили 82-летнего старика, была такая сырость, что на нем истлела одежда. Там 30 января 1729 г. Толстой скончался.
Возрожденную Тайную канцелярию поручили Александру Ивановичу Ушакову. Он был типичным представителем петровской эпохи, человеком невысокого происхождения, прошедшим путь от солдата Преображенского полка до генерала и готовым взяться за любое поручение. Ушаков заведовал любимым детищем Петра Великого — корабельным строением. По приказу царя он занялся политическим сыском и был самым деятельным помощником Толстого.
Ушаков с необычайной ловкостью приспособился к последующим царствованиям. Как и Толстому, ему грозила опала при Петре II. Но в отличие от своего бывшего начальника Ушаков добился освобождения. Когда члены Верховного тайного совета в 1730 г. попытались ограничить самодержавную власть, Ушаков поставил свою подпись под прошением о восстановлении прерогатив монарха. Это обеспечило ему благосклонность императрицы Анны Иоанновны. После ее смерти в 1740 г. Ушаков сохранил свой пост при императоре-младенце Иоанне Антоновиче (1740–1741 гг.), когда регентом был герцог И. Бирон. И он же вел следствие над Бироном, когда его свергли фельдмаршал Б.К. Миних и вице-канцлер А.И. Остерман. А когда, в свою очередь, свергли Миниха и Остермана, то их опять-таки допрашивал Ушаков. При Иоанне Антоновиче начальник Тайной канцелярии вел дело группы лиц, отказавшихся присягать императору. А после свержения Иоанна Антоновича Елизаветой Петровной (1741–1761 гг.) Ушаков наблюдал за тем, чтобы из всех бумаг было вымарано имя императора-младенца. В глубокой старости Ушаков отошел от дел, уступив свой пост А.И. Шувалову, брату фаворита Елизаветы.