Падение генерал-губернатора было вызвано сложным клубком придворных интриг, не последнюю роль в которых сыграл граф Аракчеев, сперва покровитель, а впоследствии недоброжелатель Пестеля-старшего.
К 1817 году Иван Пестель стал приобретать некоторую самостоятельность в политических придворных интригах. Пошатнулось положение при дворе министра финансов Гурьева — и Пестеля, к тому времени уже члена Государственного совета, стали прочить на эту должность. Слухи о своем назначении в министры финансов сам Иван Борисович считал не вовсе безосновательными. Тогда же Пестелю был предложен пост министра полиции, от которого, правда, он отказался. Именно в конце 1817 года отношения между Аракчеевым и Пестелем испортились. Аракчеев настоял на отставке своего бывшего протеже и на назначении на его место опального Сперанского. При этом Аракчееву пришлось убеждать в необходимости этой смены расположенного к Пестелю императора.
Замечательный русский реформатор Сперанский, бывший для многих своих современников символом либерализма и вольномыслия, сыграл в судьбе Ивана Пестеля роковую роль. Они были давними знакомыми и даже приятелями — это видно, в частности, из дошедшей до нас личной переписки Сперанского. Правда, после опалы Сперанского эти отношения прекратились. В 1812 году Сперанский был обвинен в государственной измене и сослан — сначала в Новгород, а затем в Пермь.
Назначение в Сибирь было для Сперанского концом опалы. Будучи не менее Пестеля опытным в придворных интригах, он повел ревизию осторожно — опасался, что у его предшественника по генерал-губернаторству «могут найтись влиятельные заступники». Сам Иван Борисович писал впоследствии: в Сибири Сперанский первое время «хотел поступать кротко и особенно без притеснений».
Такой ход дела не понравился «врагам» Ивана Борисовича в высшем свете. И уже в середине 1820 года в своем письме Аракчееву Сперанский утверждал, что если раньше не хотел «говорить ничего худого» об Иване Борисовиче, то теперь не может «пожертвовать правдою». Согласно же мемуарам самого Ивана Пестеля, Сперанский, «забыв и совесть, и правила свои, решился распоряжаться так, чтобы найти как можно более виновных, а мое правление представить в дурном виде».
В ходе ревизии новый генерал-губернатор настойчиво стал искать доказательства виновности генерал-губернатора бывшего: организовал три следственные комиссии по вопросу о взяточничестве и казнокрадстве в крае. Но комиссии эти, выявив множество мелких чиновников-взяточников, так и не смогли доказать причастность Ивана Борисовича к подобным злоупотреблениям. Несмотря на это, Сперанский писал в Петербург: «Не верьте бедности моего предместника».
Конечно, Иван Пестель не имел законодательных и реформаторских талантов Сперанского, однако как администратор-практик Сперанский вряд ли превосходил «предместника». Во многом Сперанский вынужден был пойти по стопам Пестеля: в частности, он довел до конца начатую Пестелем борьбу с самостоятельностью купечества. Кроме того, весьма сомнительно, чтобы жизнь в этой окраине России, каторжном крае, оторванном тысячами километров от столицы, вообще можно было полностью «исправить» умелым генерал-губернаторским управлением.
Сам Сперанский вполне это сознавал. «Как вы могли подумать, что я пущусь управлять Сибирью, коею никто и никогда управить не мог?» — честно признавался он в частном письме. А в официальной бумаге, адресованной министру просвещения и духовных дел князю Голицыну, он выражался еще красноречивее: «По необходимости должно решиться оставлять много зла без исправления и утешаться только тем, что оно замечено, обнаружено и со временем, при лучших правилах и с другими людьми, может быть исправлено». Через три года после назначения в Сибирь Сперанский оставил свой пост. Морской офицер Стогов, снова заехавший в Сибирь, но теперь уже после деятельности там Сперанского, писал, что нашел в Иркутске «убийства, грабежи, шайки разбойников… Села, деревни по наружности очень обеднели; если чего и не забудете, то у вас украдут все, что можно; дороги, мосты очень дурны».
Пока в Сибири шла ревизия, Иван Пестель оставался сенатором и членом Государственного совета. Считая себя невиновным во взяточничестве и казнокрадстве, он полагал, что полная отставка и отъезд из Петербурга будут означать признание им своей вины. При этом он, очевидно, надеялся, что после ревизии его карьера вновь поправится. Однако этого уже не произошло: в 1821 году Сперанский возвратился из Сибири в Петербург, был милостиво принят царем и назначен в Государственный совет. Царским указом от 28 июля 1821 года «для рассмотрения отчета, представленного сибирским генерал-губернатором по обозрению сибирских губерний», был создан специальный Сибирский комитет, состоявший в основном из врагов Ивана Пестеля. Сам бывший генерал-губернатор в состав этого комитета приглашен не был.
22 января 1822 года последовала окончательная отставка тайного советника Пестеля. «По совести моей могу сказать, что после моей отставки нога моя не была в доме какого-нибудь министра или другого значительного человека. Я слишком живо чувствовал свою невинность и всю несправедливость подобного со мной обращения, чтобы с кем-нибудь объясниться на этот счет. Охотно бы просил я средств к оправданию, но кто бы меня судил? Те же сильные люди, которые так много трудились, чтобы меня свергнуть. Мне бы опять пришлось перенести столько оскорблений, что они сократили бы мою жизнь, которая была еще необходима моему семейству». «Да не считают меня только жена и дети мои виновным, и да унесу я с собою в могилу удостоверение их уважения и любви!» — писал Пестель-старший в мемуарах.
Обремененный огромными долгами, Иван Борисович уехал из столицы в принадлежавшую его жене маленькую деревню Васильево Красницкого уезда Смоленской губернии, разоренную войной и насчитывавшую всего 149 крепостных «душ». И хотя при отставке он получил от царя пожизненную пенсию, жить пришлось просто на грани нищеты. Пенсия полностью уходила на покрытие долгов.
Тот же самый Герцен, размышляя о «сибирском сатрапе», всячески подчеркивал оторванность Павла Пестеля от отца. Повествуя о «злодействах» и беззакониях генерал-губернатора Сибири, Герцен описывал сцену последнего свидания отца с приговоренным к смерти сыном: «Говорят, что он в присутствии шпионов и жандармов осыпал сына бранью и упреками, желая высказать свое необузданное верно-подданничество. Отеческое увещевание он заключил вопросом: «И чего ты-то хотел?» — «Это долго рассказывать, — ответил оскорбленный сын. — Я хотел, между прочим, чтоб и возможности не было таких генерал-губернаторов, каким вы были в Сибири».
Эпизод этот был Герценом вымышлен: предсмертного свидания просто не было, а отношения отца и сына строились совершенно по-другому. Павел Пестель любил и почитал отца, ненавидел его врагов, внимательно прислушивался к отцовским советам. Большинство из дошедших до нас писем отца к сыну проникнуто практическими соображениями о том, как следует делать карьеру. Связей Ивана Борисовича, конечно, хватило на то, чтобы обеспечить ему достойное «вхождение в свет». Однако в будущем Павел Пестель должен был рассчитывать прежде всего на свои силы.
В качестве примера для подражания в искусстве делать карьеру Иван Борисович рекомендовал сыну себя самого. «Есть средства очень благородные оказывать любезности тем лицам, которые могут быть нам полезны. Не надобно пренебрегать этими средствами, мой друг. Служба прежде всего, но маленькие одолжения, которые может себе позволить честный человек, не должны быть забываемы. Ты довольно знаешь меня, мой дорогой Павел; так вот такой человек, как я, никогда не упускал случая оказывать любезность и внимание моим начальникам, что не входило в мою обязанность как подчиненного» — таков общий совет, который отец дает Павлу Пестелю, только еще вступающему на служебную дорогу. Существовали и советы частного характера: «сблизиться» с графом де Местром, сходить к Аракчееву, приобрести расположение влиятельных при дворе генералов, вообще стараться устанавливать дружеские отношения с теми, кто «пользуется доверием у императора».