По возвращении императора в 15-м году, он просил у министров на месяц отдыха; потом передал почти все управление государством графу Аракчееву. Душа его была в Европе; в России же более всего он заботился об увеличении числа войск. Царь был всякий день у развода; во всех полках начались учения, и шагистика вошла в полную свою силу.
Служба в гвардии стала для меня несносна. В 16-м году говорили о возможности войны с турками, и я подал просьбу о переводе меня в 37-ой егерский полк, которым командовал полковник Фонвизин, знакомый мне еще в 13-м году и известный в армии за отличного офицера. В это время Сергей Трубецкой, Матвей и Сергей Муравьевы и я — мы жили в казармах и очень часто бывали вместе с тремя братьями Муравьевыми: Александром, Михаилом и Николаем. Никита Муравьев также часто видался с нами. В беседах наших обыкновенно разговор был о положении России. Тут разбирались главные язвы нашего отечества: закоснелость народа, крепостное состояние, жестокое обращение с солдатами, которых служба в течение 25 лет почти была каторга; повсеместное лихоимство, грабительство и наконец явное неуважение к человеку вообще. То, что называлось высшим образованным обществом, большею частью состояло тогда из староверцев, для которых коснуться которого-нибудь из вопросов нас занимавших показалось бы ужасным преступлением. О помещиках, живущих в своих имениях, и говорить уже нечего.
Один раз Трубецкой и я — мы были у Муравьевых, Матвея и Сергея; к ним приехали Александр и Никита Муравьевы с предложением составить Тайное Общество, цель которого, по словам Александра, должна была состоять в противодействии немцам, находящимся в русской службе. Я знал, что Александр и его братья были враги всякой немчизне, и сказал ему, что никак не согласен вступить в заговор против немцев; но что если бы составилось Тайное Общество, членам которого поставлялось бы в обязанность всеми силами трудиться для блага России, то я охотно вступил бы в такое Общество. Матвей и Сергей Муравьевы на предложение Александра отвечали почти то же, что и я. После некоторых прений Александр при знался, что предложение составить общество против немцев было только пробное предложение, что сам он, Никита и Трубецкой, условились еще прежде составить общество, цель которого была в обширном смысле благо России. Таким образом положено основание Тайному Обществу, которое существовало, может быть, не совсем бесплодно для России.
Было положено составить устав для Общества, и в начале принимать в него членов не иначе, как с согласия всех шестерых нас. Вскоре после этого я уехал из Петербурга в 37-ой егерский полк. Заехав по пути к дяде, который управлял небольшим моим имением в Смоленской губернии, я ему объявил, что желаю освободить своих крестьян. В это время я не очень понимал, ни как это можно было устроить, ни того, что из этого выйдет; но имея полное убеждение, что крепостное состояние мерзость, я был проникнут чувством прямой моей обязанности освободить людей, от меня зависящих. Мое предложение дядя выслушало, даже без удивления, но с каким-то скорбным чувством; он был уверен, что я сошел с ума.