Между тем голос общества и особо интеллигентного люда - был против графа Шувалова, который по России не был любим и особо стал ненавистен после Берлинского трактата, по которому, как говорили, он предал интересы России. Я полагаю, зная Шувалова и имея с ним несколько бесед в С.-Петербурге, когда уже он не находился на посту шефа жандармов, а отбывал службу члена Государственного совета, что вся неудача его действий на Берлинском трактате исходила от неполученного им высшего образования, в каковом он, несомненно, уступал Биконсфильдам и Бисмаркам, с коими он справиться не мог в смысле незнаний исторических и дипломатии; природного ума был большого граф Шувалов несомненно, но дарования эти не были поддержаны и закреплены получением высшего образования. Назначение на пост посла в Лондон графа Шувалова последовало, по слухам, с целью произвести успокоение англичан, обеспокоившихся походом России на Хиву, и в целях устройства брака великой княжны Марии Александровны с герцогом Эдинбургским. Сверх того это назначение состоялось вследствие появившегося единственного противовеса влиянию на государя со стороны наследника, глубоко ненавидевшего графа Шувалова, в то время, когда наследник стал принимать участие в государственных делах. Одною из причин ненависти и нерасположения наследника к графу Шувалову, как говорили, было то, что одно из частных писем наследника содержанием своим сделалось известным государю, чрез перлюстрацию писем на почте, каковая производилась, по убеждению наследника и многих частных лиц, чрез графа Шувалова как шефа жандармов, что совершенно и безусловно ошибочно и неверно. Перлюстрация писем производилась распоряжением министра внутренних дел, которому были подчинены почта и телеграф, но не шефом жандармов. Император Александр II, как мне говорил М.И. Чертков, очень интересовался перлюстрацией писем, которые каждодневно, в 11 часов утра, препровождались министром вн. дел Тимашевым в особом портфеле, на секретный замок запираемом, государю, который некоторые тотчас же сжигал в камине, на других собственноручно излагал заметки и резолюции и вручал их шефу жандармов для соответственных сведений и распоряжений по ним секретного свойства, надзора, наблюдения и установления авторов писем и указываемых в них лиц. Наследник Александр Александрович перлюстрацию писем, хотя и составлявшую драгоценно-верный агентурный источник для политических дел в особенности, не одобрял, хотя и в последующие годы таковая практиковалась чрез особых доверенных почтовых цензоров, которые никакого отношения и сношения с чинами корпуса жандармов никогда не имели.
Когда граф Шувалов удалился от активной государственной деятельности, перейдя в частную жизнь, сопровождавшуюся лишь посещением Государственного совета в царствование императора Александра III, он не носил генерал-адъютантской формы, а носил общегенеральскую; активной деятельности он жаждал по своему честолюбию и как выражение протеста сбросил с себя генерал-адъютанский аксельбант.