Летом 1897 года граф был назначен членом Гос. Совета, а на его место был назначен его однополчанин барон Фредерикс.
На эту смену оказала влияние молодая Императрица, с которой граф не сходился по некоторым хозяйственным вопросам, связанным с расходами и, кроме того, говорили, что у Императрицы не могло не остаться по адресу графа некоторой горечи за неласковый прием ее в 1889 году, в чем, правильно или неправильно, но обвиняли позже и графа, и его супругу. И даже вспоминали это много позже, когда престарелая графиня так красиво и мужественно встала на защиту Императрицы зимою 1913 года против некоторой группы русской аристократии, о чем будет сказано в своем месте.
В 1905 году граф был назначен наместником на Кавказ. Он принес туда весь свой обширный житейский и государственный опыт и по всем своим личным качествам как нельзя больше подходил к новому посту. Это был поистине большой боярин, действительный вельможа, оставшийся на службе государевой, несмотря на свои несметные богатства. Знавши Государя Николая Александровича с колыбели, носивши его некогда, в буквальном смысле, на руках, старый граф перенес на молодого монарха всю любовь верноподданного с оттенком отеческой нежности человека много более старшего его по годам. Государь же питал к графу особое уважение и любовь, согретую теплыми детскими воспоминаниями; ведь Государь рос и играл с детьми графа. И это чувство не ослабевало к графу до самой его смерти. Смотреть край и войска, порученные этому замечательному человеку-вельможе и ехал теперь Государь Император.
В 1 ч. дня 24-го ноября Государь приехал в столицу области Кубанского Войска - Екатеринодар. Наказной атаман генерал Бабич, депутации, среди которых была даже депутация от англичан, проживавших в Области и почетный караул казаков с юбилейным войсковым знаменем и хором музыки, встречали Государя. Все по-особому, не как везде.
Приняв встречи, пропустив казаков церемониальным маршем, Государь с атаманом в автомобиле медленно направился в собор. Масса народа стояла по пути. За автомобилем скакал взвод казаков. Около собора собрался Войсковой "Круг". Старые знамена и значки, бунчуки и перначи Запорожцев, грамоты, жалованные казачеству (Черноморскому и Линейцам) и даже мундир, пожалованный Императором Александром II - все эти реликвии были вынесены в Круг на встречу Державному Хозяину земли Русской. Государь был в Кубанской форме. А кругом теснилась несметная толпа женщин, детей-казачат и глубоких стариков. Понаехали со всей области. Все взрослое, молодое было на войне. После молебна в соборе, Государь посетил два госпиталя, Женский Мариинский институт и Сиротский приют.
Институтки встретили Государя гимном "Боже Царя храни", а затем лихо спели старую казачью песню:
"Засвистали казаченьки в поход сполуночи,
Заплакала Марусенька свои ясны очи..."
Как к месту, как по моменту подходила теперь эта песня и какой грустью отдались ее последние слова уходящего на войну казака:
"Не плачь, не плачь Марусенька, не плачь не журися,
Той за свово миленького Богу помолися..."
Юные красавицы проводили Государя с неподдельным горячим восторгом.
В 5 час. Государь отбыл из Екатеринодара. Путь лежал через Терскую область и Дагестан, в обход кавказского хребта, мимо Каспийского моря и через Баладжары на Тифлис. На следующий день мой сосед по купе, генерал Дубенский разбудил меня спозаранку, говоря, что грешно спать, когда настолько хорошо то, что мы проезжаем. И действительно, погода была дивная, весенняя. Справа виднелись кавказские горы, слева расстилались степи. Проезжали Терскую область. На каждой маленькой станции было полно народа, детворы. Все махали папахами, платками, шапками, кричали ура...
Гуссейн Эфенди Гаибов, глухой старец 85 лет со слуховым аппаратом в руках, который он, в ожидании Государя, в волнении то и дело прикладывал к уху, встретил Государя во главе духовенства своего толка и сказал краткую речь. Это было при входе. Государь подал старцу руку и прошел в утопавшую в коврах мечеть. Древний муфтий был так растроган встречей с Государем, его лаской и вниманием, что поднял руку и, показывая ее окружающим, повторял: "Это ведь не шутка. Сам Государь подал руку. Это ведь не шутка".
Посещение Государем мечетей в узких восточных улицах, где едва проезжал автомобиль, произвело огромное впечатление на туземное население. Оно горячо обсуждалось простым народом.
Объехав храмы, Государь проехал во дворец. Его Величество прошел в комнату, где лежал больной Наместник и долго у него оставался. Во дворце разместились из свиты только: граф Бенкендорф, Воейков и граф Шереметьев (флигель-адъютант, зять Наместника). Всей свите во дворце места не хватало и на вопрос графа, кого в числе трех поместить там, Государь назвал именно этих лиц.
После завтрака Государь посетил три лазарета с ранеными и вернулся во дворец, где долго принимал доклад о положении на Кавказском фронте. Перед дворцом же, как лавина, переливался народ. Вечером же, когда окна дворца осветились, толпы народа все гуще и гуще заполняли площадь. Во дворце шел обед, а перед дворцом народ ожидал чего-то.
После обеда, перейдя в белый зал, выходивший на площадь, Государь слушал казачий хор песенников Наместника. Хор отлично исполнял казачьи песни. Государю особенно понравилась одна старая песня Запорожцев. Их взяли Турки в плен. И пленные казаки гребут на галерах и поют об утерянной воле. Песня плакала но далекой родине. Уже после Государь вспоминал об этой песне.
Во время концерта Государь разрешил ввести группу туземцев простолюдинов музыкантов-Дудукчи. Их ввели во главе с городским головой Хатисовым. Старший из них обратился к Государю с приветствием и благодарил за то, что Государь принял их - представителей простого народа, по старому кавказскому обычаю. Другие поднесли Государю кавказские фрукты и сласти "табахами". Затем "дудукчи" стали играть. Один забил в барабан, другой во что-то вроде бубна, а несколько человек принялись поочереди плясать кавказские танцы: "кинтоури", "лезгинку" и "узардары". Государь с любопытством смотрел на необычайное зрелище, ласково поблагодарил туземцев и затем подошел к раскрытому окну. Толпа на улице загремела ура. В воздух полетели шапки, папахи. Государь кланялся. Восторг был неописуемый.
Вечером лица свиты, которым не хватило места во дворце, поместились в той гостинице, где помещался и я. Князь Орлов, не зная истинной причины происшедшего, стал обвинять в интриге Воейкова. Когда все разъяснилось, он не преминул пройтись по адресу графини Воронцовой, называя ее Екатериной Великой за великолепие ее приема Государю. Князь не лишен был остроумия, за что его некоторые и не жаловали.
Вечером князь Орлов уже знал подробно насколько растерялся в те дни войны помощник Наместника по военной части генерал Мышлаевский. Командуя фронтом, он сидел в Тифлисе и доказывал Наместнику чуть ли не необходимость эвакуации Тифлиса. Такое паникерство не соответствовало ни положению на фронте, ни геройскому настроению войск. Но Мышлаевский был в панике. Наместник не разделял мнения своего помощника и оставался спокоен. Он был болен. Лежал. Приезд Государя и его спокойствие явились новым холодным душем для Мышлаевского. Ему были даны энергичные инструкции и он поневоле был принужден выехать на фронт. Генералу Мышлаевскому и его окружению приезд Государя был весьма неприятен. При больном Наместнике, когда Ставка была так далеко, было так спокойно. И вот приезд Государя нарушил этот покой. Вокруг Наместника и его помощника забурлило. А князь Орлов все собирал и собирал сведения, что и как делалось в Кавказской армии.
На второй день, 27-го утром состоялся высочайший прием воженных и гражданских чинов, представителей дворянства, городского самоуправления, купечества, крестьянства. Это был день праздника 17-го драгунского Нижегородского полка и Государь, как его шеф, был в полковой форме. После завтрака Государь посетил три лазарета с ранеными, много говорил с ними, многим дал награды. Вечером же, перед дворцом, состоялась грандиозная манифестация учащихся всех учебных заведений Тифлиса с оркестрами музыки, фонарями и флагами, обратившаяся вскоре во всенародную. Государь несколько раз подходил к раскрытому окну, кланялся. Овации продолжались до полуночи.