Стычка с пристыженным Толстым ротмистром, а через него и с Долгоруковым, крепко врезалась в память домашних. Генерал-губернатор к Льву Николаевичу не приехал. К счастью, вскоре Сютаев покинул гостеприимный дом Толстых, а на вопрос одного из своих адресатов в феврале 1884 года, жив ли он, писатель ответил: «Жив. Я не могу видеть его. Велено меня не пускать к нему, а его ко мне».
В октябре 1883 года Долгоруков был вынужден запретить выступление Толстого в Обществе любителей российской словесности в память о Тургеневе. Председатель общества С.А. Юрьев обратился к писателю с просьбой выступить на заседании общества: «Когда Тургенев умер, я хотел прочесть о нем лекцию. Мне хотелось, особенно ввиду бывших между нами недоразумений, вспомнить и рассказать все то хорошее, чего в нем было так много и что я любил в нем. Лекция эта не состоялась. Ее не разрешил Долгоруков».
Причиной запрета стало указание из столицы. Главное управление по делам печати и министерство внутренних дел слишком опасалось выступления Толстого. Начальник Главного управления по делам печати Е.М. Феоктистов сигнализировал министру внутренних дел Д.А. Толстому: «Толстой – человек сумасшедший, от него следует всего ожидать; он может наговорить невероятные вещи – и скандал будет значительный». В итоге министр «предупредил» московского генерал-губернатора о необходимости цензурного контроля над всеми выступлениями на этом заседании. Вряд ли это поручение было для Долгорукова приятным, он постарался максимально деликатно решить этот вопрос, велев «под благовидным предлогом» объявить заседание «отложенным на неопределенное время».
Софья Андреевна писала сестре Кузминской 29 октября 1883 года: «Левочка для речи ничего не написал, хотел только говорить, вероятно, накануне набросал бы, но так как запретили, то так и не написалось и не сказалось. О Каткове он упомянул бы, но в смысле, что не все мыслящие и пишущие люди свободны от подслуживания властям и правительству, а что Тургенев был вполне свободный и независимый человек и служил только делу (cause), а дело его была литература; мысль свободная и слово свободное, откуда бы оно ни шло».
И все же, запрет Толстому выступать не повлиял на отношение Долгорукова к семье писателя. Уже в следующем 1884 году, 31 января Софья Андреевна рассказывала Льву Николаевичу в письме: «Долгоруков вчера на бале был любезнее, чем когда-либо. Велел себе дать стул и сел возле меня, и целый час все разговаривал, точно у него предвзятая цель оказать мне особенное внимание, что меня приводило даже в некоторое недоумение. Тане он тоже наговорил пропасть любезностей. Но нам что-то совсем не весело было вчера; верно, устали слишком». А вот еще одно ее свидетельство: «Долгоруков очень просил опять, чтоб мы и сегодня к нему поехали на бал. Очень это скучно, но опять поеду, попозднее только».
Но и удельные князья стареют и болеют, особенно когда им за восемьдесят. И вскоре после грандиозно отпразднованного юбилея Владимир Андреевич запросился в отставку, последовавшую 26 февраля 1891 года. Москва получила нового генерал-губернатора – великого князя Сергея Александровича Романова. Правда, злые языки утверждали, что Долгоруков ушел не сам, а его «ушли». Дескать, из-за своих «напряженных отношений с царской семьей». Не упускал он случая дать почувствовать царствующему дому, что происходит из древнего рода. А двор с трудом терпел его и в итоге вынудил подать в отставку. А сам Владимир Андреевич уходить не собирался – хотел умереть в Москве, здесь, среди своих. Узнав же об отставке, сначала не поверил, прослезился и спросил: «А часовых… часовых около моего дома оставят? Неужели тоже уберут… и часовых?!». И часовых тоже убрали. Как писал Влас Дорошевич, с отставкой Долгорукова: «Барственный период “старой Москвы” кончился. Пришли новые люди на Москву, чужие люди. Ломать стали Москву. По-своему переиначивать начали нашу старуху. Участком запахло. Участком там, где пахло романтизмом. И только в глубине ушедшей в себя, съежившейся Москвы накопилось, кипело, неслышно бурлило недовольство. Кипело, чтобы вырваться потом в бешеных демонстрациях, в банкетах и митингах, полных непримиримой ненависти, в безумии баррикад».
Говоря об отношении Толстого к деятельности чиновников разного ранга, хочется вспомнить его размышления, коими он поделился с Боткиным еще 4 января 1858 года. Лев Николаевич пишет, что государственные деятели хотят для себя добиться «звезды или славы», «а выходит государственная польза», которая есть «зло для всего человечества». Или наоборот: «а хотят государственной пользы – выходит кому-нибудь звезда. Вот что обидно в этой деятельности». Кажется, что с годами взгляды писателя по этому вопросу не изменились.