Последний период деятельности Великого Князя Николая Николаевича был посвящён командованию войсками гвардии и Санкт-Петербургского военного округа до 17 августа 1880 года, когда впоследствии расстроенного здоровья он оставил этот пост.
Свои силы, богатый боевой и служебный опыт, а также любовь к военному делу он посвящал главным образом нашей кавалерии, Генерал-Инспектором которой оставался до конца жизни. По поводу 25-летия деятельности на этом посту Великий Князь 15 августа 1889 года был почтён рескриптом Императора Александра III, который отметил неустанную заботу Великого Князя как об улучшении конского состава и снаряжения кавалерии, так и о введении наиболее правильных способов её воспитания и обучения.
Ещё в 1860-х годах, в самом начале своей деятельности в должности Генерал-Инспектора, Великий Князь обратил внимание на способы ремонтирования нашей кавалерии как в мирное, так и в военное время, причём в 1868 году было выработано для того особое положение. Стремясь улучшить конский состав, Великий Князь, ежегодно объезжая конные заводы и задонские зимовники, постоянно обращал внимание главного управления государственного коннозаводства на необходимость заведения верховых жеребцов-производителей. К сожалению, эти неоднократные заявления оставались без последствий, в чём государственному коннозаводству пришлось раскаяться лишь впоследствии.
В числе других мероприятий, исходивших от Великого Князя, следует упомянуть установление строгой отчётности о прибыли и убыли строевых лошадей, учреждение правил и форм их описей, установление порядка комплектования ремонта лошадьми, составление общей программы занятий в запасных кавалерийских полках, издание «Инструкции для воспитания и объездки молодых лошадей».
Будучи выдающимся кавалерийским генералом, Великий Князь много поработал над улучшением командного состава вообще и офицерского в частности в нашей кавалерии, вся строевая и тактическая подготовка которой была им поставлена в условия боевых требований.
Близко к сердцу принимал он деятельность офицерской кавалерийской школы, которую посещал очень часто, лично руководя занятиями в течение долгих часов.
Император Александр III неоднократно обращался к Его Высочеству как к крупному военному авторитету; так, в 1881 году он был назначен «присутствующим» в особой комиссии (генерал-адмирала Коцебу) для обсуждения вопросов об улучшения устройства военных управлений, в 1888 году председателем особой комиссии по составлению проекта положения о полевом управлении войск, затем он же руководил работами комиссии о переустройстве кавалерии и преобразовании инженерных войск.
Наконец, ему принадлежала идея манёвров больших войсковых масс, общим руководителем и посредником которых он являлся несколько раз: в 1886 году — под Красным Селом и Усть-Ижорой, а затем в окрестностях Брест-Литовска, между войсками Варшавского и Виленского военных округов, в 1888 году — на больших Елисаветградских манёврах и, наконец, в 1890 году — под Нарвой и на Волыни, между войсками Варшавского и Киевского военных округов в количестве около 130 тысяч человек. На этих манёврах Великий Князь в последний раз явился перед войсками.
По настоянию врачей Великий Князь прямо с манёвров из Ровно отправился в Крым, в Алупку, где и скончался. 13 апреля 1891 года тело его было перевезено в Санкт-Петербург и погребено в Петропавловском соборе.
Великий Князь Николай Николаевич пользовался огромной любовью и редкой популярностью среди войск. Простота в обхождении, сердечность, незлобивость, весёлый, шутливый характер, умение заставить своих подчинённых служить не за страх, а за совесть, и в то же время умение серьёзно потребовать службу и дело, чисто военный характер, рыцарское благородство — всё это искренне привязывало к нему всех его сослуживцев и подчинённых и было разгадкой того обаяния, которым он пользовался среди всех военных, от солдата до генерала включительно.
12 января 1914 года, в Санкт-Петербурге, на площади против Михайловского манежа, в Высочайшем присутствии состоялось открытие памятника Великому Князю, изготовленного по проекту итальянского скульптора Каноника.