26 августа 1856 года Его Высочество был произведён в генерал-лейтенанты и назначен почётным президентом Николаевской инженерной академии и начальником 1-й лёгкой (ныне 2-й) гвардейской кавалерийской дивизии. В следующем году он был назначен членом комитета о способе ремонтирования кавалерии, а в 1859 году — командующим гвардейским резервным кавалерийским корпусом.
30 августа 1860 года Великий Князь Николай Николаевич производится в инженер-генералы, через год назначается командиром отдельного гвардейского корпуса, 10 августа 1864 года — командующим войсками гвардии и Санкт-Петербургского военного округа, 15 августа того же года — Генерал-Инспектором кавалерии с оставлением во всех прочих должностях и званиях и 18 августа — членом комитета о раненых.
До глубины души военный, Великий Князь умел предъявлять вверенным ему войскам и учреждениям боевые требования, вполне соответствовавшие духу происходивших в то время реформ в нашей армии. Его любовь к солдату и офицеру, увлечение военным делом, кипучая энергия, служебный такт, умение заинтересовать своих подчинённых работой и, наконец, полное доверие к нему свыше были причиной того, что труды Великого Князя сопровождались полным успехом.
Деятельность Великого Князя на посту командующего (с 30 августа 1867 года — главнокомандующего) войсками гвардии и Санкт-Петербургского военного округа составила особую эпоху в службе и жизни этих войск. Наша кавалерия под его руководством быстро шагнула вперёд, отказавшись от устаревших традиций манежной езды и исключительно смотровых требований предшествовавшего царствования. Страстный знаток и любитель лошадей, природный кавалерист, Великий Князь на посту Генерал-Инспектора кавалерии с большим успехом обнаружил свои дарования в кавалерийском деле.
В 1872 году он совершил большое путешествие в Турцию и в Святую Землю, продолжавшееся 2 месяца. Оно подробно описано в книге Д.А. Скалона «Путешествие по Востоку и Святой Земле в свите Великого Князя Николая Николаевича в 1872 году».
Когда осенью 1876 года стала очевидна неминуемость Русско-турецкой войны, Император Александр II назначил Великого Князя главнокомандующим Дунайской армией. 23 ноября 1876 года Великий Князь прибыл в Кишинёв и начал работу по сосредоточению армии и подготовке к переправе её через Дунай.
23 апреля 1877 года он осматривал под огнём турецких судов укрепления в Галаце и Браилове, 8 и 9 июня совершенно тайно производил разведку берегов Дуная, 10 июня присутствовал при переправе через Дунай XIV армейского корпуса генерала Циммермана, а 15-го руководил переправой через Дунай у Систова и за успешное её выполнение был награждён орденом Святого Георгия 2-й степени.
Последовавшее потом занятие Тырнова отрядом генерала Гурко побудило Великого Князя самому идти с главными силами вслед за этим отрядом на Тырнов и далее на Балканы, но неудача под Плевной 8 июля приостановила дальнейшее наступление. Только тогда Государь согласился на неоднократные доводы Великого Князя о недостаточности сил армии, и на театр войны были вызваны гвардия, гренадерский корпус, 4 пехотные дивизии и стрелковая бригада.
Взятие Ловчи 23 августа и увеличение наших сил более чем до 80 тысяч дали возможность Главнокомандующему возобновить штурм Плевны, но последний, произведённый 30 августа, не принёс нам успеха и заставил Государя собрать военный совет, на котором Великий Князь, считая невозможным продолжать войну при создавшихся условиях, высказался за необходимость отступления к Дунаю и возобновить кампанию лишь весной будущего года. Столь решительным мнением он полагал возможным воздействовать на Государя в смысле более значительного увеличения наших сил для исполнения стоявшей перед ним серьёзной задачи. Однако Государь не согласился с этим мнением: было решено не отступать от Плевны, начать правильную осаду её и вызвать на театр войны генерала Тотлебена.
Попытка Осман-паши 28 ноября 1877 года прорваться из Плевны закончилась пленением 40-тысячной турецкой армии. За взятие Плевны Великий Князь был награждён орденом Святого Георгия 1-й степени.
Этот решительный успех побудил его принять план немедленного зимнего перехода через Балканы. Смелое решение Великого Князя, доложенное на военном совете 30 ноября, было утверждено Государем, хотя встретило многих противников в лице даже таких генералов, как Тотлебен, Скобелев и Радецкий.
Поход этот представлял собой действительно необычайные трудности для наших войск, но зато блестящее выполнение его решительно повернуло всю кампанию в нашу пользу и побудило турецкое правительство начать переговоры о перемирии. К этому времени мы уже заняли Филиппополь, захватив, таким образом, железную дорогу к Константинополю, и подходили к Адрианополю.