Великий князь проявил в учебе немалое усердие. В 1876 году он окончил академию с серебряной медалью, его имя было занесено на мраморную доску. До этого, за 44 года существования этого высшего военно-учебного заведения, всего 2 выпускника были удостоены золотой медали и 54 – серебряной. За отличие в учебе Николай Николаевич был произведен в капитаны, причислен к Генеральному штабу и получил почетное звание флигель-адъютанта, то есть отнесен к свите его императорского величества.
С началом Русско-турецкой войны 1877–1878 годов великий князь был определен офицером для особых поручений при отце – главнокомандующем Дунайской армией. На него было возложено ответственное задание по проведению рекогносцировки берегов Дуная в районе Зимницы с целью выбора места для переправы войск. Молодой офицер хорошо справился с задачей, а затем в числе первых переправился через Дунай с дивизией, командовал которой генерал М. И. Драгомиров. Он участвовал в штурме Систовских высот. За храбрость, проявленную в боях, Николай Николаевич был награжден орденом Св. Георгия 4-й степени. В последующем великий князь в составе Габровского отряда под руководством генерала Н. Н. Святополка-Мирского участвовал в штурме и захвате Шипкинского перевала, за что был награжден Золотым оружием с надписью «За храбрость» и произведен в полковники. На этом боевая практика будущего Верховного главнокомандующего Вооруженными силами России закончилась.
Смотр войск.
Вернувшись из Балканского похода, Николай Николаевич для прохождения службы был назначен в лейб-гвардии гусарский полк. В нем он прослужил в течение 12 лет, последовательно занимая должности от командира эскадрона до командира полка. Последняя должность дала ему право на чин генерал-майора, которым он и был пожалован в 1885 году в возрасте 29 лет.
Пять лет спустя великий князь получил в командование гвардейскую кавалерийскую дивизию, а еще через некоторое время произведен в генерал-лейтенанты. Большие перемены произошли и в его личной жизни. Он лишился горячо любимого отца и вступил в брак с младшей дочерью черногорского князя Николая принцессой Негожа-Станой. По-русски она стала именоваться Анастасией Николаевной. Брак этот в определенной мере отражал постоянно возраставший интерес России к Балканам, которая через Черногорию и ее правителя пыталась усилить свое влияние в регионе. Поскольку существовала достаточно продолжительная дружба между домами черногорского князя и Николая Николаевича (старшего), брак был совершен, если не по горячей любви, то по большой симпатии между женихом и невестой. В дальнейшем она переросла в более глубокие чувства, позволив жене существенно влиять на многие решения мужа. Кстати, именно Анастасия, будучи ярой приверженкой спиритизма и мистицизма, представила в свое время царице Григория Распутина, вскоре ставшего «близким другом» всей императорской семьи.
В 1895 году Николай Николаевич был назначен генерал-инспектором кавалерии – многочисленного и почитаемого рода войск. Назначение не являлось следствием особых заслуг или высокого профессионального роста великого князя. Должность, по сути дела, перешла ему в наследство от отца, занимавшего ее в течение многих лет. Она принесла великому князю чин генерала от кавалерии, дала возможность совершать многочисленные зарубежные поездки в качестве главы военных миссий, позволила решать вопросы в Высшем военном совете.