Любознательный и способный, веселый и живой, Макаров быстро освоил парусное дело, строевую службу.
Уже в 1867 году Макаров напечатал свою первую статью о приборе для определения девиации в море.
В 1869 году Макаров не без препятствий был произведен в мичманы. К этому времени он побывал на 11 судах. В этом же году, изучив аварию броненосной лодки «Русалка», он впервые поднял вопрос о мерах борьбы за непотопляемость судов, предложил разработанную им водоотливную систему, постоянные корабельные пластыри для заделки пробоин и т. д.
Предвидя русско-турецкую войну, Макаров предложил оборудовать пароход «Константин» для подъема на палубу минных катеров, чтобы, перебрасывая их из одного конца моря в другой, спускать на воду вблизи противника и атаковать противника шестовыми и буксирными минами.
Война 1877―78 годов показала настоящий героизм Макарова и его подчиненных — русских матросов. Часть кораблей противника была потоплена, часть подорвана и повреждена. Противник был выгнан из Черного моря. В этой войне Макаров впервые применил самодвижущиеся торпеды.
Личный состав под командой Макарова проявил исключительную отвагу и храбрость, бесстрашие и предприимчивость.
А сколько трудов стоило Макарову доказать целесообразность снаряжения парохода «Константин» для подъема катеров?!
«Верите ли, — говорил он, — за всю мою жизнь не проявил я столько христианского смирения, как за эти два месяца (пока рассматривался проект), иной раз не только язык — руки так и чесались».
Кончилась война, и Макаров снова занялся новым и интересным делом. Он изучил течения в Босфоре и впервые доказал, что в Босфоре в нижней части имеется течение из Мраморного моря, а в верхней части — течение из Черного моря в Мраморное.
По возвращении из Босфора Макаров состоял флаг-капитаном шхерного отряда Балтийского моря, затем плавал на практической эскадре. Одновременно со своей прямой службой он разработал проект переустройства Кронштадтского военного порта, предложил проект мобилизации корабля, настаивая на том, что «нужно больше держать корабли в море… надо приохотить к морю… В море — значит дома».
В своей блестящей работе «В защиту старых броненосцев и новых усовершенствований» Макаров высказал следующие золотые слова: «Успех дела зависит от единства, а единство достигается только продолжительными эскадренными плаваниями — „упражнениями“». «Мое правило: если вы встретите слабеющее судно — нападайте, если равное себе — тоже нападайте…» «Забудьте всякую мысль о помощи своим судам: лучшая помощь своим есть нападение на чужих».
В 1886 году Макаров был назначен командиром корвета «Витязь» и ушел в кругосветное плавание, из которого возвратился в 1889 году. В этом плавании он пробыл 993 дня, прошел под парами 33 412 миль и под парусами — 25 856 миль. Изучая во время плавания гидрологию океанов, Макаров написал замечательную книгу «„Витязь“ и Тихий океан», которая получила премию Академии наук и золотую медаль Географического общества. В плавании на «Витязе» Макаров выработал корабельную нумерацию орудий, котлов и т. д., сохранившуюся по сие время, ввел для машинной команды и кочегаров душ после вахты, наладил варку пищи. Одновременно с обработкой материалов он выступил и с рядом других вопросов — предложил улучшить пригонку обмундирования нижним чинам, ввести наглядные пособия обучения (разрезные ружья, рисунки схемы).
С 1891 года Макаров — главный инспектор морской артиллерии. Грамотный моряк и техник, он и тут ввел много нового. Он издал чертежи орудий, завел порядок в хранении, содержании и окраске снарядов, применил впервые стрельбу бездымным порохом (изобретение профессора Менделеева), изобрел бронебойные наконечники на снаряды, за что был назван американцами «победителем брони».
В этом же году Макаров был назначен командующим эскадрой Средиземного моря, которая состояла из 10 судов. С прибытием на эскадру Макарова жизнь оживилась, боевая подготовка поднялась, плавающие учения и смотры стали содержательнее и интереснее. Ввиду угрозы для России японо-китайской войны, эскадра Макарова перешла на Дальний Восток, где Макаров по просьбе старшего флагмана — адмирала Тыртова написал свои соображения о том, как надо приготовиться к бою и как его вести. Эти соображения были опубликованы как приказ командующего эскадрой Тихого океана от 25 апреля 1895 года.
Немного ранее этих соображений Макаров опубликовал свою большую работу «Разбор элементов, составляющих боевую силу судов», в которой выражал свои взгляды на технику военно-морского дела и оружие, на способы его использования.