В 1871 году Макаров в звании лейтенанта назначается на шхуну «Тунгус», которая отправляется в плавание во Владивосток. По прибытии туда Макарова неожиданно вызвали в Петербург. Вице-адмирал А. Попов привлекает его для разработки водоотливных средств для сооружаемых «поповок» и других судов. Теперь на всех судах Балтики внедряют «пластырь Макарова» и систему водоотливных «магистральных труб». В Морском сборнике появляется статья Макарова «О непотопляемости судов». Новизна захватила молодого лейтенанта надолго. Вычисления, чертежи, обследования строящихся судов, организация работ на них, чтение лекций, статьи, инструкции. «Работа по части непотопляемости невидная, результаты её скажутся только после аварий, никто не вспомнит, кому корабль обязан своим спасением». Здесь Макаров познает тонкости конструкций судов и кораблестроения. За успехи на поприще непотопляемости Макарова наградили орденом Святого Станислава III степени. Между тем на верфях Петербурга закладываются новые броненосные корабли по проектам Попова. Первые из них «Генерал-адмирал» и «Александр Невский». Сначала их отнесли к корветам, потом перевели в ранг фрегатов, а позднее по новой классификации стали называть крейсерами 1-го ранга. Эти корабли были много мощнее, чем любые иностранные фрегаты того времени. Все эти и другие корабли сооружаются на Балтике, а на Черном море, где обострилась обстановка, флота как такового не было: две тихоходные «поповки» для обороны побережья и несколько слабеньких корветов и шхун. Строительство флота на Черном море запрещалось договором, и Россия старалась восполнять эту недостачу хотя бы постройкой коммерческих пароходов. Турция же обладала мощными кораблями — 13 броненосцев, 2 монитора, 7 канонерок и много мелких судов.
Боевые действия в этой войне для моряков, как и в Крымскую войну, начались внезапно в 1877 году на Дунае. Здесь впервые в мире начали боевые действия минные катера. Во-первых, были заминированы все подходы к мостам и намеченным переправам наших войск. Для скрытности мины ставили ночью или в тумане. Потом на этих минах подорвалось немало турецких судов, и неприятель побаивался атаковать русские позиции. Минные катера сами начали атаковать турок новым видом орудия — шестовыми минами. На Черном море нашим морякам пришлось бороться с врагом «не числом, а умением». Война ещё не началась, а лейтенант Макаров предложил командованию смелый проект борьбы с неприятелем на Черном море. Проект его заключался в том, чтобы парализовать действия турецкого флота, используя как средство нападения минные катера. Но катера не могли добраться к дальним местам базирования неприятеля. Зная, что на Черном море есть быстроходные торговые пароходы, Макаров предложил использовать их для доставки к месту атаки минных катеров. Имея на борту несколько таких катеров, пароход незаметно ночью подходит к вражеской эскадре и спускает на воду минные катера, катера внезапно атакуют противника, немедленно возвращаются к пароходу, их поднимают на борт, и, как говорится, «только их и видели».
Сначала мысли Макарова не нашли поддержки, но он продолжал настойчиво искать единомышленников. Наконец-то после перевода на Чёрное море его проект нашёл союзника в лице главного командира Черноморского флота адмирала Н. Аркаса. Макарова назначили командиром самого быстроходного парохода «Великий князь Константин», зафрахтованного у торгового пароходства. Его вооружают артиллерией, оборудуют подъёмными средствами — для четырёх минных катеров — «Чесма», «Синоп», «Наварин», «Минёр». Макаров решил использовать не только шестовые мины, но и попробовать для атаки буксируемые на специальных тросах. В этом случае катер резким разворотом у борта или под кормой неприятельского корабля подводил буксируемую мину под днище… Взрыв происходил от соприкосновения с корпусом ударного механизма или мина подрывалась электричеством по проводам…
В первый день войны 12 апреля 1877 года Макаров построил команду на верхней палубе и обратился к матросам и офицерам.
— Война объявлена, — начал он несколько взволнованно, — мы идём топить турок. Знайте и помните, что наш пароход есть самый сильный миноносец в мире и одной нашей мины достаточно, чтобы утопить самый сильный броненосец. Клянусь вам честью, что я не задумываюсь вступить в бой с целой турецкой эскадрой. Мы дёшево не продадим нашу жизнь!
Громкое «Ура!» покрыло последние слова командира.
Макаров приказал развести пары и хотел сразу идти для атаки в Константинополь, чтобы застать неприятеля врасплох. Однако командование не думало торопиться, дело было новое и неизвестное, чем ещё обернётся.