Поединок должен был проходить на болоте за городом. Сэйдзиро был вооружен настоящим мечом, тогда как Мусаси остановил свой выбор на деревянном. В первой же стремительной атаке Мусаси удалось уложить противника на землю, после чего он жестоко избил его. Слуги унесли своего господина домой, завернутым в покрывало. Впоследствии опозоренный Сэйдзиро сбрил волосы на макушке головы, тем самым признав себя недостойным самурайского звания.
После этого Мусаси продолжал жить в Киото, и его присутствие не давало покоя воинственному семейству. Дэнситиро, второй по старшинству брат Сэйдзиро, вызвал Мусаси на поединок. Применив военную хитрость, Мусаси опоздал к назначенному времени, а затем в считаные секунды после начала поединка ударом деревянного меча проломил противнику череп.
Но семейство Есиока в третий раз вызвало Мусаси на поединок. В этот раз с Мусаси должен был сражаться младший брат Сэйдзиро, Ханситиро, который был еще подростком. Место поединка было выбрано у сосны на краю рисового поля. Мусаси прибыл на место задолго до назначенного времени, спрятался за сосной и принялся ждать. Через некоторое время появился мальчик. Он приехал в сопровождении свиты до зубов вооруженных слуг, одетый в боевые доспехи и исполненный решимости победить Мусаси любой ценой. Мусаси не спешил показываться, выжидая в тени сосны. Когда прибывшие решили, что Мусаси испугался очередного поединка и покинул Киото, он внезапно выскочил из укрытия и зарубил мальчика. Затем, орудуя двумя мечами одновременно, ему удалось прорубиться сквозь плотное кольцо нападавших и бежать.
После этих ужасных событий Мусаси скитался по Японии, став легендой своего времени. Мы встречаем упоминание его имени в хрониках, дневниках и народных преданиях по всей стране от Токио до Кюсю. До двадцати девяти лет он провел больше шестидесяти поединков и победил в каждом из них. Самое раннее письменное упоминание о Мусаси содержится в «Хронике двух небес» («Нитэн-ки»), составленной одним из учеников Мусаси вскоре после его смерти.
В 1605 году, когда имели место поединки с представителями семейства Есиока, Мусаси посетил храм Ходзоин на юге Киото. Здесь он сражался с Оку Ходзоином, учеником дзэнского мастера Хоина Инэя. Ходзоин изучал поединок на копьях и был явно не чета Мусаси, который дважды победил его с помощью короткого деревянного меча. После этого Мусаси некоторое время жил при храме, изучая новую технику и общаясь с монахами, которые практикуют искусство поединка на копьях вплоть до наших дней. Интересно отметить, что вначале слово осе (буддийский священник) означало «учитель копья».
Находясь в провинции Ига, Мусаси встретил воина по имени Сисидо Байкин, который в совершенстве владел цепью и серпом. Пока Сисидо размахивал своей цепью, стараясь улучить момент, чтобы ударить Мусаси, тот выхватил кинжал, сделал резкий выпад вперед и пронзил грудь противника. Наблюдавшие за поединком ученики Сисидо бросились на Мусаси, но он обратил их в бегство, виртуозно размахивая двумя мечами в четырех направлениях.
В Эдо воин по имени Мусо Гоносукэ пришел к Мусаси, чтобы вызвать его на поединок. В это время Мусаси был занят изготовлением лука, но тут же принял вызов и, подняв свой недоделанный лук, показал гостю, что готов использовать его в качестве меча. Гоносукэ с настоящим мечом в руках сделал стремительный выпад в сторону Мусаси, но тот уклонился и ударил его по голове своей легкой палкой. Гоносукэ испугался и убежал.
Однако не все встречи Мусаси с мастерами боевых искусств заканчивались поединками. Говорят, что однажды Мусаси встретил на улице известного самурая Ягю Хего, племянника не менее знаменитого Ягю Тадзима-но-ками. Хотя Мусаси и Хего до этого ни разу не виделись, они сразу же узнали друг друга и после короткого разговора стали друзьями. Хего пригласил Мусаси в свое имение, где они пили саке и играли в го, как старые знакомые. Мусаси гостил у Ягю Хего довольно долго, но два великих мастера ни разу не скрестили мечи. Впоследствии Мусаси так высказывался об этой встрече: «То, что я сразу узнал Хего, было таинственным действием ума, без причины и цели. Почему мы не вызвали друг друга на поединок? В этом не было необходимости, потому что мы безмолвно постигли равенство нашего мастерства». Эта встреча напоминает другую встречу равных, встречу Будды и его ученика Кашьяпы, в ходе которой Будда показал цветок, а Кашьяпа с пониманием улыбнулся.