Позже, странствуя в провинции Идзумо, которая всегда славилась мастерами боевых искусств, Мусаси обратился к господину Мацудайра с просьбой разрешить ему поединок с самым сильным из его слуг. Было решено, что против Мусаси выйдет человек с двухметровым деревянным шестом. Мусаси использовал два деревянных меча. Поединок проходил в саду библиотеки господина Мацудайра. Мусаси загнал противника на ступени веранды, подался вперед, угрожая нанести ему удар в лицо, и когда тот принял защитную стойку, ударил его одновременно по обеим рукам. Тот выронил свой шест.
К удивлению собравшихся, господин Мацудайра тоже вызвал Мусаси на поединок. Мусаси стал оттеснять его в сторону тех же ступеней, на которых только что победил предыдущего соперника. Господин Мацудайра яростно пытался сдержать натиск, но Мусаси неожиданно сломал его меч пополам «ударом огня и камней». Господин поклонился Мусаси, признав свое поражение, и после этого Мусаси некоторое время гостил у него на правах учителя.
Но самая известная дуэль с участием Мусаси состоялась в 1612 году, когда он находился в городе Огура в провинции Бундзэн. Его противником был Сасаки Кодзиро, молодой воин, создавший сильную фехтовальную технику цубамэ-гаэси («ласточкин заслон»), моделью для которой послужило движение хвоста ласточки в полете. Кодзиро был слугой господина провинции Хосокава Тадаоки (этот примерный самурай своего времени послужил прототипом вероломного Бунтаро в романе Джеймса Клавелла «Сёгун»). С помощью другого слуги, которого звали Нагаока Сато Окинага и который в свое время был учеником отца Мусаси, господину Тадаоки было подано прошение разрешить поединок Кодзиро и Мусаси. Тадаоки удовлетворил прошение и назначил поединок на восемь часов утра следующего дня. Местом поединка должен был стать небольшой остров, находящийся в нескольких милях от Огура.
Накануне поединка Мусаси покинул свое временное жилище и переехал в дом Кабаяси Таро Дзаэмона. По городу распространились слухи, что Мусаси боится утонченной техники Кодзиро и собирается бежать из города. На следующий день в восемь часов Мусаси спал так крепко, что хозяин дома не мог его разбудить, пока не пришли официальные представители от господ, собравшихся на острове. Тогда Мусаси встал, выпил воду, которую ему принесли, чтобы он умылся, отправился прямо на берег и сел в лодку. Сато Окинага, работая веслами, направил лодку в сторону острова. Тем временем Мусаси, подвязав рукава кимоно бумажными веревочками, принялся вырезать деревянный меч из запасного весла, которое было в лодке. Закончив вырезать меч, он улегся на дне лодки, чтобы отдохнуть.
Когда лодка приблизилась к берегу, Кодзиро и почтенные господа, собравшиеся, чтобы наблюдать поединок, были удивлены тем, что они увидели. Непричесанный, с полотенцем, повязанным вокруг головы, и длинным веслом в руках, Мусаси спрыгнул в воду и бросился к месту поединка. Кодзиро обнажил свой длинный меч, изготовленный прославленным мастером Нагамицу, и отбросил в сторону ножны. «Ты прав, ножны тебе больше не понадобятся!» – выкрикнул Мусаси, налетая на противника со своим веслом. Кодзиро вынужден был нанести удар первым, но Мусаси одним движением отразил меч и ударил его по голове. Падая, Кодзиро напоролся на собственный меч и скончался. Увидев, что поединок закончен, Мусаси поклонился собравшимся и сразу же побежал обратно к лодке. В некоторых вариантах истории говорится, что, когда Кодзиро упал, Мусаси попятился, бросил весло, выхватил оба своих меча и с криками ликования принялся размахивать ими в воздухе.
Приблизительно в это время Мусаси перестал пользоваться в поединках боевыми мечами. Никто больше не сомневался в его непобедимости. В дальнейшем Мусаси посвятил себя поиску глубинного понимания Пути меча.
В 1614 и затем в 1615 годах он снова воспользовался возможностью поучаствовать в военных действиях и штурме крепости. Сёгун Токугава Иэясу осадил крепость Осака, в которой засели восставшие сторонники Асикага. Мусаси присоединился к армии сёгуна как в зимней, так и в летней кампаниях, на этот раз воюя против тех, на чьей стороне он был в битве при Сэкигахара.