В то время как Нориёри продвигался на запад, вся слава досталась его младшему брату. В гавани Ватанабэ по крохам был собран флот, чтобы нанести удар по Ясима, базе Тайра на Сикоку. В первый раз Минамото спускались на воду – перспектива, пугавшая многих самураев с гор. Кадзивара Кагэтоки, который спас жизнь Ёритомо во время случая с «лесными голубями», был особо скептически настроен в отношении приготовлений Ёсицунэ к выходу в море. Он как-то заметил Ёсицунэ, что расположение весел на кораблях не позволит им в случае чего быстро развернуться, и предложил поставить «оборотные весла». – «Мы и не собираемся отступать», язвительно ответил Ёсицунэ, и его слова задели Кадзивара. Стратегия набега на Ясима сводилась к тому, чтобы любой ценой избежать морского сражения с Тайра, которое Минамото наверняка проиграли бы. Вместо прямого пути на Ясима они намеревались обойти с юга остров Авадзи, высадиться на побережье Сикоку примерно в тридцати милях от Ясима и уже оттуда начать наступление.
Ясима представляет собой вулканическое плато, которое в настоящее время соединяется молом с Сикоку, но в эпоху войны Гэмпэй этот островок был отделен от суши узким и мелким проливом, который могли преодолеть и всадник и пехотинец. Тайра, несомненно, должны были выставить посты на этой стороне плато, но, несмотря на наличие естественных укреплений на вершине острова, они устроили свою базу на побережье напротив Сикоку, где на мелководье стоял их спасительный флот.
К середине марта Ёсицунэ завершил свои приготовления, и около 22 марта флот вышел в море. Погода была отвратительная, бушевал шторм, что, как надеялся Ёсицунэ, должно было придать их атаке элемент неожиданности. Самураи не разделяли его энтузиазма, и некоторых буквально пришлось загонять на корабли острием меча. Они плыли всю ночь, подгоняемые бурей, и утром высадились на Сикоку. Как только самураи пришли в себя, они оседлали коней и устремились к Ясима.
На Ясима Ёсицунэ использовал ту же «визитную карточку», что сработала в битве при Ити-но-тани. Все, что могло гореть, было подожжено, и под прикрытием дымовой завесы небольшой отряд Минамото направился к морю. Императора вновь приняли на борт, однако, вместо того чтобы сразу выйти в открытое море, корабли Тайра выстроились в узком проливе, намереваясь перед отплытием нанести удар по Минамото. Те переправились верхом по мелководью и дали бой находившимся в лодках самураям Тайра. Сам Ёсицунэ отличился в этом необычном сражении. В пылу битвы он уронил в море свой лук и стал его вылавливать. Спутники крикнули ему, чтобы он не рисковал жизнью ради лука. Он, однако, упорствовал и все-таки достал лук. «Я поступил так не потому, что дорожу луком, – отвечал Ёсицунэ. – Будь у меня мощный лук, согнуть который под силу разве двоим или троим людям, или такой же огромный лук, какой был у дяди моего Тамэтомо, я нарочно уронил бы его, чтобы враги подобрали... Но я не хотел, чтобы враг поднял слабенький лук и насмехался: глядите, вот, оказывается, каков лук у Куро Ёсицунэ, военачальника Минамото!» Самый известный эпизод в битве при Ясима связан с тем, что на одном из судов Тайра кому-то пришла в голову мысль укрепить на мачте веер, как бы приглашая Минамото сбить его, вероятно, для того, чтобы они впустую потратили стрелы. Веер, алый с золотым кругом, трепетал на ветру и на качающейся лодке представлял собой довольно трудную мишень. Сбить его вызвался восемнадцатилетний самурай по имени Насу Мунэтака. Он стеснялся показывать свое мастерство в присутствии стольких зрителей, но все-таки решил попробовать. Достав гудящую стрелу-»репу», он вложил ее в лук. Стрела попала в рукоять веера и сшибла его. «Подхваченный порывами весеннего ветра, мгновенье-другое парил он в воздухе, сверкая в лучах заката, но в конце концов упал в море». Впоследствии потомки Мунэтака сделали веер с солнечным диском своим мон – гербом рода.