Капитан 2-го ранга Есида ловко подвел свой эсминец "Казагумо" к борту горящего "Хирю". Его матросы быстро работали в темноте, выгружая пожарное снаряжение и скромный ужин из сухарей и воды для экипажа авианосца. Эскадренный миноносец "Югумо" также приблизился к "Хирю", подав на авианосец мощные пожарные шланги, переброшенные с крейсера "Тикума". Два других эсминца стояли неподалеку, готовые оказать помощь, если она понадобится. Сам "Хирю" покачивался на волне без хода. Около 21.00 корабль лишился энергии. В машинное отделение № 4 позвонили с мостика и спросили капитана 2-го ранга Айзо, смогут ли механики выбраться наверх. Айзо взглянул на раскаленный докрасна подволок и ответил отрицательно. Тогда наступила пауза, а затем с мостика спросили, есть ли у механиков какие-нибудь последние пожелания для передачи в Японию. Этот вопрос ошеломил старшего механика, приведя его в ярость. Он знал, что обстановка на корабле очень серьезна, но совсем не считал ее безнадежной, полагая, что авианосец вполне может дойти до базы. Со всей горячностью Айзо стал убеждать мостик не сдаваться, хотя и не был уверен, что его слышат слышимость становилась все глуше, а затем пропала вообще.
Какой бы ни была в действительности ситуация в момент этого телефонного разговора, судьба корабля решилась в 23.58. В этот момент что-то со страшным грохотом взорвалось внизу. Огонь, уже почти затихнувший, вспыхнул опять, распространяясь повсюду и выходя из-под контроля. Это поставило младшего лейтенанта Каваками перед необходимостью принять важное решение. На авианосце Каваками служил интендантом, и на время боя на него падала тяжелейшая ответственность — он назначался хранителем портрета императора. Обычно портрет висел в каюте командира, но перед боем его клали в специальный полированный футляр и уносили в хронометрическое помещение под броневой палубой. Считалось, что здесь портрет будет находиться в полной безопасности. Ведь никто не мог даже подумать, что придется оставить корабль. Каваками уже не мог связаться с мостиком и решил действовать самостоятельно. Терять время уже было нельзя. Взяв подчиненного ему старшину, Каваками пробился через пламя в хронометрическое помещение. Старшина завернул футляр с портретом в брезент, затем они вместе со своим сокровищем снова пробились через огонь на полетную палубу, где Каваками почтительно передал портрет Микадо на эсминец "Казагумо".
К этому времени авианосец уже накренился на 15°, вода постоянно прибывала. Никто не мог сказать, сколько еще корабль продержится на воде. В 2.30 ночи 5 июня капитан 1-го ранга Каку повернулся к адмиралу Ямагути и доложил: "Мы собираемся оставить корабль, адмирал".
Ямагути кивнул и приказал доложить об этом адмиралу Нагумо. Затем адмирал попросил капитана 1-го ранга Каку собрать остатки экипажа на полетной палубе. Около 800 уцелевших моряков сгрудились вокруг двух своих командиров, освещаемые зловещими отблесками пламени. Первым заговорил командир корабля, подчеркнув, что война еще не окончена и нужно продолжать борьбу. "Уцелевшие после этого боя, — сказал капитан 1-го ранга Каку, составят ядро личного состава нового, еще более сильного флота". Затем слово взял Ямагути, сказав морякам, что он восхищен их мужеством и чувством долга. "Я один, — закончил адмирал, — несу ответственность за гибель "Хирю" и "Сорю". Я останусь на авианосце, а вам приказываю оставить корабль и продолжать верно служить его величеству императору". Затем все повернулись лицами в сторону Японии, и Ямагути трижды провозгласил банзай в честь императора. После этого с мачты "Хирю" были торжественно спущены военно-морской и адмиральский флаги. Когда флаг страны Восходящего Солнца соскользнул с гафеля мачты, ночную тишину разорвали звуки горнов, игравших сурово-торжественный национальный гимн.