К счастью для Мицубиси флотские пилоты не делали такой ставки на маневренность истребителя, и в начале 1937 г А5М1 стали поступать в строевые подразделения. Ко времени начала войны в Китае в июле 1937 г А5М1 был заменен на сборочной линии на "модель 2-1" (А5М2а) с двигателем Накадзима "Котобуки"-2 КАИ-ЗА. Первоначально в Китае в основном использовались устаревшие истребители-бипланы Накадзима A2N1 и A4N1, потери среди которых быстро достигли угрожающего уровня, но с появлением в районе Шанхая 12-го и 13-го кокутаев с А5М2 японцы сумели захватить превосходство в воздухе. Истребитель также использовался в различных испытательных программах, например, для проверки сбрасываемого топливного бака для Мицубиси А6М2, а также 20-мм пушек "Эрликон" FF.
С расширением боевых действий в Китае резко ускорилась разработка новых вариантов истребителя - в серию был запущен А5М2Ь "модель 2-2" с двигателем "Котобуки"-3 мощностью 640 л.с. и трехлопастным винтом. Для улучшения обзора вперед был установлен капот NACA. Были также мелкие доработки с учетом боевого опыта. Несмотря на преимущества закрытого фонаря кабины, он был снят на следущей модели А5М2Ь, так как пилотам флота он не понравился (заходя на посадку на авианосец, пилоты часто выглядывали за борт кабины вперед, определяя правильность глиссады, поэтому на самолетах с закрытым фонарем последний практически оставался открытым). На фронте эти три варианта истребителя достигли такого успеха, что китайцы были вынуждены вывести свою авиацию за пределы радиуса действия "типа 96". Это заставило организовать аэродромы подскока между Шанхаем и Нанкином, где А5М2 дозаправлялись. Благодаря хорошей подготовке пилотов и слетанности, А5М2 были способны эффективно вести воздушный бой против более скоростных истребителей Поликарпова И-16, используемых китайцами. В то же время, несмотря на переоблегченную конструкцию, самолет был способен выдерживать серьезные боевые повреждения. Так, пилот Касимура привел на аэродром свой А5М2 после того, как треть его левой консоли была отрублена во время тарана китайским И-16. Японца таранил советский пилот Андрей Губенко, который также успешно вернулся на свой аэродром и позже был награжден Золотым орденом Китайской республики.
Два летных А5М стали трофеями советских добровольцев, воевавших в Китае. Правда, один из них был разбит во время перегонки в Союз из-за диверсии - в бак самолета подсыпали сахар. Второй самолет проходил испытания в СССР, но в августе 1939 г во время учебного боя с И-153 истребитель Мицубиси был разбит, погиб летчик-испытатель Вахрушев.
После получения из Франции 12-цилиндровых двигателей водяного охлаждения "Испано-Сюиза" мощностью 610 л.с. их испытали на двух А5МЗа вместе с 20-мм пушками, стрелявшими через втулку винта. Но небольшой прирост скорости оказался недостаточным для принятия модели на вооружение - флот решил порвать с поставками из-за рубежа. В результате следующей серийной моделью стал А5М4.
Опыт войны в Китае поставил вопрос об увеличении дальности полета истребителя. В результате новый А5М4 внешне не отличался от А5М2Ь с открытой кабиной, зато получил возможность подвески 160-л сбрасываемого топливного бака. Первоначально самолет назывался "модель 4", но с введением новой системы обозначения самолетов и двигателей название было изменено на "модель 24". В Китай А5М4 попали в 1938 г. Они значительно расширили зону досягаемости японских истребителей, что заставило китайцев вновь отвести свою авиацию в глубь незанятой врагом территории. А5М4 стал самой массовой моделью истребителя. Всего было выпущено 1095 А5М, включая 39, поставленных с Ватанабе, и 264 - с 11-го морского авиационно-технического арсенала в Омура. Последние серийные самолеты получили двигатель "Котобуки"-41 КАИ, и еще назывались "модель 34", но до 1941 г А5М был снят с вооружения боевых частей.
В начале войны на Тихом океане союзники полагали, что истребитель Мицубиси А5М4 все еще состоит на вооружении флотских частей, но реально ими были вооружены только авианосцы "Рюйо", "Зуйхо" и "Хосо". Эти истребители планировали использовать для прикрытия бомбардировщиков, которые с баз на Тайване бомбили Филиппины. Но выдающаяся дальность полета другого истребителя Мицубиси А6М2, позволила обеспечить прикрытие бомбардировщиков без применения авианосцев. Истребители А5М4 приняли только участие в налете на Давао, а потом использовались исключительно в учебных и запасных частях.
В 1940 г по заданию 15-Си на 11-м арсенале началось проектирование двухместной учебной версии "типа 96". Новый А5М4-К получил двигатель "Котобуки"-41. Внешне самолет отличался от истребителя снятыми обтекателями стоек шасси и большим гаргротом за двухместной открытой кабиной. Между кабинами была противокапотажная ферма, а под хвостовой частью фюзеляжа два небольших дополнительных киля, улучшившие штопорные характеристики. Истребители А5М4 долго служили в качестве самолета повышенной подготовки пилотов-истребителей, а в конце войны несколько оставшихся самолетов использовалось камикадзе.