В период службы в Гродековском погранотряде привлечен к реализации операции «Фальшивомонетчики», которую проводил на Дальнем Востоке центральный аппарат ОГПУ. Затем переведен на оперативную работу и прикреплен к Владивостокскому оперсектору ГПУ. В ходе реализации операции выезжал в служебные командировки в Маньчжурию, где с успехом руководил переданной ему на связь агентурой.
В мае 1935 года молодой оперработник зачислен слушателем на основной факультет Военной академии РККА имени М. В. Фрунзе. В августе 1938 года после окончания академии направлен на работу в органы НКВД СССР. Назначен на должность помощника начальника отделения, в декабре 1938 года стал начальником спецотдела Управления государственной безопасности НКВД СССР.
В июле 1939 года командирован в Китай в качестве уполномоченного Совнаркома СССР по реализации торгового соглашения с этой страной. В том же месяце назначен полномочным представителем СССР в Китае, одновременно являлся главным резидентом НКВД в этой стране, под его началом действовали 12 резидентур внешней разведки.
Центр всей разведывательной работы в Китае в то время переместился во временную столицу Чунцин, где находилось китайское гоминьдановское правительство. Задачи перед 34-летним резидентом и его подчиненными стояли значительные. Необходимо было постоянно отслеживать намерения японской военщины в отношении СССР и Китая, не просмотреть возможного нападения Квантунской армии на советский Дальний Восток. Перед советскими представителями стояла также задача удержать центральное правительство Китая на позициях активного сопротивления японской агрессии.
Советским разведчикам под руководством Панюшкина удалось приобрести ценных источников информации в китайской разведке, ЦИК Гоминьдана и других важных объектах. Сам резидент установил доверительные отношения с рядом лиц из окружения Чан Кайши, выступавших за укрепление дружбы с Советским Союзом и продолжение войны с Японией.
О том, как работал Панюшкин на начальном этапе своего пребывания в Китае, говорится в одном из документов разведки, относящихся к тому периоду:
«Понимая, что для успешной работы в чрезвычайно запутанной внутриполитической и международной обстановке необходим широкий круг контактов среди государственных, политических и общественных деятелей страны, Панюшкин начал их энергично устанавливать. Не было ни одного дня, по наблюдениям очевидцев из числа оперативных работников резидентур, чтобы он не встречался с кем-либо из авторитетных деятелей Гоминьдана и правящих кругов Китая и не проводил с ними бесед. Цель — воздействие на них в выгодном плане, поиск среди них союзников, заинтересованных в том, чтобы Япония не смогла склонить Китай к капитуляции.
Главному резиденту удалось установить доверительные отношения с рядом лиц, стоявших на позициях укрепления дружбы с СССР, продолжения антияпонской войны и сотрудничества Гоминьдана и КПК, которые были в курсе того, что происходило в высших эшелонах власти и какие решения принимались по различным аспектам внутренней и внешней политики и в определенной степени могли оказать влияние на принятие решений.
В результате Панюшкин быстро вошел в курс происходящих в Китае событий и почти ежедневно информировал о них руководство страны и органов госбезопасности».
При непосредственном участии Панюшкина советским военным советникам удалось убедить Чан Кайши и других китайских военачальников продолжать сопротивление наступлению японских войск, разработав оперативный план обороны города Чаньша. В этой операции, длившейся около двадцати дней, японцы потеряли 30 тысяч солдат и офицеров, тогда как потери китайской армии были значительно меньше. Бои в районе Чаньша подняли боевой дух и настроение не только армейских кругов, но и широких народных масс Китая.
Историк Анатолий Горин, изучавший деятельность А. С. Панюшкина в Китае, в одной из своих работ отмечал:
«Главный резидент, он же Полномочный представитель Советского Союза, А. С. Панюшкин приложил много усилий для предотвращения конфронтации между Гоминьданом и компартией, а также недопущения гражданской войны в стране в 1940—1941 годах.
Руководимые им разведчики не только полно и своевременно информировали Центр об основных проблемах внешней и внутренней политики Китая, деятельности в стране представителей основных стран Запада и Японии, но и за полтора месяца до нападения Германии на СССР получили и направили в Москву оперативный план германского Верховного командования о главных направлениях продвижения немецких войск в войне против СССР, полученный агентурным путем у германского военного атташе. Главная задача резидентур внешней разведки на Дальнем Востоке в конце 1930-х — начале 1940-х годов — не просмотреть возможности нападения Японии на Советский Союз — не снималась с повестки дня до середины 1943 года. Руководимые Панюшкиным резидентуры успешно справились с этой задачей. За работу в Китае А. С. Панюшкин был награжден орденом Ленина».