В 1926 г. Павел Михайлович поступил на рабфак при Институте народного хозяйства им.
Плеханова в Москве. Потом учился в МВТУ им. Баумана. В 1933 г. с отличием окончил институт и поступил в аспирантуру. В 1937 г. защитил диссертацию и ему была присуждена ученая степень кандидата технических наук. В этот период он руководил конструкторской группой на Горьковском автозаводе и преподавал в МВТУ им. Баумана специальный курс по термодинамике и авиационным моторам. Научная работа П. М. Зернова в области дизелестроения на конкурсе молодых научных работников была удостоена премии и диплома Академии наук СССР.
С февраля 1938 г. Павел Михайлович Зернов - главный инженер Управления дизельной промышленности Наркомата машиностроения. Активно и оперативно участвует в решении практических вопросов на заводах Ленинграда, Челябинска, Сталинграда, Мелитополя, Харькова. Осенью 1938 г. был назначен начальником Главного управления тракторной промышленности страны. А в 1939 г. становится заместителем наркома среднего машиностроения по автомобилестроению, сельхозмашиностроению и вагоностроению. В годы войны с Финляндией под руководством П. М. Зернова было выполнено задание правительства по обеспечению армии автомашинами на гусеничном ходу.
В 1940 г. Зернов был назначен председателем Всесоюзного комитета стандартов СССР. Во время Великой Отечественной войны был заместителем наркома танковой промышленности: выполнял ряд заданий Государственного Комитета Обороны в качестве уполномоченного предприятий, а также члена комиссии ГКО на 2-м Украинском фронте, председателя комиссии ГКО и уполномоченного Особого комитета при военном совете 1-го Белорусского фронта. Руководил эвакуацией заводов из осажденного Харькова, в июне 1942 г. принимал участие в налаживании производства танков в Сталинграде. В июне 1943 г. был назначен заместителем наркома танковой промышленности, а в августе занимался переводом на конвейерное производство тяжелых танков.
В 1944 г. П. М. Зернов был направлен в Ленинград для разработки плана восстановления Кировского и Ижорского заводов. С сентября и до конца 1944 г. работал директором Сормовского завода. В конце войны по специальному заданию ГКО П. М. Зернов командируется вначале в Прибалтику и Белоруссию, а потом в Германию.
В 1945 г. при реорганизации Наркомата танковой промышленности Зернов назначается заместителем министра транспортного машиностроения. В 1946 г. ему была поручена организация первого отечественного центра по созданию атомного оружия - КБ-11 (ныне ВНИИЭФ, г. Саров). Знания и способности П. М. Зернова особенно ярко проявились на посту начальника этого объекта. На новом месте в кратчайшие сроки был создан научно-конструкторский и исследовательский центр, подобраны опытные научные, конструкторские, инженерно-технические и рабочие кадры. Профессиональные навыки, природный организаторский талант П. М. Зернова, его умение находить оптимальные и оперативные решения помогли коллективу нового объекта выполнить задание Родины в кратчайшие сроки. Он обеспечил освоение технологий и изготовление первой атомной бомбы, а также принимал участие в ее испытании. За эти работы ему было присвоено звание Героя Социалистического Труда (Указ Президиума Верховного Совета СССР от 29 октября 1949 г.).
В 1951 г. по состоянию здоровья П. М. Зернов был переведен на работу в Первое главное управление при Совете Министров СССР на должность начальника отдела. В 1953 г. он становится начальником Главного управления приборостроения Министерства среднего машиностроения, в 1954-м его назначают заместителем министра. При его непосредственном участии были созданы многие новые объекты. Получили дальнейшее развитие научные организации и серийные предприятия, успешно осваивающие и выпускающие новую технику, имеющую важнейшее государственное значение. В 1956 г. П. М. Зернов был удостоен звания Героя Социалистического Труда во второй раз.
В 1963 г. он назначается заместителем председателя Государственного производственного комитета СССР по среднему машиностроению.
Павел Михайлович всегда был требователен к себе и подчиненным. Ценил в людях смелость, знания, организованность и решительность, поддерживал инициативу работников. Уделял огромное внимание подготовке научных, конструкторских, инженерно-технических и рабочих кадров. На протяжении всей своей трудовой жизни он проявлял кипучую энергию, незаурядный инженерный талант и выдающиеся способности организатора. Краткую, но в то же время объемную характеристику ему дал В. И. Алфёров: “На мой взгляд, не могло быть более удачного выбора, чем тот, который сделало руководство страны, поставив на пост начальника бомбового КБ такого человека, как П. М. Зернов. Для всех нас, ученых, инженеров, работающих в КБ, он был не только начальником, но и наставником. Он помогал вывести любой вопрос из лабиринта сомнений, колебаний на тот единственный путь, который приводит к цели в самое короткое время с наименьшей затратой сил”.