Николай Парфенов родился 26 июля 1912 года в деревне Сергеевы Горки Владимирской губернии в обеспеченной семье. Его отец был помощником капитана на пароходе, плававшем по Волге, мать домохозяйкой. После революции Парфенова-старшего назначили директором льномяльного завода в Коврове, однако в этой должности тот проработал недолго и вскоре скончался от внезапной болезни. На руках у неработающей матери осталось шестеро детей, старшему из которых едва исполнилось четырнадцать. Поскольку помощи ждать было неоткуда, на семейном совете было решено поднимать хозяйство собственными силами. Мать и двое ее старших сыновей, Борис и Николай, с утра уходили работать в поле, семилетняя дочь Антонина устроилась нянькой к соседке. Худо-бедно, но Парфеновы сумели перезимовать первую зиму, а потом их дела и вовсе пошли на лад: работа спорилась, хозяйство крепло. Так они жили несколько лет.
В самом начале 30-х в селе началось раскулачивание, и односельчане записали Парфеновых в кулаки. Это было верхом несправедливости, поскольку те наживали свое благосостояние собственным трудом, не используя никаких батраков. Но у них было слишком много завистников среди односельчан, поэтому их участь была предопределена: им грозила высылка. Чтобы спасти своих детей от нее, мать уговорила их разъехаться в разные стороны и устроиться у родственников. В итоге на торфоразработки выслали одну мать, а ее дети сумели спастись, перебравшись в Москву.
В столицу Парфеновы приехали, имея на руках пусть небольшие, но деньги. Однако надолго их хватить не могло, поэтому надо было идти работать. В итоге добытчиками средств стали братья Николай и Борис, которые устроились арматурщиками на завод «Серп и молот». А сестры должны были получить образование, поступив в разные институты. Потом они поменялись: сестры стали работать, а братья отправились грызть гранит науки в высших учебных заведениях. Так Борис поступил в областной пединститут имени Крупской, а Николай – в театральную студию при Театре имени Моссовета. И хотя актерские данные у него были не ахти какие, да и говорок был нечистый – он окал, – но экзаменационной комиссии Парфенов понравился. Он так заразительно читал своего любимого Маяковского, что сумел растопить суровые сердца экзаменаторов. Ему даже не дали дочитать до конца стихотворение и отправили из аудитории. Парфенов решил, что это провал, но ошибся: на следующий день ему позвонили из студии и сказали, что он принят.
Еще на первом курсе студии Парфенова стали привлекать к спектаклям в театре. Правда, это были не роли, а рольки – некоторые даже без слов. Но он и этому был рад и нисколько не переживал по этому поводу. Уже тогда в нем обнаружилось качество, которое на долгие годы станет определяющим в его актерской карьере: он будет радоваться любой, даже самой маленькой, роли, а по поводу отсутствия больших ролей ни разу не пожалеет. Парфенов и в театре сыграет всего лишь одну главную роль – Митрофанушку в «Недоросле», на заре своей карьеры, – после чего навсегда отойдет на второй план. И спустя годы будет признан на этом поприще одним из лучших – королем эпизода.
Начало войны Парфенов встретил вместе с театром на гастролях в Ворошиловграде. Труппе предстояли еще гастроли в Киеве и Одессе, но их пришлось отменить и 7 июля выехать в Москву. В столице артисты узнали ошеломительную новость: труппу предстояло сократить чуть ли не вдвое, а оставшимся выплачивать 50 процентов зарплаты. Театр, как и другие московские коллективы, переводился на полную самоокупаемость. Однако Парфенову повезло – его не сократили. И в сентябре он участвовал в очередной премьере – спектакле «Надежда Дурова». Однако уже через месяц, когда враг подошел вплотную к Москве, театру пришлось спешно эвакуироваться в Алма-Ату.
Из-за работы в театре Парфенов так и не смог попасть на фронт, хотя несколько раз туда рвался. Однако военную гимнастерку ему все же удалось на себя надеть – на съемочной площадке. В 1945 году состоялся его дебют в большом кинематографе – он сыграл старшину Горбунова в фильме «Сын полка». Однако, несмотря на то что фильм имел большой успех у зрителей, а игра Парфенова была отмечена критиками с самой положительной стороны, дальнейшего продолжения карьера актера в кино тогда не имела. И он целиком сосредоточился на работе в театре. А в конце 40-х круто изменилась и его личная жизнь.
В первый раз Парфенов женился в середине 30-х, когда учился в студии при Театре Моссовета. Его женой стала актриса театра Ольга Васильева. От этого брака у него родилась дочь Ирина. Однако молодая семья просуществовала недолго и вскоре распалась. После развода Парфенов долго сторонился женщин, пока в конце 40-х не встретил свою вторую, и последнюю, жену – Ларису Алексеевну. Она не имела никакого отношения к искусству – работала в Моссовете, тоже была в разводе, одна воспитывала маленькую дочь. Их пути никогда бы не пересеклись, если бы не общие друзья, которые вознамерились познакомить их и поженить. Но Парфенов боялся нового брака. Поэтому, когда пришла пора знакомиться с Ларисой, решил схитрить: взял с собой на эту встречу товарища, тоже артиста. Тот был и выше, и гораздо интереснее его, и, как думал Парфенов, все внимание девушки должен был взять на себя. Но случилось неожиданное: Ларисе понравился именно Парфенов. Как она сама потом признается, именно своей скромностью. С тех пор они начали встречаться, наперебой читали друг другу стихи любимого Есенина. А в 1949 году поженились.