С сентября 1943 по февраль 1960 года – председатель Совета по делам Русской православной церкви при Совете министров СССР.
В органах ВЧК с 1922 года. В 1922–1928 годах служил в Особом отделе, а в 1928–1936 годах – в контрразведывательном отделе и секретно-политическом отделе полномочного представительства (ПП) ОГПУ по Ленинградскому военному округу – УГБ УНКВД по Ленинградской области. Заместитель начальника УНКВД по Карельской АССР (1936).
В 1936–1937 годах – заместитель начальника, с июля 1937 года – начальник секретно-политического отдела (затем – 4-го отдела) УГБ УНКВД по Ленинградской области, уполномоченный 2-го отдела ГУГБ НКВД СССР. Начальник Псковского райотдела НКВД Ленинградской области (1938–1939). Начальник отделения 2-го отдела ГУГБ НКВД СССР (1939–1941). Заместитель начальника 3-го отдела 3-го управления НКГБ СССР (февраль 1941 – июнь 1941).
Великую отечественную войну встретил майором госбезопасности. Начальник 4-го отдела 3-го управления НКВД СССР (июль 1941 – май 1943). С февраля 1943 года – полковник госбезопасности. Начальник 5-го отдела 2-го управления НКГБ-МГБ СССР (май 1943 – май 1946). Начальник отдела "О" МГБ СССР (май 1946 – август 1947). С августа 1947 года в резерве МГБ СССР. В марте 1955 года уволен из органов КГБ при СМ СССР.
В январе 1960 года комиссией партийного контроля при ЦК КПСС исключен из рядов КПСС за нарушения социалистической законности, в марте 1960 года восстановлен в КПСС с объявлением строгого выговора.
Было установлено, что "товарищ Карпов, работая в 1937–1938 годах в Ленинградском управлении и Псковском окружном отделе НКВД, грубо нарушал социалистическую законность, производил массовые аресты ни в чем не повинных граждан, применял извращенные методы ведения следствия, а также фальсифицировал протоколы допросов арестованных".
В частности, по воспоминаниям арестованного в 1937 году в Ленинграде Александра Тамми, "Карпов сначала молотил [его] табуреткой, а затем душил кожаным ремнем, медленно его закручивая… Карпов участвовал в допросах расстрелянного в феврале 1938 года по сфабрикованному обвинению физика-теоретика Матвея Бронштейна". За эти незаконные действия большая группа следственных работников Псковского окружного отдела НКВД еще в 1941 году была осуждена, а Карпов "в то время был отозван в Москву в центральный аппарат НКВД".
Итоговая формулировка была следующая: "За допущенные нарушения социалистической законности в 1937–1938 годах товарищ Карпов заслуживает исключения из КПСС, но, учитывая давность совершенных им проступков и положительную работу в последующие годы, комитет партийного контроля ограничился в отношении Карпова объявлением ему строгого выговора с занесением в учетную карточку".
С 1960 года на пенсии. Похоронен в Москве на Новодевичьем кладбище.
В середине 1960-х годов посредством слияния двух органов, подведомственных Совету Министров СССР – Совета по делам Русской православной церкви и Совета по делам религиозных культов (образован 19 мая 1944 года), – был создан Совет по делам религий при СМ СССР. Совет принимал решения о регистрации или снятии с регистрации религиозных объединений, об открытии и закрытии молитвенных зданий и домов, осуществлял связь между правительством СССР и религиозными организациями в СССР и за рубежом, поскольку формально советское государство декларировало свое невмешательство в дела церкви и других религиозных организаций.
Все служители культа в СССР для осуществления своей деятельности должны были иметь регистрацию Совета, контролировавшего органы управления всех религиозных организаций, в том числе Святейший синод Русской православной церкви. Заместитель председателя Совета Валентин Фурсов, отчитываясь перед ЦК КПСС за период 1974 – начало 1975 годов, писал, что "Синод находится под контролем совета. Вопрос подбора и расстановки его… членов был и остается всецело в руках совета… Ответственные сотрудники совета проводят систематическую воспитательно-разъяснительную работу с членами синода, устанавливают с ними доверительные контакты".
Термин ''доверительные контакты'' является профессиональным в деятельности спецслужб и в данном отчете наличествует не случайно. До момента исчезновения с карты мира государства под названием Советский Союз и упразднения власти КПСС в стране должности заместителей председателей указанных религиозных организаций занимали офицеры действующего резерва КГБ СССР, являвшиеся сотрудниками 4-го отдела 5-го управления КГБ СССР.
Подчиненность их по ведомству прикрытия была лишь номинальной. Как вспоминал бывший председатель Совета по делам религии (1985–1990) Константин Харчев, "был у меня заместитель, которому церковники ящиками носили коньяк и который их еще при этом иногда "таскал за волосы". Они зависели от него: разрешит или нет поездку за границу, захочет ли распределить в хорошую больницу".