Участник 40 боев и походов, П. М. Капцевич командовал ОКВС 12 лет.
Подводя итоги этой деятельности, Русский биографический словарь отмечает, что генерал П. М. Капцевич о себе «оставил добрую память облегчением службы и заботами об улучшении положения подчиненных ему войск».
За свою деятельность на посту командира ОКВС награжден орденами Св. Александра Невского и Св. Владимира 1-й степ.
Из-за расстроенного здоровья он получил продолжительный отпуск. В плачевном состоянии оказались и домашние дела. В заемном банке появился значительный долг (52 тыс. руб., занятых под залог дома в Санкт-Петербурге). Владелец 300 душ крестьян был не в состоянии управлять отданным ему в аренду казенным имением в Виленской губернии (награда за штурм Парижа в 1814 г.). К тому же срок аренды уже дважды продлевался на 12 лет, он истекал в 1840 г. В этих обстоятельствах Капцевич решился обратиться к императору с просьбой о новом продлении срока аренды и выдаче половины ее суммы. Прошение рассматривалось у министра государственных имуществ П. Д. Киселева. Средств не хватало, и Капцевич просит помочь избавиться ему от накопившегося долга за счет запасного капитала Отдельного корпуса внутренней стражи, где благодаря его же усилиям и бережливости сумма капитала за 7 лет выросла до 1 141 759 руб. 29 марта император согласился погасить долг за счет резервного капитала банка. Но воспользоваться царской милостью Капцевич уже не смог…
Свой отпуск он проводил в имении генерала Тимашова. Лечился кумысом, целительные свойства которого он испытал на себе, когда жил в Сибири. Почувствовав себя легче, увлекся охотой, но простудился и слег. 3 июля 1840 г. его не стало.
Похоронен в с. Никольском (в 50 км от Оренбурга).
Капцевич был женат на княжне Марии Петровне Прозоровской (родственнице генерал-фельдмаршала князя А. А. Прозоровского), имел двоих детей: сына Николая (1818–1862), офицера русской армии, и дочь Софью (была фрейлиной Высочайшего Двора, вышла замуж за генерал-майора А. К. Эссена).
Русский биографический словарь. — СПб., 1897. — Т. 8.
Герцен А. И. Былое и думы. — М., 1979. — С. 234.
Греч Н. И. Записки о моей жизни. — М., 1990. — С. 49.
Долгорукий И. М. Капище моего сердца или Словарь всех тех лиц, с коими я был в разных отношениях в течение моей жизни. — М., 1874.
Дубровин Н. Письма деятелей в царствование Императора Александра I (с 1807–1829 гг.). — СПб., 1883. — С. 264, 265, 432.
Петр Михайлович Капцевич — Тобольский и Томский генерал-губернатор // Словарь достопамятных людей русской земли, содержащий в себе жизнь и деяния знаменитых полководцев, министров и мужей государственных, великих иерархов православной церкви, отличных по участию в отечественной истории, составленный Дмитрием Бантыш-Каменским и изданный Александром Ширяевым в пяти частях. — СПб.: типография ОКВС, 1847. — Ч. 2. — С. 90–109.
Великий Князь Николай Михайлович. Русские портреты XVIII и XIX столетий. — СПб., 1905. — Т. III. — № 82.
Военная энциклопедия. — СПб.,1912. — Т. VI. — С. 414.
Клодт Г. А. Лепил и отливал Петр Клодт. — М., 1989. — С. 38, 39.
Клодт Г. А. Повесть о моих предках. — М., 1997. — С. 35.
История внутренних войск: Хроника событий (1811–1991 гг.) — М., 1995. — С. 132.
Органы и войска МВД России: Краткий исторический очерк. — М., 1996. — С. 81–84.
Органы внутренних дел России. В 2-х т. — Т. 1. Органы внутренних дел Российской империи. — М., 2002. — С. 229–234.
Штутман С. М. На страже тишины и спокойствия: Из истории внутренних войск России (1811–1917 гг.). — М., 2000. — С. 158–172, 175–181, 241, 242, 243, 245.
Федорченко В. И. Императорский Дом. Выдающиеся сановники: Энциклопедия биографий. В 2-х т. — Красноярск, 2000. — Т. 1. — С. 524, 525.