Один из внуков Павла Дмитриевича, кузен С. П. Дягилева Павел Григорьевич Корибут-Кубитович (в семье его любовно называли Пафка), считал деда человеком особенным. Сообщая, что старший Дягилев оставил службу в министерстве «из-за пустого разногласия», он подчеркивал: «…дед, как и внук его, Сергей Павлович, не мог по самой природе своей служить и подчиняться дисциплине».
Впрочем, Павел Дмитриевич в ту пору и не переживал вовсе о потерянном месте. Весельчак, прекрасный пианист, он гордился тем, что был учеником известного ирландского музыканта, профессора Джона Фильда. С оптимизмом смотреть в будущее помогала и счастливо сложившаяся семейная жизнь — в семье Дягилевых подрастало восемь детей. В 1850 году, выйдя в отставку, Павел Дмитриевич вместе с женой Анной Ивановной и многочисленными домочадцами поселился в родовом пермском имении Бикбарда. После смерти отца он получил большое состояние — «около пятнадцати тысяч десятин в Осинском уезде Пермской губернии и в смежном Бирском уезде Уфимской губернии, тоже с прекрасною усадьбою; в каждом имении было по большому винокуренному заводу». В самом центре Перми у Дягилевых был громадный дом, в котором насчитывалось 30 просторных комнат. К дому примыкал большой флигель, а также сад и обширный двор, который обрамляли конюшни, каретные сараи, ледники и прочие хозяйственные пристройки. Павел Дмитриевич жил то в этом доме, то в усадьбе — как душа желала. Нередко отправлялся он и в Санкт-Петербург. Ведь детям нужно было давать образование, вот и жили они по большей части в столице.
Причем жили на широкую ногу — в собственном трехэтажном доме с флигелями на Фурштатской улице. Хозяин справедливо слыл человеком широких взглядов и к крестьянам всегда относился доброжелательно. Он не хотел иметь дворовых крепостных, и вся прислуга была наемная. Когда начались знаменитые реформы императора Александра II, землевладельцы Пермской губернии выбрали Павла Дмитриевича депутатом в комитет по освобождению крестьян. С тех пор он всё чаще и дольше жил в столице вместе с постоянно увеличивавшейся семьей. Дела шли как нельзя лучше. При умелом управлении имениями и перестроенными и модернизированными винокуренными заводами Дягилев из очень состоятельного человека превратился в богача.
Но странное дело: именно тогда, на пороге пятидесятилетия, у Павла Дмитриевича произошел какой-то внутренний слом. Он всё меньше ценил богатство и земные блага, даже сблизился с монахами, что очень не нравилось его жене. Анна Ивановна то и дело обвиняла чернецов в перемене, произошедшей с ее мужем. Началом последовавшей драмы она считала эпизод, имевший место вскоре после свадьбы старшей дочери Анны (Ноночки), которая, по ее собственному признанию, вышла замуж за «одного из лучших людей на свете» — Владимира Дмитриевича Философова.
Неприятность случилась в Петергофе, на великолепной даче, снятой на все лето. Народу там собралось много: Дягилевы с девятью детьми, молодая чета Философовых, а также пятеро сирот, оставшихся на попечении Павла Дмитриевича после смерти старшей сестры Анны Ивановны. «Под крылом» гостеприимных хозяев жили и гости: двое сыновей графа Федора Петровича Литке — двоюродные братья матери семейства, одного возраста с ее детьми, так что скучать не приходилось. Численность этой компании увеличивали гувернеры, гувернантки и бонны.
Словом, хлопот у хозяев было много. Однажды Павел Дмитриевич уехал в Санкт-Петербург, в казначейство — за деньгами, пообещав вернуться к вечеру; но прошел день, два, три, четыре… а его всё не было. Сумму он собирался получить порядочную, так что Анна Ивановна не на шутку разволновалась. Не ограбили ли его или, еще хуже, не убили ли какие лиходеи? Пришлось ей ехать в город, что в те времена было целой проблемой. Дома Анна Ивановна узнала от дворника, что хозяин приезжал, к нему пришел какой-то рыжеволосый хромой монах и они уехали неизвестно куда и зачем.
В беспокойном ожидании прошло две недели. Наконец Павел Дмитриевич, похудевший, бледный и мрачный, вернулся в Петергоф. Денег при нем не было, и добиться, где он провел всё это время и что произошло, так и не удалось. Молчал, словно воды в рот набрал. Наблюдательная Анна Ивановна сразу заметила, что ее супруга что-то точит изнутри. Он явно не мог разрешить какую-то нравственную проблему и мучился, мучился… Стал сторониться людей, никого не хотел видеть, даже собственных детей, которых, несомненно, любил. Лишь жене разрешалось входить в его покои. Наступил день, когда состояние Павла Дмитриевича доктора признали психической болезнью.