Если в 60-х годах шиповское состояние исчислялось в 9 миллионов, то за двадцать лет оно значительно пошло на убыль. В конце 70-х годов дела были уже запутаны. Николай Павлович понес крупные потери из-за краха одного из московских банков, во главе которого стоял некто Струсберг. Сыновья — Николай Николаевич и, главным образом, Филипп Николаевич — тратили много денег. За Филиппа Николаевича два раза отец платил крупные долги. Самый же сильный удар по шиповскому состоянию был нанесен, как ни странно, серьезным и скромным Дмитрием Николаевичем, который, имея доверенность отца, во время отсутствия последнего, по неопытности, субсидировал своего дядю Дмитрия Павловича Шипова суммой в миллион рублей. Деньги эти безвозвратно погибли, так же как и заводы Дмитрия Павловича, под которые они были даны.
В 1881 году Николай Павлович решил при жизни произвести раздел имущества между своими сыновьями. Дом на Лубянке продали Российскому страховому обществу. (И теперь там штаб-квартира КГБ. — Прим. ред.). Главная часть состояния — нижегородские заводы — досталась Николаю Николаевичу, который вместе с тем принял на себя погашение всех отцовских обязательств (в том числе выплату 200 тысяч рублей сестре Ольге Николаевне). Филипп Николаевич, после того как из денег, реализованных от продажи дома, в третий раз оплатили его долги, получил в пользование имение Осташево (без права продажи), а Дмитрий Николаевич — имение Ботово, где и поселился, занявшись сельским хозяйством и земской деятельностью (он был вскоре выбран председателем Волоколамской уездной управы, а впоследствии — Московской губернской управы).
Войдя во владение нижегородскими заводами, Николай Николаевич учредил при них нечто вроде опекунского совета, ведающего выплатой обязательств, но с проведением выплаты как будто не торопился. Я слышала, что Ольга Николаевна была даже вынуждена написать императору Александру III письмо, в котором всеподданнейше просила воздействовать на ее брата, который не платит долгов.
В начале 80-х годов у Николая Николаевича Шипова было пятеро детей (четыре дочери и один сын). Он был командиром кавалергардского полка. Все это требовало больших средств, а с деньгами бывало подчас так туго, что дело доходило до сдачи в заклад бриллиантов. Об этом знала императрица Мария Федоровна и, когда на торжественных приемах она не усматривала на плече Софьи Николаевны фрейлинского шифра, то укоризненно качала головой и говорила: «Софи! Что, опять?!» Эти подробности я знаю от второй дочери Шиповых — Дарьи Николаевны, с которой я стала очень близка лет с шестнадцати. Если в силу материальных недоразумений между Шереметевыми и семьей Николая Николаевича и произошло некоторое охлаждение, то оно отнюдь не распространилось на племянницу Довочку, которую любили у Сухаревой за ее доброту, веселый характер и за то, что «в ней нет ничего петербургского» (в устах московских Шереметевых это было большой похвалой).
В первый раз я увидела Довочку, когда мне было лет тринадцать-четырнадцать, на обеде у Филиппа Николаевича Шипова, который в то время был управляющим московским отделением Дворянского банка и жил в казенной банковской квартире на Садовой-Спасской. Дарья Николаевна вместе со своим мужем Петром Николаевичем Давыдовым (внуком партизана) остановилась на несколько дней в Москве, проездом из своего саратовского имения за границу, и объезжала родственников. Когда она, очень высокая, стройная, в черном гладком бархатном платье с высоким воротом, с крупными бриллиантами в ушах и улыбающимися глазами вошла в столовую, я почувствовала в ней если не петербургский, то во всяком случае и не московский тон. В ту пору Довочка была очень lady-like.
Петр Николаевич, шумный, говорливый, подвижной, был на полголовы ниже жены. За столом он покрывал все голоса своими громкими и блестящими французскими фразами, произносимыми с большим апломбом. После обеда, оглушив нас столь же громкой, бравурной игрой на фортепьяно, он уехал в клуб, где его ждала карточная игра. (Давыдов был страстным игроком и одним из основателей Нового клуба в Петербурге на Дворцовой набережной. В этом клубе произошел большой скандал, когда Давыдов уличил генерала Галла в нечестной игре.)
Дарья Николаевна относилась к мужу дружески-спокойно. На обеде у дяди Филиппа она после его отъезда весело продолжала шутить с окружавшими ее двоюродными братьями Шиповыми и Шереметевыми и как будто не замечала его отсутствия. В 1910 году Давыдов скоропостижно умер, сравнительно молодым человеком. Дарья Николаевна осталась независимою, богатою вдовой. Детей у нее не было. Я не знаю, как это случилось, но в 1912 году мы с ней, несмотря на разницу лет, оказались большими друзьями, причем Довочка меня всячески баловала. Широкая и добрая по натуре, она относилась ко мне с детской непосредственностью и прямолинейностью. Прямолинейность мышления доходила у нее до маниачества, а маниачество с годами развивалось по одной строго определенной линии. К сорока годам Довочка казалась уже не совсем нормальной, и люди невольно вспоминали, что ее мать, Софья Петровна, несколько раз заболевала серьезным душевным расстройством.