Долгоруковы жили постоянно в ссорах и пререканиях друг с другом. Особенно не ладили князь Иван и его сестра, «разрушенная царская невеста» Екатерина. У них чуть не каждый день происходили крупные ссоры, несмотря на все старания Натальи Борисовны примирить мужа с его сестрой.
Жена Алексея Григорьевича, княгиня Прасковья Юрьевна, не перенесла всех физических и нравственных тревог ссылки и опалы и тихо скончалась в начале ноября 1730 года.
С кончиною старой княгини семейные ссоры опальных Долгоруковых стали все чаще и чаще. Алексей Григорьевич сильно не ладил с сыном Иваном, бывшим царским фаворитом, и постоянно преследовал его упреками в том, что тот будто виновник всех их бед и несчастий.
– Все наше горе и наше несчастье из-за тебя, Иван! – кричал на него Алексей Григорьевич.
– А чем же я-то, батюшка, виновен?
– А почему ты не дал умиравшему государю подписать духовную, почему?
– Да потому, что это – дело бесчестное, недостойное…
– А нас в Сибирь-то сослать, по-твоему, было достойно?
– По нашим делам-то, пожалуй, мы и достойны…
– Вот как, вот как! Ну не враг ты нам после этого, а? Не злодей ты нам? Из-за тебя мать в сырую землю пошла, сестры в ссылке тают, а про себя я и не говорю. Ну, не думал, не гадал, что ты врагом нашим будешь, что через тебя мы ссылку терпеть будем…
– Неизвестно, батюшка, кто из-за кого терпит! Ведь, по правде сказать, и ты и я – все мы виновны перед покойным государем, моим благодетелем и другом.
Во время взаимных укоров друг друга у Долгоруковых, по историческим данным, вырывались неосторожные выражения об их прежнем величии, проскальзывала весьма понятная ненависть к Анне Иоанновне. В 1731 году, по донесению капитана Шарыгина, возникло дело об этих ссорах, и 9 декабря 1731 года, по выслушании выдержек из этого дела, последовал следующий именной указ: «Сказать Долгоруковым, чтоб они впредь от таких ссор и непристойных слов воздержались и жили мирно под опасением наижесточайшего содержания».
В первое время ссылки князя Ивана Долгорукова мучили угрызения совести – сказывалась его добрая, податливая натура. Часто он, вспоминая императора-отрока, горько плакал.
Однажды, говея в Великий пост и исповедуясь у священника Рождественской церкви, он на духу сказал, что мучится тем, что подписал духовную под руку государя.
– Где же эта духовная? – спросил у него священник.
– Уничтожена, – ответил князь Иван.
– Молись, Бог простит!
С того дня Иван Алексеевич стал спокойнее.
Самыми драгоценными вещами князь Иван считал два патента, подписанных императором-отроком; первый был дан князю Ивану на звание гоф-юнкера, другой – на обер-камергера. Эти патенты князь берег как святыню и часто любовался на них вместе со своею доброю и кроткою женой. Патенты живо воскрешали перед ним недавнее блестящее прошлое и вызывали слезы при воспоминании о друге-императоре, переносили из острога в роскошные палаты царственного дворца, на придворные торжества, в которых ему приходилось играть первенствующую роль по званию камергера.
– Куда девались величие, слава, могущество? Все миновало, и безвозвратно! – печальным голосом проговорил князь Иван, обращаясь к своей жене Наталье Борисовне.
– Будь терпелив, Иванушка! Воля Божья: Бог дал, Бог и взял.
– Я-то притерпелся, мне что, а вот как ты, голубка? За что ты терпишь? Мне поделом, а ты-то невинная.
– Знаю, Иванушка, ты давно меня в святые записал.
– Ты такая и есть на самом деле.
Маруся свыклась со своим положением и мало-помалу стала привыкать к тяжелой жизни в ссылке.
Князь Алексей Григорьевич при своих семейных и при посторонних обходился с нею как с чужой, но, оставаясь вдвоем, становился в отношениях с ней нежным, любящим отцом. Он искренне привязался к молодой женщине. Не раз, видя на ее лице выражение тоски, вызванной разлукой Маруси с мужем и неведением об участи последнего, князь утешал ее надеждой на то, что Левушку, как ни в чем не повинного, выпустят из тюрьмы, и он, несомненно, поспешит приехать в Березов за Марусей. Это вливало отраду в душу Маруси, и она на несколько времени забывала тоску, проникаясь радостной надеждой.