Вскорости по приезде умерла княгиня Прасковья Юрьевна, а в 1734 году скончался князь Алексей Григорьевич. Главой семьи сделался князь Иван Алексеевич, и все семейные дела и распри легли на плечи его жены, этой хрупкой молодой женщины. Нраву она была тихого, доброго и смогла расположить к себе охрану, которая стала снисходительней к ним. Им разрешили выходить из острога в город, бывать в гостях и принимать у себя. Воевода Березова и его семья сошлись с ними, приглашали к себе и часто проводили время вместе. Жена воеводы присылала Долгоруким «разную харчу», меха. Из оставшихся у них дорогих вещей князь Иван и княжна Наталья делали подарки своим благодетелям. Общительный и веселый от природы князь Иван завел дружбу и знакомство с офицерами гарнизона, с местным духовенством и городскими обывателями. Всем интересно было послушать рассказы о житье при царском дворе столь именитого в прошлом вельможи. Особенно он сошелся с флотским поручиком Овцыным, через которого и принял свою погибель. Они часто вместе кутили, и вино развязывало язык князя. Он проговаривался о многом, неосторожно и резко отзывался об императрице, о цесаревне Елизавете Петровне, о придворных. Последовали доносы и строжайшее предписание не выходить из острога. Но все по-прежнему навещали их, и в числе прочих был приехавший таможенный подьячий Тишин, которому приглянулась «разрушенная» царская невеста княжна Екатерина. Однажды напившись, Тишин высказал ей свои желания, а оскорбленная княжна пожаловалась Овцыну. Тот со своими знакомцами наказал обидчика, жестоко избив. Тишин поклялся отомстить и отправил донос сибирскому губернатору, в котором обвинял Долгоруких и майора Петрова с березовским губернатором в послаблении узникам. Тогда отправили в Березов в 1738 году капитана сибирского гарнизона Ушакова с тайным предписанием под видом лица, присланного по повелению императрицы для улучшения положения Долгоруких, разузнать все об их жизни. Он сумел войти ко многим в доверие, узнал все, что ему было нужно, а по его отъезде был получен строжайший приказ из Тобольска — отделить князя Ивана от сестер, братьев и жены и заключить его в тесную сырую землянку. Там ему давали грубой пищи лишь столько, чтобы он не умер с голоду. Наталья Борисовна выплакала у караульных солдат дозволение тайно по ночам видеться с мужем через оконце, едва пропускавшее свет, и носила ему ужин.
Но новые испытания ждали ее. Темной ночью августа 1738 года к Березову подплыло судно с вооруженной командой. На него в полной тишине препроводили князя Ивана Алексеевича, двух его братьев, воеводу, майора Петрова, Овцына, трех священников, слуг Долгоруких и березовских обывателей, всего более 60 человек. Никто не знал, куда их везут. Их привезли в Тобольск к капитану Ушакову, который учинил над ними следствие, по тогдашнему обычаю «с пристрастием и розыском», то есть с пыткою. Девятнадцать человек были признаны виновными в послаблениях Долгоруким и потерпели жестокую кару: майора Петрова обезглавили, других били кнутом и записали в рядовые в сибирские полки. Князь Иван подвергся особым пыткам, во время следствия содержался в тобольском остроге в ручных и ножных кандалах, прикованным к стене, истощился нравственно и физически и был близок к умопомешательству. Он бредил наяву и рассказал неожиданно даже то, о чем его не спрашивали — об истории сочинения подложного духовного завещания Петра II. Это дало новый ход делу, были взяты дяди князя Ивана, князья Сергей и Иван Григорьевичи и Василий Лукич Долгорукий. Всех их привезли в Шлиссельбург, а затем в Новгород, подвергли пыткам и затем казнили. Страшной казни подвергли князя Ивана — его колесовали 8 ноября 1739 года на Скудельничьем поле близ Новгорода. Теперь здесь стоит церковь во имя Св. Николая Чудотворца, построенная в царство Екатерины II родственниками казненных. Слава Богу, что в то время княжна Наталья Борисовна не имела никаких вестей от мужа. Братья Ивана князья Николай и Александр были биты кнутом и после урезания языков сосланы на каторжные работы, князь Алексей отправлен матросом на Камчатку, а сестры — княжны Екатерина, Елена и Анна заключены в разные монастыри.
Княгиня Наталья Борисовна оставалась в Березове до восшествия на престол императрицы Елизаветы Петровны, затем она получила свободу и поселилась в Петербурге с двумя сыновьями в доме старшего своего брата Петра Борисовича Шереметева, унаследовавшего от отца более восьмидесяти тысяч крестьян и слывшего богатейшим помещиком России. Однако сестре своей он уделил только пятьсот душ. Наталья Борисовна принялась хлопотать о возвращении ее детям шестнадцати тысяч душ крестьян, конфискованных у князя Ивана Алексеевича. В ее просьбе обещал содействие и участие всемогущий тогда лейб-медик императрицы Лесток, но попросил за это в случае успеха вознаграждение за хлопоты — часы с курантами, купленные графом Петром Борисовичем в Лондоне за семь тысяч рублей. Но брат отказал сестре в этой безделице, сильно обидев ее. Правительство же возвратило ей всего лишь две тысячи душ. Окончив воспитание старшего сына Михаила, она с младшим, душевнобольным сыном уехала в Киев и после его смерти удалилась там в монастырь, во Фроловскую обитель, где постриглась под именем Нектарии. Когда сын ее старший Михаил (1731–1794) и его жена посетили Наталью Борисовну в монастыре, то просили ее написать о своей жизни для потомков, и она написала свою повесть любви. «Своеручные записки княгини Натальи Борисовны Долгорукой» до сих пор остаются памятником высочайшей литературы той эпохи. Язык и тонкость в изображении чувств и ее горьких приключений, живость воспоминаний и точные характеристики людей показали ее талант и свежесть восприятия, которые не притупились у нее с годами. Великого ума и душевной красоты была княжна. Заканчивая свою грустную повесть, она еще раз перечисляет достоинства человека, которого любила. «Я сама себя тем утешаю, когда спомню все его благородные поступки, и щасливу себя щитаю, что я ево ради себя потеряла, без принуждение, из свои доброй воли. Я все в нем имела: и милостиваго мужа и отца, и учителя и старателя о спасении моем; он меня учил Богу молитца, учил меня к бедным милостивою быть, принуждал милостыню давать, всегда книги читал Святое писание, чтоб я знала Слово Божие, всегда твердил о незлобие, чтоб никому зла не помнила. Он фундатор всему моему благополучию теперешнему; то есть мое благополучие, что я во всем согласуюсь с волей Божию и все текущие беды несу с благодарением. Он положил мне в сердца за вся благодарить Бога. Он рожден был в натуре ко всякой добродетели склонной, хотя в роскошах и жил, яко человек, только никому зла не сделал и никово ничем не обидел, разве што нечаянно». Наш рассказ свидетельствует о другом образе князя Ивана. Но любовь и вера княжны Натальи оставили для потомков ласково и тонко написанный портрет истинного мужа, исполненного всевозможных добродетелей. Это говорит лишь о том, что муж в глазах жены выглядит настолько достойно, сколько любви к нему ей отпущено Богом.