Тяжко пришлось Наталье Борисовне, слишком молода была для таких испытаний, только вошла в незнакомую семью и принуждена была ехать с ними в ссылку. Не было у нее и практического опыта, не взяла с собой ничего дорогого, все подарки, шубы, драгоценности отослала брату на сохранение. Никто не научил ее, как собраться. Золовки прятали золото, украшения, она же только ходила за мужем, «чтобы из глаз моих никуда не ушел». Брат прислал ей тысячу рублей на дорогу, она же взяла себе только четыреста, остальные отослала назад, приготовив еще мужу тулуп, себе шубу и одно черное платье. После поняла она свою глупость, да было поздно. Взяла еще с собою царскую табакерку, на память о государевой милости. Дорогою узнала княжна, что едет на своем коште, а не на общем. Из ее родных никто не приехал проститься с ней. Так что на долгие-долгие годы родной ей стала, такая не похожая на ее родную, семья Долгоруких. По дороге к пензенским деревням случилось много всякого: ночевали в болоте, муж ее чуть не погиб... Но это было только начало горестей. Не прожили они и трех недель в деревнях, как вдруг прибыли офицер гвардии и солдаты. Не успели опомниться, объявлено было о новой ссылке, в дальний город. Но куда — не сказали. После этого известия и когда выяснилось, что везут их в Березов, который отстоит от столицы в 4 тысячах верст и больше, Наталья Борисовна ослабела и лишилась чувств. Князь Иван испугался, что она умрет, и всячески ухаживал за ней. Но Наталья Борисовна собрала все силы свои. Любовь спасла ее от отчаяния.
«Истинная ево ко мне любовь принудила дух свой стеснить и утаивать эту тоску и перестать плакать, и должна была и ево еще подкреплять, чтоб он себя не сокрушил: он всево свету дороже был. Вот любовь до чево довела: все оставила, и честь, и богатство, и сродников, и стражду с ним и скитаюсь. Этому причина все непорочная любовь, которою я не постыжусь ни перед Богом, ни перед целым светом, потому что он один в сердце моем был. Мне казалось, что он для меня родился и я для нево, и нам друг без друга жить нельзя». Такое объяснение в любви к мужу, которого уже давно не было в живых, Наталья Борисовна написала через много лет, в глубокой старости. «Я по сей час в одном разсуждении и не тужу, что мой век пропал, но благодарю Бога моево, что Он мне дал знать такова человека, который тово стоил, чтоб мне за любовь жизнию своею заплатить, целый век странствовать и всякие беды сносить. Могу сказать — безпримерные беды...»
Да, то действительно были «безпримерные беды». Вся семья Долгоруких была лишена званий, орденов и имуществ и отправлена в ссылки. На долю князя Алексея Григорьевича с женой Прасковьей Юрьевной, сына Ивана с женой Натальей Борисовной, сыновей Николая (18 лет), Алексея (14 лет), Александра (12 лет) и дочерей Екатерины (18 лет, царской невесты), Елены (15 лет) и Анны (13 лет) выпала ссылка в Березов, суровый северный городок в 1066 верстах от Тобольска, недалеко от современного Сургута, окруженный дремучей тайгой и пустынными тундрами, стоящий на крутом берегу реки Сосьвы близ впадения ее в Обь. Здесь зима длилась восемь месяцев в году, погода отличалась непостоянством, воздух был сырой и туманный, свирепствовали жестокие бураны, а от мороза лопались стекла в домах. По недостатку помещений в остроге, в котором сидел до них светлейший князь Меншиков, князю Ивану с женой выделили дровяной сарай, наскоро перегороженный и снабженный двумя печками. Именным приказом императрицы Долгоруким было строжайше запрещено общаться с местными жителями, иметь бумагу и чернила и выходить куда-либо из острога, кроме церкви, да и то под надзором солдат. Надзор над пленниками был поручен специальной команде солдат сибирского гарнизона из Тобольска под началом майора Петрова. Содержание узников было самое скромное, по одному рублю на каждого ежедневно, а продукты в Березове были очень дороги. Для примера, пуд сахара стоил 9 руб. 50 коп., что было по тем временам ценой непомерной. Долгоруковы терпели большую нужду, ели деревянными ложками, пили из оловянных стаканов. Женщины занимались рукоделием, мужчины забавлялись утками, гусями и лебедями, которых разводили на острожном дворе.
Семья Долгоруких была не дружна, часто они ссорились и пререкались друг с другом, говорили много бранных слов. Об этом доносили даже императрице, которая в 1731 году издала специальный указ: «Сказать Долгоруковым, чтоб они впредь от ссор и непристойных слов конечно воздержались и жили смирно, под опасением наистрожайшего содержания».