Долгорукие ехали в ссылку медленно, с большим обозом, часто и подолгу останавливались, будто пребывали в приятном путешествии. По дороге мужчины охотились: «Где случитца какой перелесочек, — писала Наталья Борисовна, — место для них покажитца хорошо, верхами сядут и поедут, пустят гончих». Удивительное легкомыслие или, может быть, надежды, что их нагонит новый курьер и вернет в столицу? А между тем в Москве злобствовала новая императрица. Не успели отъехать от Москвы на сто верст, как ссыльных нагнал нарочный офицер — отобрал награды, ордена и ленты. Потом вновь прискакал новый нарочный — он уже отобрал у «порушенной невесты» Екатерины Алексеевны портрет ее жениха Петра II, подаренный ей в день обручения.
Медлительность Долгоруких в исполнении царской воли до добра их не довела. 12 июня 1730 года появился новый указ, в котором Долгорукие обвинялись в непослушании, отказе ехать в пензенские деревни. «Того ради, — говорилось в указе, — послать князя Алексея Долгорукого с женою и со всеми детьми в Березов... И за ними послать пристойный конвой офицеров и солдат и держать их в тех местах безвыездно за крепким караулом». Все имения опальных были конфискованы и приписаны к дворцовым владениям, ссыльным же полагалось по одному рублю на человека.
Между тем Долгорукие об этом указе не знали, они только что наконец добрались до места своей пензенской ссылки. И тут... не успели устроиться — новая беда. Долгорукая так описывает происшедшее: «Только что отобедали — в евтом селе был дом господской и окна были на большую дорогу, — взглянула я в окно, вижу я пыль великую по дороге, видно издалека, что очень много едут и очень скоро бегут. Как стали подъезжать, видно, что все телеги парами, позади коляскам покоева. Все наши бросились смотреть, увидели, что прямо к нашему дому едут: в коляске офицер гвардии, а по телегам солдаты 24 человека. Тотчас мы узнали свою беду». Это прибыл капитан-поручик Макшеев с командой солдат и с указом доставить Долгоруких в Сибирь, в Березов.
Началась тяжелая, долгая дорога в Сибирь, суровая природа, неудобства в пути, страшная буря на реке, когда охранники уже решили на произвол судьбы бросить ссыльных на барже, а самим спасаться на лодках. Испили Долгорукие и чашу унижений и оскорблений, которую им регулярно подносили в пути охранники. Если до Тобольска — столицы тогдашней Сибири — ссыльных вез конвой под началом гвардейского офицера Макшеева, который все-таки знал, кто такие Долгорукие, и невольно оказывал им почтение, делал им, в нарушение указа, мелкие послабления, то после Тобольска все переменилось. Долгорукие оказались во власти местных начальников. Прощаясь с Долгорукими, Макшеев, по словам Натальи, грустил при расставании и говорил им: «Теперь-то вы натерпитесь великого горя, эти люди необычайные, они с вами будут поступать как с подлыми, никаково снисхождения от них не будет». Это и неудивительно — здесь, в глубине Сибири, бывшие титулы, звания, слава ровным счетом ничего не значили, а «как мы тогда назывались арестанты, иного имени не было, что уже в свете этого титула хуже, такое нам и почтение». И действительно, поступили они под команду гарнизонного капитана — выходца из крестьян. Он чванился, даже не разговаривал с арестантами, а между тем ходил к ним обедать. «В чем он хаживал, — зажимая носик, восклицала княгиня Долгорукая, — епанча солдацкая на одну рубашку, да туфли на босу ногу, и так с нами сидит. Я была всех моложе и невоздержна, не могу терпеть, чтоб не смеятца, видя такую смешную позитуру». Но делать было нечего, пришлось привыкать и к неотесанному начальнику конвоя, и к ссылке в Заполярье, грязи, деревянным ложкам и оловянным стаканам вместо золотых и серебряных.
Испытания, выпавшие на долю опальных, не сплотили, а, наоборот, поссорили многочисленную семью Долгоруких (кроме Ивана в ссылку отправились родители его — князь Алексей и княжна Прасковья, «порушенная» царская невеста и сестра Ивана княжна Екатерина, другие родственники). Жизнь в заполярном Березове и для вольных людей была тяжелой: тьма, холод, убогая, тесная общая казарма внутри острога. Любопытно, что из описи вещей Долгоруких видно: все они захватили с собой множество старинного покроя платьев для облачения в домашней обстановке. На людях Долгорукие ходили в париках, камзолах, робронах, а дома, вдали от посторонних глаз, — в мягких, удобных дедовских нарядах. И только княжна Екатерина привезла с собой огромное количество платьев, сшитых для нее ко дню свадьбы. (Уже много лет спустя после возвращения из ссылки, в 1745 году, она вышла замуж за Я. Брюса, но вскоре после свадьбы умерла. Перед смертью она собрала силы и сожгла все свои платья — чтобы никому не достались!) Долгорукие так часто ссорились и даже дрались, что охранникам приходилось их успокаивать и разнимать. Особенно часто возникали ссоры княжны Катерины с ее отцом Алексеем Григорьевичем. «Порушенная невеста» Екатерина Алексеевна люто ненавидела отца и брата Ивана. Ведь ее привезли в тот город и в тот острог, где за полтора года до этого, 25 декабря 1728 года, прямо в день своего восемнадцатилетия умерла первая «порушенная невеста» Петра II — Маша Меншикова! Она попала сюда вместе с отцом из-за интриг Долгоруких, свергших Меншикова. Как говорится, не копай другому яму, сам в нее попадешь! Екатерина бунтовала, обвиняя отца и брата в том, что они разрушили всю ее жизнь. Так это и было: ведь до истории с обручением юного императора и Екатерины у нее был избранник, которого она любила и за которого хотела выйти замуж. Охрана, опасаясь неприятностей, сообщила об отчаянных ссорах и драках в столицу, оттуда пришел суровый указ, чтобы Долгорукие «впредь от таких ссор и непристойных слов, конечно, воздержались и жили смирно под опасением наижесточайшего содержания», то есть тюремного заключения. Долгорукие утихли, но ненадолго.