Как о месте заточения Иоанна Антоновича, так и о месте пребывания его родни правительство хранило строгую тайну, а в переписке, касавшейся принца Антона и его детей, называло их обыкновенно «известными персонами».
Даже жители Холмогор не знали, что в архиерейском доме живут отец, братья и сестры низложенного императора. Им было лишь известно, что в безмолвных стенах живут какие-то «важные арестанты», но какие именно, того не ведал никто.
Сами арестанты никого не видели, кроме людей, приставленных к ним для услужения. А когда кому-либо из заключенных нужен был врач, то для приглашения его требовалось предварительно разрешение архангельского губернатора.
И не только сами принцы и принцессы не могли сообщаться с внешним миром, но и лица, их окружавшие, прислуга и прочие не имели права выходить за ограду архиерейского дома. Команда, приставленная к узникам, разделялась на два отряда: верхнюю, находившуюся внутри ограды, и нижнюю, сторожившую снаружи; чины этих команд тоже не имели права сноситься между собой.
В таких условиях Брауншвейгская фамилия жила многие годы, а родившиеся в заточении принцы Петр и Алексей не имели даже понятия о том мире, который находился вне ограды их дома.
Комната принцессы Анны Леопольдовны в здании Успенского монастыря в Холмогорах.
Принц Антон-Ульрих прожил десять лет после кончины Иоанна Антоновича. Спустя некоторое время после шлиссельбургской катастрофы императрица Екатерина намеревалась освободить принца и выслать его в Германию, считая его неопасным, но тот не пожелал воспользоваться свободой, если дети его должны остаться в Холмогорах, и предпочел разделить с ними заточение. Под конец жизни Антон-Ульрих ослеп. Умер он 4 мая 1774 года. Тело его было похоронено внутри ограды дома, где арестанты содержались, близ церкви, в присутствии одних только находившихся в карауле нижних чинов, со строжайшим запрещением последним рассказывать кому бы то ни было о месте погребения.
Дети принца Антона — теперь уже взрослые — оставались в Холмогорском остроге после смерти отца еще шесть лет. Все они были болезненные калеки; старшая дочь, принцесса Екатерина, оглохла на восьмом году жизни и была до того косноязычна, что речи ее нельзя было понимать и братья и сестры объяснялись с ней знаками; Елизавета была подвержена головным болям и разным болезненным припадкам, впадала часто в меланхолию, страдала одно время помешательством; принц Петр был чахоточный, горбатый и кривоногий; здоровее других был самый младший, принц Алексей, хотя и у него, по донесениям приставленного к Брауншвейгской фамилии офицера Зыбина, бывали болезненные припадки. Братья и сестры жили дружно. Летом они работали в саду, ходили за курами и утками, зимой читали вместе церковные книги, играли в карты и шашки, бегали взапуски по пруду. Принцессы занимались также шитьем белья.
Средства на содержание узников присылались из Петербурга на имя архангельского губернатора, которому поручен был и главный надзор над Брауншвейгской фамилией.
В 1780 году приехал в Холмогоры из Петербурга вновь назначенный архангельский губернатор Мельгунов и объявил принцам и принцессам, что императрица Екатерина дарует им свободу.
Весть эта не особенно обрадовала узников. «Мы здесь родились, привыкли к здешнему месту и застарели, — объясняла принцесса Елизавета. — Теперь большой свет не только для нас не нужен, но и будет тягостен; мы даже не знаем, как обходиться с людьми, а выучиться тому уже поздно. В молодости своей мы надеялись еще научиться светскому обращению; но в теперешнем положении не остается нам ничего больше желать, как только того, чтобы жить здесь в уединении. Рассудите сами, можем ли мы желать чего-нибудь, кроме этого. И мы просим лишь исходатайствовать у ее величества милость, чтобы позволено нам было выезжать из дома на луга для прогулки; мы слыхали, что там есть цветы, каких в нашем саду нет. И еще просим позволить женам офицеров, которые приставлены для надзора за нами, ходить к нам… Ничего больше мы не желаем».
Тем не менее Мельгунов, исполняя волю императрицы, увез принцев и принцесс из Холмогор к реке Двине, где их ожидало судно «Полярная Звезда». На этом судне они были доставлены в г. Берген, откуда на датском военном корабле «Марс» их перевезли в г. Горзенс, в Ютландии, в датских владениях.