Более двух месяцев Корф вез Брауншвейгскую семью к Белому морю. Но из-за бездорожья довезти не смог и упросил Петербург хотя бы временно прекратить это измотавшее всех — узников, охрану, самого Корфа — путешествие и поселить арестантов в Холмогорах — небольшом городе на Северной Двине, выше Архангельска. Весной 1746 года в Петербурге решили, что узники здесь останутся еще на какое-то время. Никто даже не предполагал, что пустовавший дом холмогорского архиерея станет их тюрьмой на долгие тридцать четыре года!
Анне Леопольдовне было не суждено там прожить дольше двух лет. 27 февраля 1746 года она родила мальчика — принца Алексея. Это был последний, пятый ребенок, — четвертый, сын Петр, родился уже в Холмогорах в марте 1745 года. Рождение всех этих детей было тоже причиной ненависти Елизаветы к Анне. Дети были принцами и принцессами, которые, согласно завещанию императрицы Анны Иоанновны, имели права на российский престол большие, чем сама Елизавета. И хотя за дочерью Петра была сила, сообщения о рождении очередного потенциального соперника так раздражали императрицу, что, получив из Холмогор известие о появлении на свет принца Алексея, Елизавета, согласно рапорту курьера, «изволила, прочитав, оный рапорт разодрать». Рождение детей у Анны Леопольдовны и Антона Ульриха тщательно скрывалось от общества, и коменданту тюрьмы категорически запрещалось в переписке даже упоминать о детях. Даже после смерти Анны императрица потребовала, чтобы Антон Ульрих сам написал подробнее о смерти жены, но при этом не упоминал, что она родила сына. Но, как часто бывало в России, о принцах и принцессах можно было узнать уже на холмогорском базаре, о чем свидетельствуют многочисленные документы из Тайной канцелярии.