Сначала свергнутого младенца с родителями хотели отправить восвояси к их родичам за границу. Но тут вступил в игру Фридрих II. Он посоветовал русскому посланнику Чернышову услать на всякий случай все брауншвейгское семейство в место столь удаленное, чтобы о них вообще все забыли.
В июле 1744 года все семейство отправили в Архангельск, чтобы поселить в Соловках. Принца Иоанна приказали везти отдельно майору Миллеру с такой инструкцией: «Когда Корф вам отдаст младенца четырехлетнего, то оного посадить в коляску и самому с ним сесть, и одного служителя своего или солдата иметь в коляске для бережения и содержания оного; именем его называть «Григорий». Ехать в Соловецкий монастырь, а что вы имеете с собою какого младенца, того никому не объявлять; иметь всегда коляску закрытую».
До Соловков пленники не доехали. Помешал шторм. Их пока в строжайшей тайности поселили в Холмогорах в бывшем архиерейском доме, да потом решили тут и оставить. Дом обнесли высоким забором. Ивана держали во флигеле, отдельно от родителей, маленького брата и сестер — в таком секрете, что они, похоже, даже не знали, что живут рядом.
Вскоре мать мальчика умерла, но он даже не узнал об этом. В полной изоляции он прожил в Холмогорах пятнадцать лет. Вопреки строжайшим запретам кто-то научил его грамоте и рассказал ему, кто он такой и как был свергнут с престола.
Летом 1756 года судьба его снова переменилась — к еще худшему.
При очередной облаве на один раскольничий скит задержали подозрительного человека. Он оказался тобольским посадским Иваном Зубаревым. За разные провинности он уже побывал в застенках Сыскного приказа, но сумел убежать. Его давно разыскивали. Теперь на допросах, под пытками Зубарев рассказал, будто после бегства скрывался у раскольников, а потом поехал с купеческими товарами извозчиком в Кенигсберг. Там местные офицеры, как было заведено, пытались его завербовать в прусские солдаты. Зубарев согласился. Но затем его решили использовать в качестве секретного агента. Отвезли в Потсдам, где бывший адъютант сосланного Елизаветой Миниха предложил ему тайно явиться в Россию к раскольникам и возмущать их в пользу Ивана Антоновича. Ему было сказано, будто скоро в Архангельск будет прислано прусское торговое судно, чтобы выкрасть Ивана. Зубарева представили даже самому Фридриху, который лично вручил ему две медали — пароль к Ивану.
Эта авантюра Фридриха так напугала Елизавету, что она приказала юношу, томившегося в заключении безвинно уже пятнадцать лет, перевезти в строжайшей тайности в Шлиссельбургскую крепость. Для видимости охрану Антона-Ульриха и других его детей нарочно усилили, чтобы казалось, что Иван все еще с ними в Холмогорах.
В 1756 году крепость на маленьком островке посреди Невы, вытекающей здесь из Ладожского озера, была еще просто оборонительным военным сооружением. Тюрьмой со зловещей славой она стала позже. Первых заключенных размещали где придется.
В одной из крепостных стен были устроены в два этажа казарменные казематы с маленькими окошками, выходившими на внутреннюю деревянную галерею. Каземат за нумером первым перегородили пополам. Одна клетушка — площадью около семи с половиной квадратных метров — стала для Ивана тюрьмой до конца жизни. Стены каменные, голые, пол кирпичный. В камере были только столик, стул и за ширмой откидная койка, опускавшаяся на ночь. Единственное окошко, выходившее на галерею, густо замазали серой краской да вдобавок заложили дровами, чтобы узник ничего не мог увидеть.
За перегородкой, тоже как узники, жили два офицера, охранявшие его. На галерее днем и ночью несли охрану часовые. Начальнику его стражи капитану Шубину граф Шувалов, ведавший зловещей Тайной канцелярией, лично дал подробную инструкцию: «Быть у оного арестанта вам самому и Ингерманландского пехотного полка прапорщику Власьеву, а когда за нужное сочтете, то быть и сержанту Луке Чекину в той же казарме дозволяется, а кроме ж вас и прапорщика, в ту казарму никому не для чего не входить, чтоб арестанта видеть никто не мог, тако ж арестанта из казармы не выпускать; когда ж для убирания в казарме всякой нечистоты кто впущен будет, тогда арестанту быть за ширмами, чтоб его видеть не могли... В котором месте арестант содержится и далеко ль от Петербурга или от Москвы, — арестанту не сказывать, чтоб он не знал. Вам и команде вашей, кто допущен будет арестанта видеть, отнюдь никому не сказывать, каков арестант, стар или молод, русский или иностранец, о чем подтвердить под смертною казнию, коли кто скажет».