Шлиссельбургская крепость, известная также под названиями Орешек и Нотебург, находится на небольшом островке в истоке Невы, вытекающей из Ладожского озера, со времен Петра I она служила местом заключения государственных преступников. До заточения Ивана VI здесь некоторое время содержался недолго бывший его регент Бирон. Тюремных зданий в середине XVIII века в крепости не существовало, и для содержания заключенных использовалась солдатская («нумерная») казарма и другие обычные постройки. В солдатскую казарму и был помещен 16-летний принц под постоянный и неусыпный присмотр дежурного офицера и команды солдат охраны. Сменявшиеся время от времени офицеры и комендант крепости Бередников имели строгие инструкции о порядке содержания узника, имя и происхождение которого запрещено было не только разглашать, но и произносить. Содержался Иоанн Антонович скромно, но в достатке: посуда для него была выделена оловянная, а не серебряная, как это было положено царственным особам, одежда обычная, однако продукты поставлялись в достаточном количестве: обед и ужин из пяти блюд, бутылка вина, шесть бутылок полпива, квас — неограниченно. Иоанн Антонович был не глуп, в детстве, как он сам говорил позже, узнал от родителей, нарушивших строжайший запрет, о своем происхождении. По некоторым данным, он знал грамоту, при хорошей памяти знал Священное Писание и другие церковные книги, но в камере у него не было ни книг, ни письменных принадлежностей — все это было запрещено.
Из рапорта следует, что именной указ за подписью самой императрицы Елизаветы был получен в Холмогорах 30 января «по полудни в 7 часов», и во исполнение его «содержащегося арестанта Ивана» передали «сего же числа по полудни в 12 часов объявленному сержанту Никите Савину». О скрытности перевода принца в Шлиссельбургскую крепость говорят следующие факты. Н. Савин отправился с вверенным ему узником «по полуночи в 3-м часу» [34, 180], а оставшейся в Холмогорах охранной команде было приказано делать все возможное для того, чтобы с внешней стороны отсутствие здесь Ивана никоим образом не сказывалось.
Человек, не обделенный от природы интеллектом, которому запрещалось не только выходить на чистый воздух, но даже и в сени, не имевший общения с людьми, кроме невежественных солдат и офицеров, порой издевавшихся над ним, на что он возмущенно кричал: «Как вы смеете! Вы знаете, какой я человек!», не имевший ни развлечений, ни книг, человек в таких условиях не мог не помешаться в конце концов в рассудке, что и было на руку правящей императрице. Проявлялось помешательство, по одному из донесений офицера в Тайную розыскных дел канцелярию, следующим образом: «Из нас каждому, заходя, в глаза дует и фыркает, и другие многие проказы делает, а во время обеда на всех взмахивает ложкою и руками, кривляет ртом, глаза косит, так что от страху во весь стол (т. е. на все время обеда) усидеть невозможно; и он, увидя, что я робею, более всякие шалости делает». Может быть, в какие-то минуты он просто валял дурака, но располагавший материалами следствия по этому делу М. Корф считал, что «нельзя, по-видимому сомневаться, что в 1759 году он был уже действительно в сумасшествии, но с какого времени оно началось? И с постоянными уверениями его «о порче» не совпадает ли показание Фридриха II, утверждавшего в одном месте своих записок, что Ивану Антоновичу дали выпить какой-то вредный напиток для того, чтобы он сделался идиотом?».
Служащим крепости запрещено было общаться даже с караульной командой, сама крепость на ночь запиралась; строгость службы при арестантах регламентировалась следующим пунктом инструкции за подписью начальника Тайной розыскных дел канцелярии А. Шувалова: «Не безызвестно, что в праздники, раза четыре в год для слушания божественной службы приходят [в крепостную церковь] многие посторонние, оное дозволить… токмо в то время учредить пикеты и поставить часовых, дабы к казармам, где арестанты содержатся, никто близко не подходил; приставленным же офицерам у арестантов объявить, чтоб в такие дни как они, так и команды их из казарм не выходили, дабы их посторонние видеть не могли». О строгости изоляции Иоанна Антоновича говорит также следующий факт. Однажды в феврале 1759 г. из-за ветхости здания «две перекладины в потолке переломились и рухнули под тяжестью стоявшей в верхнем этаже над тем местом печи. Когда вследствие всего этого производились в казарме починки, то Ивана Антоновича держали за ширмами или же разделяли комнату рогожами».