В 1756 году поймали упомянутого уже посадского тобольского человека Ивана Зубарева, который на допросе в Тайной канцелярии рассказал о предполагавшемся им освобождении Иоанна Антоновича и его отца, принца Антона, и о содействии этой затее со стороны прусского короля Фридриха II.
Вообще почти во все свое царствование Елизавета Петровна находилась под страхом, что у низложенного императора есть сторонники, которые только ждут случая вернуть ему престол.
Чтобы заставить забыть всех о том, что после кончины Анны Иоанновны царствовал Иоанн Антонович, императрица Елизавета целым рядом указов велела уничтожать все явные следы минувшего непродолжительного царствования: запрещала упоминать в грамотах имя и титул бывшего императора; все приказы, изданные за время царствования Иоанна Антоновича, велела признать недействительными, а дела от смерти императрицы Анны Иоанновны до 25 ноября 1741 года считать «производившимися в правление бывшего герцога Курляндского и принцессы Анны Брауншвейгской», не называя нигде имени Иоанна; приказала изъять из обращения монеты с его портретом или вензелем, уничтожить книги, в которых его имя упоминалось, и т. д. Этим путем из памяти народной предполагалось вырвать всякие воспоминания о том, что существовал когда-либо Иоанн Антонович.
Однако подобные меры не достигали цели. О существовании Иоанна знали и говорили.
Свергнутый Елизаветой Петровной с престола император, как выражается один из историков, «постоянно стоял перед ней привидением». Это привидение не давало ей покоя и заставляло заботливо скрывать несчастного Иоанна Антоновича от всего мира и держать в заточении, под строжайшим надзором, без всякого общения с людьми — за исключением приставленных к нему сторожей, на преданность которых себе Елизавета твердо рассчитывала.
Шестнадцать лет было Иоанну Антоновичу, когда его из Холмогор привезли в Шлиссельбургскую крепость. Надзор за развенчанным узником был в Шлиссельбурге поручен капитану гвардии Шубину, прапорщику Ингерманландского полка Власьеву и сержанту Чекину, и, кроме них, никому не было дозволено входить в ту казарму, где помещен был арестант, и никто не должен был его видеть.
Инструкции, как обращаться с узником, были даны от имени императрицы Елизаветы Алексеем Ивановичем Шуваловым. «Когда же для убирания в казарме всякой нечистоты кто впущен будет, то, — значилось в инструкции, данной капитану Шубину, — тогда арестанту быть за ширмами, чтоб его видеть не могли…» Далее в инструкции было сказано, чтобы в крепость «хотя б генерал или фельдмаршал приехал — не впускать», «в каком месте арестант содержится и далеко ли от Петербурга или от Москвы — ему не сказывать. Каков арестант, немец, или русский, или иностранец, под смертною казнью подтвердить, чтобы не рассказывали».
Арестанту пища определена была обильная: в обед по пяти и в ужин по пяти блюд, на каждый день вина по одной, пива по шести бутылок, квасу потребное число.
Капитан Шубин, не долго пробыв при арестанте, заболел. На его место был отправлен капитан Овцын.
Последний в 1759 году доносил о вверенном ему арестанте: «Арестант здоров и, хотя в нем болезни никакой не видно, только в уме несколько помешался, утверждает, что его портят шептаньем, дутьем, пусканием изо рта огня и дыма; кто, в постели лежа, повернется или ногу переложит, за то сердится, сказывает, шепчут и тем его портят; приходил раз к подпоручику, чтобы его бить, и мне говорил, чтобы его унять, и ежели не уйму, то он станет бить; когда я стану разубеждать, то и меня еретиком называет…» Но при этом в другом своем донесении Овцын заявляет, что арестант «о прочем обо всем говорит порядочно, доказывает евангелием, апостолом, минеею и прочими книгами, сказывает, в котором месте и в житии которого святого писано» и т. д.
По приказанию из Петербурга Овцын спросил арестанта, кто он? Сначала тот ответил, что он великий и один подлый офицер то у него отнял и имя переменил, а потом назвал себя принцем. «Я ему сказал, — писал Овцын, — чтобы он о себе той пустоты не думал и впредь того не врал, на что, весьма осердясь, на меня кричал. Другой раз он начал кричать, что он «здешней империи принц и государь». Овцыну было приказано сказать арестанту, что если он пустоты своей врать не перестанет, то все платье от него отберут и пища ему такая не будет. Затем последовал приказ: не давать арестанту чаю, не давать чулок крепких, и он присмирел совершенно.
Десятый год уже приближался царствованию Елизаветы. Казалось, императрица достаточно прочно сидит на престоле, пользуется любовью войска и народа; однако участь шлиссельбургского узника ни в чем не изменилась. По-прежнему его продолжали держать там «под крепким караулом», не допуская к нему никого из посторонних.