Естественно, слухи о знаменитом узнике беспокоили власти. Болтунам исправно урезали языки, их били кнутом и отправляли в сибирскую и оренбургскую ссылку. Вместе с тем правители России испытывали по-человечески понятное любопытство, они хотели видеть Ивана! Именно поэтому в 1756 году Ивана Антоновича привозили в Петербург, в дом Ивана Шувалова — фаворита Елизаветы Петровны, где императрица впервые за пятнадцать лет увидела своего соперника. В марте 1762 года новый император Петр III сам ездил в Шлиссельбург и разговаривал с заключенным. В августе 1762 года приезжала посмотреть на Ивана императрица Екатерина II.
Нет сомнения, что Иван Антонович производил тяжелое впечатление на своих высокопоставленных визитеров. Он был, как писали охранявшие его капитан Власьев и поручик Чекин, «косноязычен до такой степени, что даже те, кто непрестанно видели и слышали его, с трудом могли его понимать. Для произношения хотя бы отчасти вразумительных слов он был вынужден поддерживать рукою подбородок и поднимать его вверх». И далее тюремщики пишут: «Умственные способности его были расстроены, он не имел ни малейшей памяти, никакого ни о чем понятия, ни о радости, ни о горести, ни особенной к чему-либо склонности».
Важно заметить, что эти сведения о сумасшествии Ивана исходят от офицеров охраны — людей в медицине совсем некомпетентных. Представить Ивана безумцем было выгодно власти. С одной стороны, это оправдывало суровость содержания узника, ведь в те времена психически больных людей содержали как животных — на цепи, в тесных каморках, без ухода и человеческого сочувствия. С другой стороны, представление об Иване-безумце позволяло оправдать и убийство несчастного, который, как психически больной, себя не контролировал и поэтому легко мог стать опаснейшей игрушкой в руках авантюристов.
Конечно, двадцатилетнее заключение не могло способствовать развитию личности Ивана Антоновича. Маленький человек — не котенок, который даже в полной изоляции все равно вырастает котом с присущими ему повадками. Для личности Ивана одиночество и то, что врачи называют педагогической запущенностью, оказались губительны. Скорее всего, он не был ни идиотом, ни сумасшедшим. Он был Маугли, его жизненный опыт был деформированным и дефектным. В доказательство безумия заключенного тюремщики пишут о его неадекватной, по их мнению, реакции на действия охраны: «В июне [1759 года] припадки приняли буйный характер: больной кричал на караульных, бранился с ними, покушался драться, кривил рот, замахивался на офицеров». Из других источников нам известно, что офицеры охраны обращались с ним грубо, наказывали его — лишали чая, теплых вещей, возможно, и били за строптивость, и уж наверняка дразнили, как сидящую на привязи собаку. Об этом сообщал офицер Овцын, писавший в апреле 1760 года, что «арестант здоров и временами беспокоен, но до того его доводят офицеры, всегда его дразнят». Их, своих мучителей, Иван, конечно, ненавидел, бранил. Это — естественная реакция психически нормального человека на бесчеловечное обращение.
А вообще положение узника было ужасным. Его держали в тесном, узком помещении, с постоянно закрытыми маленькими окнами. Многие годы он жил без дневного света, при свечах, и, не имея при себе часов, не знал времени дня и ночи. Как писал современник, «он не умел ни читать, ни писать, одиночество сделало его задумчивым, мысли его не всегда были в порядке». К этому можно добавить отрывок из инструкции коменданту, данной в 1756 году начальником Тайной канцелярии графом Александром Шуваловым: «Арестанта из казармы не выпускать, когда же для уборки в казарме всякой грязи кто-то будет впущен, тогда арестанту быть за ширмой, чтоб его видеть не могли». В 1757 году последовало уточнение: никого в крепость без указа Тайной канцелярии не впускать, не исключая генералов и даже фельдмаршалов.