Дзига Вертов в своей работе исследовал, как камера, подобно механическому глазу, может превосходить возможности человеческого зрения. Он продемонстрировал, каким выглядит мир сквозь призму камеры. Камеры с датчиками глубины, такие как Kinect и RealSense, дают возможность понять обратное: что было бы, если бы компьютер мог видеть, как человек? Технология AR начинает подражать особенностям человеческих чувств, позволяя нам взглянуть на мир совершенно по-новому.
Вы – контроллер
В 2010 году, когда появился Microsoft Kinect, технология AR вышла на новый уровень. Слоган Kinect «You are the controller» в переводе означает: «Вы – контроллер». Изменяя положение своего тела, движение которого фиксируют датчики, пользователи могут создавать дополненную реальность и управлять ею.
До создания Kinect для того, чтобы технологию AR можно было бы применить в сочетании с вашим телом, вам пришлось бы покрыть себя специальными координатными метками, напечатать изображение на своей одежде или даже сделать особую татуировку. Но с появлением Kinect использование технологии AR стало значительно более захватывающим, потому что барьер между пользователем и дополненной реальностью исчез и они слились воедино. Стоя перед экраном с подключенным устройством Kinect, вы можете видеть и взаимодействовать с трансформированной версией себя[12], как будто вы стоите перед волшебным цифровым зеркалом. Дополненная реальность, создаваемая вашими движениями и жестами, формируется индивидуально под вас.
На базе Kinect проектировщики сразу же начали создавать новые интерактивные программы. Инсталляция «Предательство неприкосновенности»[13] (2012) Криса Милка – прекрасный пример использования Kinect художником. Вы предстаете перед рядом из трех интерактивных панелей, которые олицетворяют творческий процесс через рождение, смерть и перерождение. Ваше тело зеркально отражается как темная тень с различными преобразованиями, происходящими на каждой панели. На первой панели ваше тело распадается на мириады разлетающихся птиц. Когда вы переходите ко второй панели, эти птицы слетаются, чтобы напасть на вас. На третьей и последней панели у вашего силуэта прорастают гигантские крылья, и, хлопая руками, ваше отражение взлетает, поднимаясь с земли в небо.
Милк дал следующей комментарий по поводу своей инсталляции:
Мне интересно, когда между моей работой и зрителем возникает двухсторонний диалог. Посетитель выставки становится непосредственным участником содержания и концепции моей работы, и с помощью технологии AR делается акцент на испытываемых впечатлениях, на инновационной способности к глубокому духовному погружению.
Часть «магии» Kinect заключается в том, что технология становится невидимой, потому что она предельно проста в использовании: вы стоите перед экраном и двигаетесь. Программа реагирует на движения вашего тела и формирует движения на экране. Технология позволяет создавать изображения, но без вашего участия это становится невозможным. Технология отступает на второй план, и вы в буквальном смысле становитесь ключевой фигурой в ее работе.
Наблюдение за движением и прогнозирование действий
Kinect использует камеру для измерения глубины, что позволяет ей распознавать мир в трех измерениях. Это устройство работает, проецируя совокупность инфракрасных световых точек на всю комнату, а затем, измеряя, за какое время свет от каждой из этих точек возвращается обратно на сенсор камеры, определяет расстояние до каждой точки комнаты. Программное обеспечение считывает данные для идентификации любых выделяющихся частей человеческого тела, например головы или конечности. Kinect использует модель скелета человека, состоящую из многочисленных частей и соединений. Хранящее в своей памяти более 200 поз, программное обеспечение фиксирует движения человеческого тела и может спрогнозировать, какое движение ваше тело вероятнее всего совершит дальше.
Прогнозирование – важный аспект человеческого восприятия, который мы широко используем в повседневной деятельности, чтобы взаимодействовать с нашим окружением. Джефф Хокинс, основатель компании Palm, создавшей первый карманный компьютер, и автор книги «Об интеллекте» (опубликованной в 2004 году[14]), описывает человеческий мозг как систему памяти, которая хранит и воспроизводит полученный опыт для того, чтобы спрогнозировать возможные сценарии развития.
Хокинс указывает, что человеческий мозг постоянно прогнозирует дальнейшие события. Мы познаем мир через последовательность шаблонов, которые храним, и воспроизводим, и, соотнося с увиденным, предполагаем, что будет дальше.