С помощью OrCam пользователь может направить устройство, указав на тот предмет, который ему интересен. «Наведите устройство на книгу, и оно прочитает ее», – говорит Йонатан Уэкслер[22], руководитель отдела исследований и разработок OrCam. «Проведите пальцем по счету за телефон, и устройство прочитает текст, давая понять, кто отправитель и какая там сумма». Чтобы научить систему читать, ей неоднократно показываются миллионы примеров для выработки соответствующих устойчивых моделей алгоритмов.
Уэкслер отмечает, что при идентификации людей и лиц нет необходимости указывать на них. «Устройство подскажет вам, когда ваш друг приближается. Требуется около десяти секунд, чтобы научить устройство распознавать человека», – говорит он. «Все, что требуется, – это чтобы этот человек смотрел на вас, а затем назвал свое имя». OrCam сделает снимок этого человека и сохранит его в своей системной памяти. В следующий раз, когда человек окажется в зоне видимости камеры, устройство распознает его и даже идентифицирует по имени.
OrCam использует машинное обучение для распознавания лиц. Команда исследователей и разработчиков создала для OrCam базу, включающую сотни тысяч изображений всех видов лиц, чтобы научить свое программное обеспечение распознавать каждого конкретного человека. Когда пользователь носит OrCam, программа сортирует все загруженные изображения, отклоняя те, которые не соответствуют лицу в зоне видения, пока не останется только одно соответствующее изображение. Чтобы распознать лицо, сфотографированное ранее с помощью OrCam, нужно всего несколько мгновений.
Обучение мозга видеть посредством звука
Это устройство обладает способностью сканировать окружающую среду и описывать посредством звука то, что находится вокруг. Другой подход применяется в таких визуальных технологиях как vOICe[23] и EyeMusic[24]. Вместо того, чтобы использовать машинное обучение и рассказывать пользователю, на что он смотрит, эти технологии анализируют возможности обучения человеческого мозга взаимодействию с миром при помощи других органов чувств – изучая, например, как можно видеть с помощью звука.
Нейробиолог Амир Амеди задается вопросом: «Что, если мы найдем способ, как можно передать визуальную информацию в мозг людей с ослабленным зрением, обойдя проблемы с глазами стороной?» Исследования построения мозгом визуальных образов, проведенные Амеди и его командой, показывают, что у слепых от рождения людей при использовании устройств на базе vOICe или EyeMusic активизируются те же области мозга, что и у зрячих. Однако сигнал поступает в мозг не через участок, отвечающий за зрительные образы, а через другой, соответствующий восприятию звуков, но в конечном счете сигналы все равно достигают цели в соответствующем отделе мозга.
Система vOICe (от англ. OIC = «Oh, I See», в пер. «О, я вижу») преобразует изображения, фиксируемые камерой, в звуковые сигналы, чтобы помочь слепым от рождения людям видеть. Система vOICe, разработанная Питером Мейджером, состоит из пары солнцезащитных очков с небольшой встроенной камерой, подключенной к компьютеру и двум наушникам. (Сист ему также можно использовать на смартфоне, загрузив специальное программное обеспечение и используя встроенную камеру.)
Программное обеспечение vOICe преобразует ваше окружение в «звуковой пейзаж». Камера непрерывно сканирует среду слева направо, преобразуя каждый пиксель в звуковой сигнал: частота представляет собой положение по вертикали, а громкость каждого звукового сигнала представляет собой яркость пикселя. Более яркие объекты производят более громкие звуки, а частота указывает на то, является ли объект высоким или низким.
Амеди совместно со своими коллегами обучили слепых от рождения людей способности «видеть», используя vOICe и EyeMusic, более современное приложение, разработанное Амеди, которое также способно различать цвета и передавать соответствующую информацию звуками. Для передачи цветов используются различные типы инструментов. Например, синему соответствует труба, красному – аккорды органа, желтому – скрипка. Белый озвучивается человеческими голосами, а черный – тишиной.