В пакете Office было несколько проблем, связанных с работой функции Помощник, но самой вопиющей было полное игнорирование эмоционального состояния пользователя. От щелчков кнопкой мыши и печати текста с клавиатуры было очень далеко до действительно полезного взаимодействия, в частности потому, что человек, которому требовалась помощь, уже был расстроен. Комически антропоморфная внешность помощника и общение напрямую, которое усиливало у пользователя подсознательное ожидание социального взаимодействия, напоминающего человеческое, лишь усиливали разочарование.
Решением подобных проблем занялась новая исследовательская группа по эмоциональному программированию при Междисциплинарной исследовательской лаборатории. Например, Microsoft, отреагировав на почти повсеместную непопулярность Скрепыша, связалась с группой, чтобы узнать, как повысить эмоциональный интеллект и привлекательность Помощника. Команда Пикард предложила в качестве решения мышь, которая по силе нажатия кнопок распознает, насколько напряжен пользователь. При демонстрации устройства пользователь написал письмо мистеру Эбботу, но Microsoft Word постоянно менял имя на мистера Аббата. Распознав напряженное состояние пользователя по сжатию мыши, внезапно появился Скрепыш.
Он заметил: «Кажется, вы расстроены. Нужно ли мне выключить автокоррекцию?» Хотя мышь с датчиком сжатия была относительно простым устройством, она давала некоторое представление о состоянии пользователя почти в реальном времени. Основную часть проблемы удалось решить, не изменяя формата программы. Но даже несмотря на явное улучшение, судьба злополучной скрепки была решена. Скрепыш вошел в историю проектирования компьютерных интерфейсов как пример урока, полученного на горьком опыте.
Группа по эмоциональному программированию работала над необычными проектами и применяла нестандартные подходы в решении проблем, о которых многие даже не задумывались. Но именно это принесло Междисциплинарной исследовательской лаборатории Массачусетского технологического института всемирную известность. Ее основателями были профессор института Николас Негропонте и бывший президент института Джером Уиснер. Лаборатория занимается проектами на стыке технологии, науки, мультимедийных средств, искусства и проектирования. Результатом ее работы становятся инновации в области робототехники, искусственного интеллекта, взаимодействия человека и компьютера, разработки пользовательских интерфейсов, биомеханической электроники, социальной инженерии и других сфер.
Анализ походки и поз также считается предметом исследования эмоционального программирования и находит применение в таких областях, как физиотерапия и эргономика.
Когда Розалинд Пикард в 1997 году основала исследовательскую группу при Междисциплинарной исследовательской лаборатории, она получила решительную поддержку. По ее словам, в тот момент лаборатория была, возможно, единственным местом в мире, способным ее поддержать. Междисциплинарный характер лаборатории хорошо подходил для работы исследовательской группы, планировавшей совмещать инженерное проектирование и информатику с психологией, нейронауками, социологией, образованием, психофизиологией, ценностно-ориентированным проектированием, этикой и многими другими областями.
Междисциплинарный подход был крайне важен из-за сложности перевода эмоциональной экспрессии в форму, которую компьютеры могут опознать как процесс. Некоторые студенты и научные сотрудники группы создавали системы, способные распознавать выражения лиц, используя фотоснимки и видеокамеры. Другие записывали голос и пытались по интонации определить настроение говорящего, независимо оттого, какие слова он произносит. Некоторые работали с физиологическими сигналами, такими как показатели электромиографии, пульсовые колебания объема крови, кожно-гальванический рефлекс и дыхание. Ко многим из них они применили ряд техник распознавания образов, обучая системы определять значения и варианты экспрессии, которое нам, людям, удается естественно и без труда.
Распознавание образов – это отрасль машинного обучения и искусственного интеллекта, сложность которой возрастает на протяжении десятилетий. Поскольку это очень узкоспециализированная область искусственного интеллекта, ее часто называют одной из форм ограниченного или слабого ИИ. Программы пытаются повторить невероятную работу по распознаванию образов, которую без труда выполняет человеческий мозг. Однако механизм работы нейронов нельзя имитировать с помощью машинной логики. Таким образом, компьютерные методы значительно отличаются от естественных процессов. Например, распознавание образов посредством машинного зрения происходит в несколько этапов, на которых объекту или месту нужно присвоить значения. Первые стадии – установление и обработка, на которых изображение принимается и упорядочивается. За этими этапами может следовать стадия извлечения деталей, на которой в элементах выделяют линии, углы, области интереса и, возможно, текстуру, форму и движение. При распознании и делении на сегменты точки и области разбивают на категории, создавая иерархию для дальнейшей обработки. На этапе высокоуровневой обработки данные группируют, классифицируют и маркируют. Кроме того, изображение, которое нам кажется простым, может оказаться насыщенным с точки зрения вычислений.