Позже Экман разработал еще несколько инструментов анализа выражения лица. Самые известные из них – программа MicroExpressions Training Tool, распознающая непроизвольные движения, возникающие даже тогда, когда человек пытается тщательно подавлять своим эмоции4, и Subtle Expression Training Tool, используемая для распознавания самых незаметных признаков эмоций. Позже выяснилось, что из десяти тысяч выражений человеческого лица лишь три тысячи соответствуют собственно эмоциям, и появились другие инструменты. В справочнике по интерпретации кодирования эмоциональной системы применяются те же таксономические методы, но только применительно к лицевым движениям, вызванным эмоциями5. Все эти инструменты создали основу для предварительной эмоциональной систематизации выражения лиц.
Создание систем программного обеспечения, способных понимать нас и взаимодействовать с нами более естественным образом, постоянно способствует усовершенствованию множества поддерживающих технологий.
При использовании систем типа СКЛиД Экмана стал очевиден один аспект: они основывались на статичных изображениях, их нельзя было применить к анализу видео. Но добавление в систему нелокальных пространственных структур и временной информации позволило распознавать эмоции в сменяющихся выражениях лица6. Это важно, поскольку в конечном итоге система смогла предоставлять на выходе более точные данные, чем со статичных изображений. Выражения лица не статичны, изменения происходят в реальном времени. Каждая черта, формирующая выражение, проходит стадию приложения, высвобождения и расслабления7. Таким образом, было бы проще и удобнее верно различать выражения лица, особенно микровыражения, при движении лицевых мускулов, например при общении между людьми.
Однако Пикард отмечает, что выражение лица не всегда указывает на глубинную эмоцию, благодаря которой оно появилось. Тем не менее поскольку лицо дает самое заметное визуальное представление о внутреннем эмоциональном состоянии, оно остается наилучшей отправной точкой для понимания сложных, часто скрываемых чувств.
Новая группа Междисциплинарной лаборатории делала успехи и в проектах применяла разные подходы к проблеме считывания эмоций8. Такой подход крайне важен для исследований в новой области. Лишь рассмотрев все возможности, предлагаемые эмоциональным программированием, можно было всесторонне изучить проблему.
Одна из команд разработала гальвактиватор – похожее на перчатку устройство, отслеживавшее электропроводность кожи владельца9. Гальвактиватор создали Пикард и Джоселин Шрайер, применив разработки Нэнси Тилбери и Джонатана Фаррингдона. Устройство выводило сигнал на диодный дисплей, который становился ярче, когда у пользователя повышался уровень возбуждения. Позже, в 1999 году, биологическую обратную связь использовали в компьютерной игре Quake. Когда сенсор отмечал, что игрок слишком нервничает из-за происходящего на экране, его персонаж прыгал назад. Группа разработала и другие биосенсоры, отслеживавшие специфические изменения психологического состояния пользователя. Концепция гальвактиватора нашла применение в более сложных портативных устройствах, некоторые из них пошли в серийное производство.
Среди других разработок группы был проект «Эмоция как индекс». В нем в качестве входных данных использовались физиологические показатели в группе людей. Показатели объединяли по различным демографическим параметрам и присоединяли к мультимедийному контенту10. Пользователи смогли «делиться» эмоциями, исследовать возможности и причины, по которым события по-разному влияли на их участников, и приходить к диалогу и пониманию. Другие проекты изучали динамику групп в социальных сетях. Цель проекта «Эмоция в речи» – создание базы данных с вариантами эмоций для проектов, ориентированных на автоматическое распознавание эмоций в речи11. Проект EyeJacking работает по принципу «посмотри, что я вижу». Используя такой феномен, как мудрость толпы, он позволяет «перехватить» поле зрения другого человека и определить, где он находится и что видит12. В случае с людьми, страдающими аутизмом, это позволяет их членам семьи, опекунам и сверстникам познавать их мир удаленно, получая другие данные в режиме времени, приближенном к реальному. Этот проект мог бы обеспечить возможности распознавания образов для роботов.