Но именно работа Пикард по разработке технологии моделирования образов и систем поиска по содержимому привела ее в направлении, неожиданном для многих и для нее самой. В этих системах ряд математических моделей используется для приближения к системам биологического зрения, наподобие того, как мы «извлекаем» из обстановки (например, фильма или реальной жизни) предметы, содержание и смысл. Система, которую вместе со своей командой разработала Пикард, была одной из первых трех систем в мире и прототипом таких современных систем, как Google Images.
Система, основанная только на жестких правилах, не может быть устойчивой.
Чтобы лучше понимать, как мозг обрабатывает изображения, Пикард сотрудничала с учеными, исследовавшими зрительную зону коры головного мозга человека. Но даже когда имитация человеческого зрения была освоена, остались серьезные проблемы, от решения которых зависела стабильная и надежная работа системы. Было недостаточно просто создать фильтры для выделения сцен или жестко задать правила, описывающие, как выглядит тигр, стул или машина. Линии размываются. Цвета и текстуры накладываются друг на друга. Тени исчезают. Поэтому система, основанная только на жестких правилах, не может быть устойчивой. Такие системы программного обеспечения называют нестабильными, поскольку имеют ограниченное применение в жизни. Нестабильность – очень подходящее название; получая новые условия или непонятную информацию на входе, система просто ломается.
Именно в ходе этой работы Пикард поняла, что многие системы, над которыми она работала, могли быть более эффективными, если бы только удалось узнать, куда направить их внимание. Глядя на изображение, мы не фокусируем внимание с одинаковым интересом на всем, что видим. Мы рассматриваем один элемент, а потом другой. Направление взгляда и фокус внимания смещаются к тому, что нас интересует: цвет, контраст, узор. Пикард предположила, что если бы удалось смоделировать внимание, это помогло бы ее группе решить некоторые задачи. Однако для этого требовалось нечто близкое к системе биологического зрения, что могло активно различать объекты и определять важные. Как объясняет Пикард:
Чувства определяют многое из того, что мы воспринимаем. Они указывают нашим глазам, куда смотреть. Определяют, что нам делать, что мы выбираем делать, чему уделить внимание. И я поняла, что компьютерам кое-чего не хватает. Компьютеры воспринимают каждый фотон на входе одинаково. Каждый бит информации для них одинаков. Они не ощущали, что какой-то бит был более значимым, чем остальные. Собственно говоря, у них вообще не было никаких чувств насчет какого бы то ни было значения, и я подумала: «Если они собираются нам помогать, а для нас некоторые биты более значимы, чем остальные, тогда им [компьютерам] нужна функция оценки, которая говорит, что некоторые вещи более ценны, чем другие.
В качестве примера того, как наши чувства влияют на зрение и внимание, Пикард рассказывает историю о своем друге, с которым она начинала работать в Лабораториях Белла и который занимался разработкой системы сжатия видеоинформации в рамках работы над докторской диссертацией. Он уже знал, что комиссия, которой он собирался демонстрировать свой новый метод, состояла из трех мужчин. Итак, он сделал видеоролик с пышногрудой девушкой из группы поддержки, зная наверняка, куда именно будет смотреть комиссия. В этой области он сохранил резкость и сильно сжал все остальные области, на которые комиссия не смотрела, создав при этом множество всевозможных дефектов и искажений. Несмотря на все визуальные недостатки изображения, никто ничего не заметил, и комиссия оценила метод сжатия на отлично. Пикард радостно делает заключение: «Теперь это эмоциональный интеллект!»
Тем не менее создать такую разновидность эмоционального интеллекта было крайне сложно. Компьютер мог обнаружить в изображении линии и границы, но распознать и распределить объекты по категориям в зависимости от их важности было принципиально иной задачей. Оставался вопрос: как мы решаем, что имеет значение, когда рассматриваем изображение?
В 1991 году, в свой первый год работы в Массачусетском технологическом институте, Пикард прочла статью на первой полосе «Wall Street Journal» об ученом и музыканте Манфреде Клайнсе. Клайне был выдающимся человеком, автором целого ряда успешных изобретений. Большинство его работ посвящены нейронаукам в музыке, но внимание Пикард привлек именно его «сентограф», машина, предназначенная якобы для измерения эмоций. (На латыни глагол «sentire» означает «чувствовать».) Машина Клайнса измеряла малейшие изменения колебательного сигнала пальцев человека, нажимавшего на кнопку. Он говорил, что эти изменения следуют характерным моделям, отражающим разные эмоции. Пикард заинтересовала идея измерения эмоций, и она сохранила статью.