Ранее в Управлении применялся совершенно иной подход к измерению безопасности. Использовались такие показатели, как число сотрудников, закончивших курсы подготовки, и число компьютеров, на которые были установлены определенные программы. Иными словами, результаты вообще не измерялись. Все предыдущие усилия были направлены на количественную оценку того, что было легче измерить. До моей работы с Советом директоров по информационным технологиям при федеральном правительстве некоторые считали конечный результат реализации мер по повышению безопасности не поддающимся измерению, и никто не пытался уменьшить неопределенность хоть ненамного.
Разработав необходимые критерии, мы приступили к измерению вполне конкретных вещей. Мы построили на компьютере модель, учитывающую все эти последствия. В сущности, мы просто задали ряд «вопросов Ферми». В контексте вирусных атак эти вопросы звучали следующим образом:
• Как часто происходит средняя пандемическая (охватывающая все Управление) вирусная атака?
• Сколько человек страдает от такой атаки?
• Как снижается эффективность работы этих людей по сравнению с нормальными условиями?
• Как долго эффективность остается сниженной?
• Какие издержки от неэффективности труда несет при этом компания?
Знай мы ответы на все эти вопросы, удалось бы рассчитать, во что обходится компании вирусная атака, по следующей формуле:
Среднегодовые убытки от вирусных атак = Число атак × Среднее число пострадавших сотрудников × Среднее снижение эффективности × Средняя продолжительность простоев × Годовые затраты на оплату труда / 2080 часов в год[18].
Конечно, эта формула учитывает только потери, связанные со снижением производительности труда. Она ничего не говорит о том, как вирусная атака сказывается на заботе о ветеранах, или о другом ущербе. Тем не менее, хотя некоторые виды потерь и не учитываются, формула, по крайней мере, дает нам осторожную оценку нижней границы убытков. В таблице 4.2 приведены ответы на все эти вопросы.
Указанные интервалы значений отражают неопределенность в оценках экспертов по безопасности, сталкивавшихся ранее с вирусными атаками в Управлении по делам ветеранов. Этими интервалами эксперты пытаются сказать: есть 90-процентная вероятность того, что истинные значения окажутся где-то между верхней и нижней границами. Я научил экспертов оценивать неопределенность. Приобретя данный навык, они, по сути, стали «калиброванными», как любой научный инструмент.
Приведенные интервалы значений могут показаться чисто субъективными, но субъективные оценки некоторых людей бывают очень точными. Мы сочли возможным рассматривать эти интервалы как верные, поскольку серия испытаний доказала: когда наши эксперты говорили, что уверены на 90 %, они оказывались правыми в 90 % случаев.
Как вы могли убедиться, можно взять такое неоднозначное понятие, как «безопасность», и разложить его на несколько конкретных, вполне поддающихся наблюдению составляющих. Определив, что такое безопасность, Управление по делам ветеранов сделало большой шаг к ее оценке. На тот момент его специалисты еще не проводили наблюдения, которые позволили бы снизить неопределенность. Все, что они совершили, — это количественно оценили имеющуюся неопределенность с помощью вероятностей и интервалов значений.
Оказывается, способность человека оценить шансы можно калибровать — точно так же, как любой научный инструмент калибруется для получения правильных показаний. Калиброванная оценка вероятности — ключ к измерению степени приблизительности (достоверности) ваших нынешних знаний о чем-либо. Обучение количественному выражению приблизительности своих знаний о неизвестном показателе — важный этап в выборе такого способа его оценки, который отвечал бы вашим потребностям. Воспитанию этого навыка посвящена следующая глава.
Глава 5. Калиброванные оценки: что вам известно уже сейчас?
Хорошо ли вы оцениваете шансы?
Сколько часов в неделю работники тратят на разбор жалоб потребителей? Насколько повысятся объемы продаж после новой рекламной кампании? Даже не имея точных ответов на подобные вопросы, вы все-таки что-то знаете. Например, одни значения интересующего вас показателя кажутся более вероятными, чем другие. Понять, что именно вам известно о чем-то сейчас, очень важно: нередко от этого зависит выбор подхода к измерению или даже сама необходимость этого измерения. Нам очень нужен способ выразить то, сколько мы знаем сейчас, каким бы малым ни было наше знание. Кроме того, обязательно следует понять, насколько хорошо нам удастся выразить неопределенность.
18
2080 часов в год — стандарт, используемый Службой управления и бюджета (Office of Management and Budget) и Главным бюджетно-контрольным управлением (Government Accountability Office) для пересчета годовой зарплаты и премий в почасовые ставки.