Сходимость суммы многих распределений к распределению Гаусса декларируется так называемой центральной предельной теоремой. Именно поэтому распределение Гаусса столь важно в статистике. Настолько важно, что его называют нормальным распределением, а параметр ширины — стандартным отклонением. Если ошибки измерений описываются нормальным распределением, то с данными работать легко — есть простые способы оценок, насколько та или иная гипотеза описывает эти данные, каковы ошибки в параметрах гипотезы, которой мы пытаемся описать данные. Если ошибки не описываются нормальным распределением, то на это часто закрывают глаза, что обычно сходите рук, но не всегда.
Теперь важная таблица, поясняющая смысл употребления жаргона «сигма» в самых разных контекстах. Сверху — отклонение от центра распределения хо в единицах σ, снизу — вероятность того, что случайная величина выйдет за этот предел (в любую сторону).
σ | 1 | 2 | 3 | 4 | 5
- | 0,32 | 0,045 | 0,0027 | 0,63·10-4 | 0.57·10-6
Если какая то экспериментальная точка отклонилась от теоретической кривой, скажем, на 2σ, то нет оснований придавать этому особого значения. Вероятность такого отклонения 1/20, и если точек много, то какая-нибудь с большой вероятностью вылезет за такой предел. Если точка отклонилась на Зσ, здесь уже есть предмет для разбирательства, а если за 4σ и больше -можно сделать вывод, что что-то не так. Может быть, измерение неверное, а может быть теоретическая кривая неверна. И самое интересное: нет ли здесь какого-нибудь дополнительного эффекта, например спектральной линии, если точки описывают спектр. Здесь мы подходим к понятию статистической значимости.
Если мы знаем, что в данном месте спектра, например, квазара может быть рентгеновская линия железа, и видим, что соответствующая точка «отпрыгнула» вверх на 4σ, мы вправе сказать: «Данные подтверждают существование линии излучения… на уровне статистической значимости 4σ». Возможные эквиваленты: «…на уровне статистической значимости 0,6·10-4» или «…на уровне достоверности 0,9999». Если мы заранее знаем, что именно здесь может быть линия излучения железа, и, действительно, видим «отпрыгнувшую» точку, то 4σ — приличный уровень значимости, и можно смело публиковать результат.
Определение статистической значимости может быть и не связано с распределением Гаусса и числом стандартных отклонений. Допустим, мы пытаемся показать, что данные говорят о наличии какого-то эффекта. Как надо поступать в общем случае? Допустим, эффекта нет. Значит, нам надо принять некую нулевую гипотезу, как должны выглядеть данные при отсутствии эффекта. В примере со спектром это некая гладкая функция без линий. Статистическую значимость можно определить как вероятность того, что данные в результате случая отклоняются от нулевой гипотезы так, что имитируют эффект, каким мы его видим в данных. Вероятность зависит от нулевой гипотезы и гипотезы эффекта, поэтому правильное говорить о статистической значимости такого-то эффекта относительно такой-то нулевой гипотезы.
В примере со спектром это просто вероятность того, что точка в том месте, где должна быть линия, случайно «отпрыгнула» вверх не меньше, чем на столько-то сигма. В общем случае любым посильным способом вычисляем вероятность случайной имитации эффекта. Неважно, как вычисляем, допустим, с помощью прямого численного моделирования методом Монте-Карло. Предположим, что эта вероятность получилась около 10-4 . Потом добавляем к гипотезе искомый эффект. Если при этом гипотеза (уже не нулевая) стала описывать данные хорошо, мы вправе сказать, что данные подтверждают эффект на уровне статистической значимости 10-4. Чем меньше вероятность, тем выше статистическая значимость. Как это часто делают, можно перевести вероятность в термины сигма, используя таблицу, приведенную выше.
Допустим, мы обнаружили в данных указание на некий эффект значимостью 4σ. Вероятность случайности, имитирующей этот эффект, очень мала. Следует ли из этого, что надо бить в барабан и немедленно публиковать статью? Это очень сильно зависит от того, что мы искали. Если мы искали известно что, заранее зная, в каком месте, то можно. Именно таков случай обнаружения известной спектральной линии. А если мы искали чего-нибудь, где-нибудь в большом массиве данных и наткнулись на некоторое отклонение значимостью 4σ, то вполне возможно, что мы упорно искали и нашли случайный выброс на 4σ и больше ничего. Таких случаев предостаточно. Даже в Nature иногда публикуют подобные «открытия». Обычно они быстро «рассасываются» и забываются. Но репутации страдают.