Если вы опросите 5 человек, распределение выборки станет уже больше похоже на колокол с шестью возможными результатами (третья строка). Если опросить тридцать человек (31 результат, 4 строка), график начнет приобретать характерную форму кривой нормального распределения.
Чем больше людей вы опросите, тем больше распределение выборки будет походить на нормальное распределение с нормой в 25 % – тем самым рейтингом одобрения из распределения населения. Как и в случае с температурой тела или ростом, пока эта величина остается самой вероятной по результатам опроса. Величины, близкие к ней, будут также оставаться вероятными, например 24 %. Величины дальше и дальше от нее будут все менее вероятны, и их вероятности будут распределяться нормально.
Но насколько точна эта меньшая вероятность? Зависит от того, сколько человек вы опросите.
Чем больше будет опрошенных, тем выше будет распределение. Чтобы передать эту информацию, такие опросы обычно указывают погрешность.
Статья, описывающая результаты опроса, может включать подобный текст: «Рейтинг одобрения Конгресса составляет 24 % с погрешностью ±3 %»[66]. Эти «±3 %» и есть предел погрешности, но откуда берется эта погрешность и что это вообще такое, редко объясняют. Теперь вы знаете!
На самом деле допустимая погрешность – это тип доверительного интервала, приблизительного ряда чисел, которые, по вашему мнению, включают в себя истинное значение изучаемого параметра, например рейтинга одобрения. Этот диапазон обладает соответствующим уровнем доверия тому, что истинное значение параметра входит в интервал, который вы приблизительно вычислили. Например, уровень доверия 95 % подразумевает, что если вы проведете опрос много раз и подсчитаете много уровней доверия (по одному для каждого опроса), в среднем 95 % из них будет включать себя истинный рейтинг одобрения (то есть 25 %).
В большинстве сообщений СМИ не упоминают уровень доверия для вычисления погрешности, но обычно можно предположить 95 %. Напротив, в научных публикациях куда яснее пишут, какой уровень доверия был взят, чтобы показать неопределенность подсчетов (опять же, как правило, хоть и не всегда, это 95 %).
Для оценки рейтинга одобрения этот диапазон вычисляется с учетом центральной предельной теоремы: норма выборки приблизительно нормально распределена, поэтому следует ожидать, что 95 % возможных значений окажется в пределах двух отклонений от стандарта истинной нормы (то есть истинного рейтинга одобрения).
До сих пор мы не объяснили, что отклонение от стандарта в этом распределении, которое также называется стандартной ошибкой, не равно отклонению от стандарта выборки, о котором мы говорили ранее. Однако эти две величины напрямую связаны. В частности, стандартная ошибка равна отклонению от стандарта выборки, поделенному на квадратный корень размера выборки.
Это означает, что если вы хотите уменьшить погрешность в два раза, вам нужно увеличить размер выборки в четыре.
Для опроса «да/нет», как в рейтинге одобрения, погрешность 10 % при опросе 96 человек, 5 % – 384 человек, 3 % – 1067 человек и 2 % – 2401 человека. Поскольку предел погрешности выражает уверенность организаторов опроса в их подсчетах, логично, что он напрямую связан с размером выборки.
Иллюстрация ниже показывает, как доверительные интервалы работают для повторных экспериментов. На ней изображены 100 доверительных интервалов со значением 95 % для вероятности выбросить решку. Каждый был рассчитан из эксперимента, который включал симуляцию броска симметричной монеты сто раз. Эти доверительные интервалы графически представлены в виде «усов», которые визуально отображают показатель неопределенности при подсчетах.
«Усы» не всегда являются доверительными интервалами. Их можно получить и из других расчетов погрешности. Точка по центру «уса» – это приблизительное вычисление параметра, в данном случае норма выборки, а линии на его концах обозначают максимум и минимум числового диапазона, в данном случае доверительный интервал.
«Усы» на графике варьируются в зависимости от того, что показали разные эксперименты, но каждый охватывает диапазон около 20 %, что соответствует ±10 %, упомянутым выше (когда размер выборки – одна сотня бросков). Учитывая уровень доверия 50 %, можно ожидать, что 95 этих доверительных интервалов будут включать в себя истинную норму в размере 50 %. В данном случае 93 интервала включают в себя 50 % (7 интервалов, не включившие в себя эту величину, выделены черным).
66
Оригинальное название текста: «Congress Has a 24 % Approval Rating with a Margin of Error of +/– 3 %».