Между тем, если учитель действительно захочет смошенничать и у него будут для этого веские причины, он может поступить еще хитрее. Ему не составит труда собрать листочки учеников и перед тем, как их обработает компьютер, стереть неправильные ответы и вписать правильные. (А вы думали, что это ученики исправляют свои ответы карандашом № 2?) Но если имеет место именно этот вид учительского мошенничества, то как его можно обнаружить?
Чтобы ловить мошенников, нужно научиться думать, как один из них. Если бы вы хотели стереть неправильные ответы ваших учеников и вписать правильные, то явно не стали бы менять в тестах слишком много. Вот вам и отличная подсказка. Наверняка вы даже не стали бы менять ответы в тесте каждого ученика — вот и еще одна подсказка. Нет, у вас не хватило бы на это времени, ведь вскоре после окончания теста компьютер уже должен выдать результаты. Что вам нужно делать в этой ситуации, так это выбрать восемь или десять правильных ответов подряд и вписать их в листочки половины или двух третей ваших учеников. Вы можете легко запомнить эту короткую серию букв и цифр, вписать которые будет гораздо быстрее, чем править каждый тест индивидуально. При этом лучше направить усилия на конец теста, где вопросы обычно сложнее предыдущих. В этом случае вы с большей долей вероятности замените неправильные ответы теми, что там должны быть, и улучшите общие показатели.
Как мы уже выяснили, экономика — это наука, связанная в первую очередь, со стимулами. Но при этом она также (к счастью) имеет необходимые статистические инструменты для измерения реакции людей на эти стимулы. Все, что вам нужно, — это немного данных.
В данном случае все необходимые для изучения материалы предоставили сами общественные школы Чикаго. Они разрешили доступ к ответам на вопросы теста всех учеников от третьего до седьмого класса с 1993 по 2000 год. Это примерно тридцать тысяч учеников каждого класса в год — более семисот тысяч наборов ответов теста и около ста миллионов отдельных ответов. Полученные данные, объединенные по классам, включали ответы каждого ребенка на вопросы тестов по чтению и математике. (Сами листочки с ответами задействовать не удалось, поскольку они уничтожаются вскоре после окончания каждого теста.) Данные также включали сведения о каждом учителе и демографическую информацию по каждому ученику. Содержали они и результаты предыдущих и последующих тестов, доказавших свою важность для определения мошенничества учителей.
Теперь можно было составлять алгоритм, способный выделить из этого массива данных самое главное. Итак, каким образом можно определить классы, учителя которых мошенничают?
Первая вещь, которую нужно искать, — необычные конструкции ответов в отдельно взятом классе. К примеру, это могут быть блоки идентичных ответов большого количества учеников, особенно на сложные вопросы. В то же время здесь просто необходим избирательный подход. Если десять отличников (что доказали предыдущие и последующие тесты) правильно ответили на первые пять вопросов (обычно самых простых), это не считается подозрительным. Но если десять двоечников правильно ответили на последние пять вопросов (самых сложных), это должно вызывать сомнения. Еще одним сигналом будет необычная компоновка ответов любого ученика —например, правильные ответы на сложные вопросы и неправильные на простые. Это особенно подозрительно на фоне тысяч учеников из других классов, которые отвечали на тот же тест примерно одинаково и предсказуемо. Более того, алгоритм определяет класс, результаты учеников которого были гораздо хуже во время предыдущих и последующих тестов. Конечно, резкий скачок успеваемости в один год можно приписать хорошему учителю, но когда он так же резко обрывается, высока вероятность, что он был вызван искусственно.