Да, наверное, об этом следует написать подробнее (в полной публикации, конечно, - в журнальной и так усечено все, что можно), поскольку так это рассуждение остается за кадром.
Тем, кто любит колбасу и уважает закон, не стоит видеть, как делается
и то и другое.
Колбасный принцип
От кого: Евгений Осенчаков
Тема: IQ для Виктора Васильева
Приветствую вас, жители компьютерной земли.
Начало письма будет таким же, как и большинство других: после прочтения последнего номера, меня заинтересовал один вопрос (вот оно, это стандартное начало). В этом самом номере была статья про IQ-тесты (тема номера). Странно, но впервые (читаю вас уже более четырех лет, не пропуская ни номера) после прочтения темы у меня сложилось ужасное чувство ее незаконченности. Поговорили о тестах Айзенка, перешли к общим тенденциям, первая часть закончилась одним выводом, вторая - выводом ему противоположным, но это не беда, итоги подвели и нормально, дело в другом. В теме фигурировал такой вопрос: "Чем мерить интелект?", почему не рассказали (хотя бы в двух словах) о существующих тестах? Стоило ли вообще из этого раздувать тему номера? У всех тестов есть еще одна огромная проблема, которую, как мне кажется, никто не учитывает, хотя она и находится на самой поверхности и ставит под сомнение объективность любого теста, использующегося в данное время, к примеру, при приеме на работу.
Не исключаю возможность ошибочности моего мнения по данному поводу, но вот так я себе представляю эту проблему и, в общем, развитие любого из коммерческих тестов. Для большей наглядности опишу одну из частей известного теста SHL (числовая часть) и разобью свою мысль на этапы развития и продвижения в массы.
Здесь никаких претензий нету (сам составлял тесты, тогда-то я и понял всю абсурдность тестирования в том виде, в котором оно сейчас существует). Собирается много умных людей, думают над классами вопросов, придумывают в каждом классе несколько категорий, в категориях продумывают вопросы.
Собирается куча людей, максимально абстрагированных друг от друга, каждый проходит тестирование (видя его впервые в жизни), собирается статистика, делаются выводы, одобряется.
Тест создан, статистика собрана, облщестлвенность оценила. Вот тут и возникает та самая проблема, о которой я говорил ранее. Чтобы что-то продать, нужно сначала объяснить, что это такое, потом дать сами тесты с определенным количеством стандартных (!) вопросов, дать ответы, показать статистику, объяснить, что есть что, в общем. Первое заблуждение начинается уже здесь - все почему-то считают, что результаты, полученные от первых испытуемых, будут в среднем такими же, как и результаты последующих тестирующихся. Это заблуждение! Первые испытуемые не знали, что им предстоит делать и в каком тестировании участвовать, не знали, какие будут вопросы, и так далее. А в реальности получается, что тесты попадают в компании, нанимающие при помощи них своих новых сотрудников и проверяя старых, - и все бы ничего, но после выхода теста в массы информация о нем появляется незамедлительно, и, зная примерные вопросы, можно получить приличную фору относительно человека, который о тесте не знал заранее, и не знал, какие будут вопросы, что нужно делать и как делать. В итоге тот же самый "SHL числовой" профессор мат. наук может пройти хуже, чем школьник, натасканный на определенный спектр задач. Где справедливость и объективность?
С уважением,
Александр Кострюков
Виктор Васильев: Совершенно согласен, это огромная проблема. Способ тестирования может приводить к радикальной деформации самого содержания подготовки. Вот, например, идиотская система тестов с выбором ответа в ЕГЭ превращает школьное образование в систему подготовки к угадыванию ответов в этих дурацких тестах. И никто не может объяснить, зачем именно эти тесты с выбором ответа тут необходимы. То есть какое-то количество обоснований я слышал, но все они никуда не годятся; более того, ясно, что те, кто их проталкивает, и сами понимают, что они никуда не годятся. Например, постоянно повторяется, что ученики, знающие предмет, должны хорошо отвечать и на эти тесты. Это утверждение бесспорно, но речь как раз и идет о том, что подготовка к этим тестам страшно бьет по самой возможности появления учеников, действительно знающих предмет. Также и мои любимые ученые тестологи изо всех сил трудятся, обосновывают необходимость этой пакости, приводят какие-то выкладки, которые при подробном рассмотрении оказываются полной срамотой. Еще один довод - о недопустимой технологической сложности и дороговизне любых более разумных способов приема массового экзамена - также ПОЛНОЕ ВРАНЬЕ, говорю со всей ответственностью. Создается впечатление, что цели какие-то есть, но совсем не те, что декларируются. Возможно, просто какое-то начальство с самого начала поленилось подумать головой и организовать экзамен по-умному, а теперь не хочет радикально менять, потому что это означало бы признание своего недомыслия по слишком важному вопросу. Есть, конечно, и другие версии. Главное, что к самой исходной идее централизованного экзамена эти идиотские тесты никакого отношения не имеют.
Даже маленькая практика стоит большой теории.
Закон Букера
От кого: Евгений Осенчаков
Тема: IQ для Виктора Васильева
Вспомнилось: "Я понимаю вашу иронию, профессор…"
Я не математик, а музыкант, но на эмоциональном уровне вашу статью в "КТ" #737 я понял. Спасибо.
P.S. Единственное, что (насчет математиков и физиков) можно быть обыкновенным "шеловеком" и понимать, что ветер дует не потому, что деревья качаются.
Евгений Осенчаков
Виктор Васильев: Большое спасибо! Но я же и не говорю, что музыканты непременно дураки (по моим наблюдениям, в среднем скорее наоборот, хотя я и не очень понимаю причин этого). Продолжая сравнение, и я ведь не плотник, а гвозди (после девяти стройотрядов) забивать умею…
От кого: Николай
Тема: измеряем IQ
Спасибо за интереснейший номер про тесты на IQ. Баловался с переформулировками условий, и вот что получилось.
Некоторые люди - пьяницы; у большинства пьяниц красные носы; все те, у кого красные носы, выглядят смешно; таким образом, некоторые из тех, кто выглядит смешно, - люди. Выглядит убедительно; более того, я точно знаю, что некоторые люди выглядят смешно, а следовательно, утверждение истинно. Но, к сожалению, строгая логика говорит, что вывод абсолютно не следует из условий, потому что пьяницами бывают не только люди (сам знал собаку-пьяницу). В таком виде, кстати, это вполне может быть селективным тестом на научное мышление, сразу отсекутся люди, следующие бытовому здравому смыслу (те, кто считает это утверждение истинным), и останутся люди, мыслящие шире и строже.
Некоторые люди - негры (ничего расистского, просто констатация наглядного факта); некоторые негры хорошо играют в баслкетбол; у всех, кто хорошо играет в баскетбол, высокий рост; следовательно, все те, у кого высокий рост, - люди. В данном случае ситуация обратная первой; если в первом случае здравый смысл и бытовая логика подталкивали к неправильному ответу, то в такой формулировке задача про гоблинов предстает во всей своей беспомощности. Действительно, вывод "все, у кого высокий рост, - люди" и с позиции строгой логики, и бытовой абсолютно бредовый.