Для этого мы и вытащили эту статью почти из полувековой пыли:
Кара-Мурза С.Г. Цитирование в науке и подходы к оценке научного вклада // Вестник АН СССР. 1981. № 5.
Проблема оценки продуктивности ученого, его научного вклада — одна из важнейших теоретических и прикладных проблем науковедения. Стремление создать пусть даже «грубоватую», но в принципе работоспособную методику такой оценки психологически вполне понятно. Но конструирование систем оценки — область очень деликатная: любое решение здесь самым непосредственным образом воздействует на социально-психологические условия работы научных коллективов, затрагивает сферу человеческих отношений и мотивации ученых. И последствия ошибок здесь могут быть весьма серьезными.
Для оценки продуктивности исследователей уже сравнительно давно пытаются использовать различные параметры системы научных коммуникаций. Это вполне объяснимо: через систему коммуникаций поступают в хранилище «отпечатки» научной продукции — публикации. Подсчет этих «отпечатков» на первых порах показался самым простым и естественным подходом к определению научного вклада. Он и сейчас составляет основу большинства формализованных систем оценки научных кадров, хотя и стыдливо, со многими оговорками: трудно найти социолога или администратора, который не постеснялся бы прямо заявить, что число публикаций действительно отражает научный вклад исследователя. Значение качественных аспектов научной деятельности слишком очевидно.
Но вот в середине 60-х гг. появился информационный инструмент, который, казалось, давал возможность отразить качество научных публикаций. Это — «Указатель библиографических ссылок» (Science Citation Index — SCI), издаваемый Институтом научной информации (США). Почти 20 лет, в течение которых публикуется этот указатель, — солидный срок, позволяющий строить довольно представительные временные ряды, и социологи науки стали все активнее использовать открывающиеся здесь возможности. Создатель SCI Ю. Гарфилд с самого начала указывал на широкую применимость указателя в социологии и истории науки.15
Действительность не обманула этих ожиданий. Более того, нам представляется, что потенциальные возможности SCI в науковедении оценены еще лишь в малой степени, и по мере удлинения временных рядов ценность его будет возрастать. Но можно ли использовать такой измеримый параметр научных коммуникаций, как цитируемость, для оценки вклада в науку отдельных исследователей или целых коллективов?
Исходные посылки тех, кто отвечает на этот вопрос положительно, кажутся вполне обоснованными. Ссылки на предыдущие публикации отражают связи между работами отдельных ученых. Следовательно, чем больше ссылок получают работы ученого, тем в большей степени используется его продукция научным сообществом, тем выше полезность его вклада. Исходя из этих посылок, американские социологи науки Дж. Коул и С. Коул одними из первых применили измерения цитируемости для обоснования весьма радикальных социологических выводов.16 Измерение цитируемости быстро стало связываться со злободневными практическими вопросами. Поборники использования SCI для оценки продуктивности ученых, не дождавшись теоретических обоснований, начали выступать в широкой печати с пропагандой этого подхода. Судя по литературе, в некоторых университетах США показатель цитируемости уже вошел в методики формальной оценки сотрудников. Возможность использования цитирования для оценки научного труда видят и некоторые советские социологи. Так, Н.З. Мирская пишет: «Показатель цитирования — основание для определения эффективности научного труда, что особенно важно в плане практических рекомендаций… Цитирование отражает использование публикации, т. е. ее полезность и, следовательно, эффективность деятельности ее автора».17
Но позволяет ли измерение цитируемости верно оценить научный вклад? Действительно, цитирование отражает связь между работами ученых, говорит об использовании научных результатов. Но оно отражает не все связи. Если труды ученого цитируются широко, то это (в общем случае) указывает на тот факт, что его продукция высоко оценивается и в большой степени используется другими учеными. Но обратное утверждение в общем случае неверно. А для того чтобы цитируемость могла служить основой оценки научного вклада, необходимо чтобы были верны как прямое, так и обратное утверждение, — это кажется очевидным.
Как же получается, что цитирование «высвечивает» лишь часть научных коммуникаций? Рассмотрим механизм цитирования на «микроуровне» — на уровне единичной научной публикации. Чтобы упростить нашу задачу, введем три явно идеализированных предположения: 1) вся использованная в работе автора публикации научная информация изложена в статьях, на которые он может сослаться; 2) все сообщения, несущие необходимую автору для данной работы информацию, достигают этого автора; 3) отбирая статьи, на которые он сошлется в своей публикации, автор руководствуется только релевантностью, ценностью этих статей для своей работы.
Объем информации, которой пользуются при подготовке публикации даже начинающие исследователи, весьма велик. Если бы его удалось весь «упаковать» в научные статьи (наше первое предположение), то их минимальное число достигло бы, вероятно, сотни. Естественно, что процитировать их все невозможно, да и сам институт цитирования потерял бы тогда смысл. В самоорганизующейся системе научных коммуникаций установились определенные нормы цитирования (несколько отличающиеся в разных областях науки). В среднем «нормальная» публикация содержит около 15 ссылок. Это значит, что из, минимум, сотни статей автор отбирает 15 наиболее релевантных для его работы. Другими словами, устанавливается некоторый ценз, порог ценности статьи для данной работы. Этот порог — своеобразный «уровень моря», над которым видна лишь небольшая верхушка айсберга использованной информации — цитированные статьи.
Но если цитируемость связана с пороговыми явлениями, не может быть и речи о линейной зависимости между ценностью статьи и возможностью ее попадания в список цитированных трудов. Все, что ниже порога, получает одинаковую оценку — ноль. Все, что выше порога — единицу. Система работает дискретно, по принципу «все — или ничего». Используя такую двухбалльную шкалу, можно лишь сказать, что цитированные статьи для данной работы более полезны, чем нецитированные. Мы не можем вынести никаких суждений о том, насколько первые полезнее вторых, — изменение происходит скачкообразно. Внутри же обеих групп каждая статья находится в области неопределенности.
На микроуровне ясно, что такая «черно-белая» шкала мало что дает для распределения использованных 100 статей по их полезности: каждая из 85 нецитированных статей может оказаться по своей полезности почти равной любой из цитированных. Таким образом, нарушается первое требование к шкале оценки, которая должна быть достаточно растянутой и непрерывной.
Что же изменяется при переходе к «макросистеме» — крупному массиву публикаций — и сравнению авторов по числу ссылок на них? Мы получаем ряды чисел разумной величины, по которым, как будто, можно ранжировать авторов. Но это — иллюзия. Оттого, что мы складываем неопределенности, выявленные на уровне одной статьи, определенность не возникает. Обсуждая проблему оценки деятельности ученых, С.Н. Хиншельвуд писал: «Иногда заявляют, что для статистики полезны даже грубые результаты. Не может быть более опасной доктрины, чем доктрина, основывающаяся на представлении, что большое число ложных или бессмысленных догадок может быть каким-то образом усреднено, давая нечто имеющее смысл».18
Так, если какая-то работа цитируется во многих статьях, значит, многократно воспроизводится ситуация, которую мы рассмотрели на «микроуровне», — работа чаще других превышает порог полезности. Это говорит о широте «рынка» для данной работы, о массовости ее потребителя. Такие данные, позволяющие оценить масштабы того или иного научного сообщества, очень важны для науковедения. Но можно ли выражать вклад в науку, импульс, даваемый ее развитию какой-то работой, через массовость потребителя?