Анализ публикаций дает основания говорить о том, что специально проблема эффективности систем поддержки научных исследований и образовательных процессов, тем более ориентированных на определенную предметную область, не рассматривается. Это справедливо и для исторической отрасли, которой посвящена данная работа: задачи, содержание, критерии и методики анализа и оценки историко-ориентированных информационных систем недостаточно разработаны и понимаются не всегда однозначно. Возможно, недостаточная разработанность методик анализа и оценки эффективности предметных (в том числе исторических) систем объясняется их сложностью и многообразием.
Рассмотрим, какие основания можно и важно выделить при разработке методики оценки историко-ориентированных информационных систем.
Во-первых, одно из важных мест занимает эффективность использования этих систем в целях получения научных исторических знаний, их репрезентации и обеспечения доступа к ним, совершенствования труда историка.
Во-вторых, необходимо опираться на уже разработанные и сложившиеся подходы к анализу и оценке эффективности информационных ресурсов и систем.
В-третьих, важно учитывать специфику создания, назначения, использования именно исторических информационных систем и выделять соответствующие этому показатели эффективности.
Исходя из этого, для анализа и оценки эффективности историко-ориентированных информационных систем будем использовать системный и комплексный подходы, а также вытекающий из них подход, предусматривающий сочетание формализованных и качественных показателей [Матчин, Монахов, Мордвинов, Свечников, Шленов, 2003/2004, с. 11, 12]. Сочетание этих подходов ориентирует на определение целей информационной системы; анализ ее структуры, отдельных подсистем; учет общих и специфических для истории критериев. Указанные подходы позволяют подойти к анализу и оценке эффективности историко-ориентированных систем как многоуровневого объекта, включая уровень информационных ресурсов вообще и информационных ресурсов определенной предметной области (истории). На каждом из уровней выделяются подуровни, связанные с назначением системы и ее научными или образовательными задачами, которые могут быть ориентированы на различные, порой не совпадающие информационные потребности разных категорий пользователей. При этом историко-ориентированная система выступает и как информационный ресурс, и как технология, и как программный продукт для хранения и обработки информации.
На основании вышеизложенного нами выявлены общие и специфические показатели эффективности, жизнеспособности, активности, долговечности и востребованности историко-ориентированных информационных систем, а также разработана методика оценки рассматриваемого вида ресурсов.
В основе этой методики лежит рейтинговое оценивание объектов с использованием более 30 критериев, которые разбиты на несколько групп, отражающих различные аспекты функционирования информационных систем: поисковые и аналитические возможности; документирование; обеспечение доступа; образовательные возможности; жизнеспособность, долговечность, устойчивость; востребованность; общее удобство использования.
Среди наиболее важных критериев можно выделить: хронологическое, тематическое, географическое и иное структурирование и поиск; полнотекстовый поиск; получение сводных отчетов, описательной статистики и их визуализация; уровень поддержки исследовательского процесса; наличие и качество метаданных в соответствии с международными стандартами описания и спецификой исследовательских задач; устойчивость; мультизадачность; количество исследований, выполненных на основе системы, и др. Подробно выделенные группы критериев и входящие в них показатели приведены в табл. 1.1.
Для оценки выделенных показателей могут быть использованы разные шкалы, в том числе дихотомическая, ранговая, шкала отношений. Измерение может производиться как по набору фиксированных признаков, так и методом экспертных оценок.
В случае использования различных шкал для оценки разных критериев их необходимо нормализовать, приведя к единой шкале (например, [0; 1]). Баллы внутри одной группы складываются. Возможно использование весов у каждого показателя и у группы в целом. При суммировании баллов по группам также может использоваться нормализация, так как количество показателей внутри групп различно.