Специфическими особенностями метода экспертных оценок, с научной точки зрения, при решении сложных, не укладывающихся в определенную форму проблем, являются, во-первых, научно обоснованная организация всех этапов работы, обеспечивающая максимальную эффективность, и, во-вторых, использование количественных методов как при осуществлении оценки и производимой в определенной форме групповой обработки результатов. Эти две характерные черты отличают метод экспертных оценок от рядовой, давно знакомой экспертизы, широко используемой в различных сферах человеческой деятельности.
Сфера использования метода экспертных оценок крайне широка. Назовем стандартные задачи, разрешаемые методом экспертных оценок:
1) составление списка вероятных событий в различных областях за определенный промежуток времени;
2) определение наиболее вероятного срока наступления каких-либо событий;
3) установление целей и задач управления с упорядочением их по степени значимости;
4) нахождение вариантов решения проблемы с оценкой их предпочтения.
Для решения обозначенных стандартных задач в настоящее время используются всевозможные методы проведения экспертных оценок. К основным из них можно отнести: анкетирование и интервьюирование; мозговой штурм; дискуссию; совещание; оперативную игру; сценарий.
Любой из этих методов экспертной оценки имеет свои преимущества и недостатки, обусловленные целесообразностью их применения в тех или иных ситуациях. Во многих случаях максимальный эффект приносит комплексное использование нескольких методов проведения оценки.
Анкетирование и сценарий подразумевают персональную работу эксперта. Интервьюирование может происходить как персонально, так и коллективно. Прочие типы экспертизы подразумевают совместное участие всех экспертов в работе. Вне зависимости от персонального или коллективного участия экспертов в работе разумно получать информацию от множества экспертов. Это дает возможность приобрести на основании обработанных данных более достоверные результаты, а также информацию о возможности воздействия на явления, события, которая не проявляется явно в высказываниях экспертов.
При применении метода экспертных оценок возникают специфические проблемы. Главными из них являются: выбор экспертов, проведение опроса экспертов, обработка результатов опроса, организация самой процедуры проведения оценки.
Первой стадией организации работ по осуществлению экспертного оценивания можно назвать подготовку инструктивного документа, в котором обозначается цель работы и основные положения по ее выполнению. В этой инструкции должны быть сформулированы следующие моменты: формулировка задачи; цели эксперимента; обоснование необходимости его проведения; сроки проведения; обозначение круга вопросов и состав группы управления; обязанности и права группы; денежное и материальное снабжение работ.
Для подготовки этой инструкции и для координации всей работы назначается руководитель экспертизы. Ему поручается создание группы управления и на него же возлагается ответственность за организацию ее работы.
После создания группа управления выполняет работу по подбору экспертной группы.
Одновременно с процессом создания группы экспертов группа управления осуществляет разработку принципов организации и методики проведения опроса экспертов. При этом уточняются следующие моменты: место и время проведения опроса; число и задачи этапов; форма проведения; порядок регистрации и сбора результатов; содержание необходимых документов.
Второй стадией работы группы управления можно назвать организацию и методы обработки данных опроса. На данной стадии необходимо установить задачи и время обработки, процедуры и алгоритмы обработки, необходимые составляющие для проведения обработки.
В процессе проведения опроса экспертов и обработки его итогов группа управления выполняет совокупность работ в соответствии с установленным планом, по мере надобности внося исправления в него по его содержанию, времени и снабжению ресурсами.
Заключительной стадией работ для группы управления становится оформление итогов. На этой стадии проводится анализ итогов экспертного оценивания; составление отчета; обсуждение и одобрение итогов; представление результатов работы на утверждение; ознакомление с итогами экспертизы организаций и определенных людей.
Опрос – основной этап общей работы группы управления и экспертов. Основными целями опроса являются:
• обозначение проблемы и постановка вопросов экспертам;
• информационное обеспечение работы экспертов;
• формирование экспертами мнений, оценок, предложений;
• сбор итогов работы экспертов.
Можно обозначить три категории задач, которые решаются в процессе опроса:
• качественная или количественная оценка обозначенных объектов;
• формирование новых объектов;
• оценка новых объектов.
При совместной экспертизе применяются следующие виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.
Анкетирование проводится двумя способами: с применением или без применения обратной связи. С применением обратной связи анкетирование экспертов проводится в несколько этапов, при этом итоги опроса предыдущего этапа доводятся до сведения экспертов, они включают оценки некоторых других экспертов, принимавших участие в этом опросе, и их аргументы.
Центральным моментом в проведении опроса можно считать обеспечение максимальной информированности, максимальной творческой активности, определенной независимости эксперта. Нужно стремиться предоставить каждому эксперту всю информацию, имеющую отношение к рассматриваемому явлению, которой обладают как эксперты, так и организаторы опроса, не ограничивая одновременно с этим творческую самостоятельность и активность экспертов.
Тем не менее потенциал эксперта по анализу информации ограничен. В итоге эксперт может сделать определнные выводы, не применяя всей информации, имеющейся у него в наличии. Тем более что восприятие человеком новой информации происходит с определенным внутренним отторжением и небезотлагательно воздействует на уже сформировавшиеся личные оценки. К новой информации относятся доброжелательнее, воспринимают и используют ее полнее, если она подается в доходчивой, яркой и компактной форме.
Из этого можно сделать вывод о том, что необходимо предоставлять экспертам возможности для фиксирования поступившей информации с помощью записей, технических средств. Также необходимо предварительно обрабатывать информацию и предоставлять ее экспертам в наиболее удобной форме.
Нужно выделить неоднозначность факта обмена экспертами информацией, так как приобретение такой информации экспертом скрывает опасность утраты творческой свободы в построении модели объекта. Устранить это полностью нельзя, и при каждой экспертизе ее организаторы обязаны отыскивать разумный компромисс, главным образом, путем предпочтения одного типа опроса, формы и степени общения экспертов.
Каждый из типов опроса имеет свои плюсы и минусы в порядке обмена информацией между экспертами и в организации их самостоятельного творчества. Предпочтение того или иного типа опроса обусловливается многими факторами, из которых основными являются:
• цель и задачи экспертизы;
• суть и простота анализируемой проблемы;
• всесторонность и достоверность начальной информации;
• необходимый объем и правдивость информации, приобретаемой в результате опроса;
• период времени, отведенный на опрос и экспертизу в целом;