Предыдущие типы опроса экспертов ставили задачу апробировать различные методические подходы к использованию экспертизы с целью совершенствования систем показателей сложных социальных явлений. Особое внимание при этом уделялось вопросам определения степени компетентности экспертов и структуры экспертных групп. Однако огромный интерес представляют и содержательные экспертные оценки, дающие возможность развивать и совершенствовать различные направления социальной статистики.
Процедуры экспертизы включают следующие этапы:
1. Уточнение исходного набора показателей. Для этого проводится специальный очный опрос экспертов, осуществляемый одним из методов, имеющихся в распоряжении исследователей. В роли экспертов выступают специалисты исследуемой области. Серия таких опросов позволяет существенно уточнить исходный набор показателей.
2. Формирование экспертной группы для оценки уточненного набора показателей. Этому вопросу следует уделить особое внимание. Опыт опроса экспертов в заранее формализованных группах (отдел или сектор научно-исследовательского учреждения, группа ведущих практических работников и т.п.) наряду с очевидными достоинствами имеет и недочеты: чрезмерная однородность экспертной группы по уровню и профилю компетентности порождает односторонние оценки, даваемые почти под одним и тем же углом зрения без учета иных точек зрения.
Возникает проблема поисков оптимума в сочетании экспертов разного уровня и профиля компетентности, способных дать сложному социальному явлению основательную, разностороннюю оценку.
В этом плане наиболее предпочтителен метод так называемого «снежного кома»: проводится серия экспертных опросов, где каждому эксперту предлагается назвать одного или несколько специалистов, наиболее подходящих, по его мнению, для включения в сводную экспертную группу.
Можно прибегнуть к другим методам, например к использованию авторского библиографического указателя по исследуемой проблеме, а также к приемам отбора из первоначального списка наиболее компетентных экспертов с помощью документального метода, эксперимента, голосования и самооценки.
Документальный метод позволяет определить компетентность эксперта по формальным данным – ученой степени и званию, должности, стажу работы в соответствующей области и т.д. Экспериментальный метод учитывает эффективность работы экспертов в предыдущих опросах. Метод голосования предполагает взаимооценки экспертов при условии достаточно устойчивых научных контактов между ними. Метод самооценки позволяет определить компетентность эксперта в зависимости от его ответов: занимался ли он рассматриваемой проблемой специально, знаком с ней только по специальной литературе или имеет о ней лишь самое общее представление.
Используя эти методы, следует помнить, что по экспертным оценкам не всегда можно с достаточной точностью выявить различие между научным статусом эксперта, фиксируемым документально, и степенью его действительной компетентности, а также связи между действительной компетентностью и самооценкой. Данные, приводящиеся в специальной литературе по экспертным оценкам, свидетельствуют, что наиболее эффективным показателем компетентности эксперта является самооценка (разумеется, подкрепленная данными, полученными другими методами).
Что касается достижения оптимальности в структуре экспертной группы (соотношение специалистов различных областей знания), для того чтобы быть уверенным, что выявленная система показателей отражает все стороны исследуемого объекта на одинаково высоком уровне, в экспертной группе должны быть более или менее равномерно представлены специалисты всех профилей исследуемой области. Оптимальное же соотношение специалистов широкого и узкого профиля – величина непостоянная и требует специального расчета для каждого конкретного исследования.
Оптимальная численность экспертной группы как величина формальных способов определения не имеет. Очевидно, что минимальный предел должен обеспечивать возможность применения статистических процедур и известную гарантию против односторонности подбора экспертов, а максимальный диктуется реальными возможностями подготовки, проведения и обработки результатов экспертизы.
3. Проведение собственно экспертизы одним из известных методов. Методические сложности этого этапа состоят в необходимости сосредоточить внимание на таких аспектах, как заинтересованность экспертов в точности их оценок, выборе адекватных методов групповой оценки, согласованности мнений и ряда других моментов.