Для обеспечения надежности результатов желательно использовать несколько (две-три) методик опроса экспертов. Опросы должны иметь определенную логическую последовательность.
Участие экспертов в определении проблем и целей исследуемого объекта является весьма эффективным приемом. Специалисты по экспертизе считают, что по существу ни один иной метод прогнозирования не является столь эффективным. Это объясняется не столько достоинствами самого метода, сколько ограничениями, возникающими при использовании более точных и сложных методов, прежде всего недостаточностью исходной информации и необходимостью трудоемких подготовительных процедур. Что же касается экспертных оценок, то они достаточно экономичны и эффективны при сравнительно незначительной потере точности.
В методическом отношении цель разовой заочной экспертизы сводится к выработке элементов типовой методики заочного экспертного опроса, способной обеспечить эффективное использование экспертов при построении систем социальных показателей.
В содержательном отношении целью такого опроса является определение степени социальной значимости перспективных проблем (и соответствующих им показателей) исследуемого объекта.
Успех экспертизы во многом определяется составом и компетентностью опрашиваемой группы. Выбор экспертов, а также членов параллельной контрольной группы – один из важных вопросов этого этапа исследования. Полезно составить группу экспертов из специалистов-практиков, имеющих опыт работы в различных отраслях народного хозяйства. Контрольная же группа может быть представлена теоретиками ѕ научными сотрудниками, исследующими различные аспекты избранной проблемы.
На первом этапе работы по проведению экспертизы составляют исходный перечень основных проблем изучаемого объекта, обобщают и уточняют его путем контент-анализа. Панельный очный опрос экспертов из параллельной контрольной группы «методом комиссии» позволяет обобщить формулировки проблем, устранить дублирующие друг друга или носящие специфический, частный характер, относящиеся не ко всему объекту в целом, а к его отдельным деталям. В итоге будет получен перечень, который станет основой материала экспертизы – окончательного варианта «Анкеты эксперта». Цель экспертизы – упорядочить выделенные социальные проблемы и соответствующие им показатели, первые – по степени их актуальности в общественной жизни, вторые – по степени эффективности отражения связанных с ними проблем. Проблемы и показатели могут оцениваться при помощи двух независимых методик: ранжирования и непосредственно балльных оценок. Обработка результатов экспертизы проводится традиционными математико-статистическими методами.
Следующую задачу – определение значимости социальных целей исследуемого объекта следует рассматривать в плане решения социальных проблем. Последние ранжируют по степени важности и актуальности, но теперь уже в диалектической взаимосвязи с целями. Для решения этой задачи используют технику деструктивной отнесенной оценки, касающуюся группы экспертных интуитивных методов, коллективное обсуждение мнений и генерацию новых идей. Метод основан на хорошо известных правилах проведения одной экспертизы и принадлежит к классу управляемых экспертных опросов, но с такой степенью свободы высказываний экспертов, которая позволяет рассчитывать как на конструктивную критику даваемых оценок, так и на получение оригинальных, нетривиальных оценок.
Сущность этой техники получения экспертных оценок заключается в стимулировании творческого потенциала экспертов с помощью критики (деструкции) предложенных оценок и выработки (отнесения) новых известными приемами «мозговой атаки». Стимулирующий эффект создается, во-первых, за счет искусственной элиминации ограничений при высказывании критических экспертных суждений на первом (деструктивном) этапе работы, во-вторых, за счет «расковывания» творческого потенциала экспертов при высказывании оригинальных конструктивных суждений на втором этапе работы (отнесение оценок), в-третьих, за счет нового, неожиданного «видения» экспертом проблемы глазами своих коллег по ходу дискуссии с ними. Все это позволяет рассчитывать на высокую эффективность применения данной техники при экспертизе сложных социальных явлений.