9.3. Методы независимого интеллектуального эксперимента. Обработка и представление результатов коллективных экспертных опросов

Разработка анкеты экспертного опроса.

Открытым называется вопрос, ответ на который не регламентирован. Например, экспертам может быть предложено назвать пути и способы решения прогнозной задачи, проблемы, которые возникнут в процессе ее решения.

В формулировке закрытого вопроса предложены альтернативные варианты ответов, эксперт должен выбрать один из вариантов ответа.

Косвенным называется вопрос, формулировка которого должна замаскировывать цель экспертизы.

Обработка и представление результатов коллективных экспертных опросов. Способ обработки результатов экспертизы зависит от природы исследуемых факторов и типа шкалы результатов, требуемых точности и оперативности получения необходимых характеристик. При этом комплексно используют как строгие количественные, так и различные качественные способы обработки.

При прогнозировании методами коллективных экспертных оценок важно установить среднюю оценку экспертной группы, принимаемую в качестве результата экспертного опроса, оценить, из каких индивидуальных оценок экспертов складывается результирующая величина, достаточно ли согласованы оценки, не является ли результат экспертизы усреднением диаметрально противоположных мнений. Для ответа на этот вопрос используют следующие показатели: среднее значение прогнозируемой величины, дисперсию, коэффициент вариации оценок.

Среднее значение прогнозируемой величины (у) определяется по формуле

п

где уі — значение прогнозируемой величины, данное t'-м экспертом; п — число экспертов в группе.

При известных коэффициентах компетентности экспертов корректнее применять среднюю взвешенную оценку, используя в качестве весов коэффициенты компетентности:

п

2>Л

у = " , (9.2)

у 1>,

Дисперсия значений прогнозируемой величины (D):

„>"•'"' (9.3)

п

Среднеквадратическое отклонение индивидуальных экспертных оценок (а):

Коэффициенты вариации оценок, данных экспертами (v)A

v = ?. (9.5)

У

Следует иметь в виду, что данные показатели оценивают качество прогнозных оценок, исходя из предположения, что согласованность ответов экспертов гарантирует достоверность оценок.

9.4. Метод Дельфи: область применения, правила проведения, статистическая обработка результатов анкетирования

Метод Дельфи — метод коллективного экспертно'го поискового прогнозирования, основанный на выявлении согласованной оценки экспертной группы путем анонимного опроса экспертов в несколько туров, предусматривающий сообщение экспертам результатов предыдущего тура с целью дополнительного обоснования оценки экспертов в последующем туре.

При использовании метода Дельфи следует учитывать: ?

группы экспертов должны быть стабильны, их численность должна удерживаться в благоразумных рамках; ?

между турами должно проходить не более месяца; ?

вопросы в анкетах должны быть тщательно продуманы и четко сформулированы; ?

число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также критикой этих причин; ?

должен проводиться систематический отбор экспертов; ?

необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам; ?

следует установить влияние различных видов передачи информации экспертам по каналам обратной связи; ?

необходимо установить влияние общественного мнения на экспертные оценки и на их сходимость.

Историческая справка

Метод Дельфи назван по имени древнегреческого оракула, жившего в городе Дельфи. Предсказания дельфийского оракула обнародовались только после тщательного обсуждения на совете дельфийских мудрецов. При принятии решений они пользовались системой правил, к которым, например, относились: «хорошо во всем соблюдать меру», «ничего слишком», «познай самого себя», «все наперед обдумай» и др. В настоящее время метод коллективного обсуждения и согласования различных мнений получил название метода Дельфи.

Первый эксперимент, выполненный в конце 1940-х гг. на основе данного метода, заключался в попытке определить лучший выигрыш на бегах по результатам ежедневных сообщений о заездах.

Первый этап. Членов комитета попросили в письменной форме назвать изобретения и научные прорывы, которые представляются им настоятельно необходимыми и в то же время осуществимыми в течение ближайших 50 лет. В результате был составлен перечень из 49 пунктов.

Второй этап. Членам комитета предложили в письменной форме

оценить вероятность реализации каждого из 49 пунктов в один из периодов времени, на которые были разбиты ближайшие 50 лет.

Обработка информации, полученной методом Дельфи. 1.

Получение ответов на вопросы от экспертов в письменной форме. Следует учесть, что этот метод предполагает обработку количественной информации (о сроках или вероятности наступления события, о затратах и результатах). 2.

Статистическая обработка — расчет медианы, моды, квартилей и децилей. Для этого необходимо первоначально упорядочить полученные экспертные оценки по возрастанию или убыванию прогнозируемого признака.

Под медианой обычно понимается такое значение прогнозируемого признака, которым обладает центральный член ряда, составленного в порядке возрастания значений признака (ответ эксперта в центре ранжированного ряда). В случае, когда количество экспертов составляет четную величину, медиану рассчитывают как среднее арифметическое из ответов двух экспертов, находящихся в центре ряда.

Под модой понимают наиболее часто встречающееся в ранжированном ряду значение прогнозируемого признака.

Квартиль — значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим */4 всего ряда (нижний квартиль) и 3/4 всего ряда (верхний квартиль).

Дециль — это значение прогнозируемого признака, которым обладают члены ряда под номером, представляющим У10 всего ряда и 9/10 всего ряда.

В результате статистической обработки вся совокупность ответов разбивается на несколько групп и выделяется 80- и 50%-ный коридор ответов. 3.

Экспертам присылается анкета, в которой сообщаются результаты анализа, обобщенные в двух разделах. В первом дан перечень пунктов, по которым большинство экспертов дали согласованную оценку; требуется кратко изложить принципы согласия с мнением большинства. Во втором разделе отобраны недостаточно согласованные оценки. 4.

Повторное анкетирование и обработка его результатов.