Методы получения качественных экспертных оценок

Иногда специфика объектов экспертного оценивания такова, что эксперты затрудняются дать количественные оценки значений оцениваемых показателей либо объекта в целом, а в некоторых случаях такие оценки попросту неоправданны и не позволяют получить достаточно надежную экспертную информацию.

В этих случаях нередко существенно более оправданным является использование методов качественной оценки объектов экспертизы.

Бывают также ситуации, когда характер экспертной информации таков, что количественные оценки в привычном смысле практически невозможны. Примеры таких ситуаций приводились выше.

Поэтому далее мы приведем описание методов, которые могут быть использованы именно для получения качественных оценок объектов или показателей, их характеризующих. Экспертная классификация

Этот метод целесообразно использовать, когда необходимо определить принадлежность оцениваемых альтернативных вариантов к установленным и принятым к использованию классам, категориям, уровням, сортам и т. д. (далее — классы).

Он может быть использован и тогда, когда конкретные классы, к которым должны быть отнесены оцениваемые объекты, заранее не определены. Может быть заранее не определено и число классов, на которое производится разбиение оцениваемых объектов. Оно может быть установлено лишь после завершения процедуры классификации.

Если эксперту необходимо отнести каждый из альтернативных вариантов к одному из згранее установленных классов, то наиболее распространена процедура последовательного предъявления эксперту альтернативных вариантов.

В соответствии с имеющейся у него информацией об оцениваемом объекте и используемой им оценочной системе эксперт определяет, к какому из классов оцениваемый объект принадлежит.

После завершения процедуры последовательного предъявления оцениваемых альтернативных вариантов эксперту может быть предъявлен результат его оценки в виде распределения всех оцененных им альтернативных вариантов по классам.

На этом этапе эксперту, как правило, предоставляется возможность, исходя из общего результата классификации, внести коррективы в данные им оценки.

Если проводится коллективная экспертиза, то результаты экспертной классификации, указанные каждым из экспертов, обрабатываются с целью получения результирующей коллективной экспертной оценки.

В зависимости от целей экспертизы может возникнуть необходимость отнесения альтернативных вариантов к упорядоченным классам.

Скажем, необходимо отнести оцениваемые объекты к соответствующим категориям, причем так, чтобы более предпочтительные объекты были отнесены к более предпочтительным категориям.

Естественно, это отражается на процедуре экспертной классификации. Но главное, чтобы эксперт однозначно понимал поставленную перед ним задачу.

Если число классов, на которое должны быть разбиты альтернативные варианты, заранее не оговаривается, то целесообразно использование следующей процедуры.

Эксперту предъявляется пара альтернативных вариантов и предлагается определить, относятся ли они к одному классу или к разным.

После этого эксперту последовательно предлагаются оцениваемые альтернативные варианты и выясняется, может ли каждый из них быть отнесен к одному из образовавшихся к тому времени классов или необходимо для данного альтернативного варианта образовать новый класс.

Процедура завершается после того, как эксперту будут предъявлены все альтернативные варианты. Метод парных сравнений

Метод парных сравнений является одним из наиболее распространенных методов оценки сравнительной предпочтительности альтернативных вариантов.

При методе парных сравнений эксперту последовательно предлагаются пары альтернативных вариантов, из которых он должен указать более предпочтительный.

Если эксперт относительно какой-либо пары объектов затрудняется это сделать, он вправе посчитать сравниваемые альтернативные варианты равноценными либо несравнимыми.

После последовательного предъявления эксперту всех пар альтернативных вариантов определяется их сравнительная предпочтительность по оценкам данного эксперта.

В результате парных сравнений, если эксперт оказался последовательным в своих предпочтениях, все оцениваемые альтернативные варианты могут оказаться проранжированными по тому или иному критерию, показателю, свойству.

Если эксперт признал некоторые альтернативные варианты несопоставимыми, то в результате будет получено лишь их частичное упорядочение.

В практике использования метода парных сравнений нередко приходится сталкиваться с непоследовательностью и даже противоречивостью оценок эксперта.

В этих случаях необходимо проведение специального анализа результатов экспертизы.

Отметим также, что при достаточно большом числе оцениваемых альтернативных вариантов процедура парного сравнения всех возможных их пар становится трудоемкой для эксперта. В этом случае целесообразно применение соответствующих модификаций метода парных сравнений.

Например, если предположить непротиворечивость оценок эксперта, то практически достаточно однократного предъявления каждого альтернативного варианта в паре с каким-либо другим. Ранжирование альтернативных вариантов

Достаточно распространенной процедурой является также непосредственное ранжирование экспертом по предпочтительности оцениваемых альтернативных вариантов.

В этом методе эксперту предъявляются отобранные для сравнительной оценки альтернативные варианты, но желательно не более 20—30 для их упорядочения по предпочтительности.

Если альтернативных вариантов больше, то целесообразно использование соответствующих модификаций метода ранжирования.

Например, ранжированию альтернативных вариантов может предшествовать их разбиение на упорядоченные по предпочтению классы с помощью метода экспертной классификации.

Ранжирование сравниваемых объектов эксперт может осуществлять различными способами. Приведем два из них.

В соответствии с первым эксперту предъявляется весь набор альтернативных вариантов, и он указывает среди них наиболее предпочтительный. Затем эксперт указывает наиболее предпочтительный альтернативный вариант среди оставшихся и т.

При втором способе эксперту первоначально предъявляются два альтернативных варианта или больше, которые ему предлагается упорядочить по предпочтениям.

Если эксперту первоначально предлагается несколько альтернативных вариантов для упорядочения по предпочтениям, то он на этом этапе может воспользоваться первым способом ранжирования.

После проведения первоначального ранжирования эксперту последовательно предлагаются новые, еще не оцененные им альтернативные варианты. Эксперт должен определить место вновь предъявленного альтернативного варианта среди про- ранжированных ранее.

Процедура завершается после предъявления и оценки последнего альтернативного варианта. Метод векторов предпочтений

Этот метод чаще используется при необходимости получения коллективного экспертного ранжирования. Эксперту предъявляется весь набор оцениваемых альтернативных вариантов и предлагается для каждого альтернативного варианта указать, сколько, по его мнению, других альтернативных вариантов превосходит данный.

Эта информация представляется в виде вектора, первая компонента которого — число альтернативных вариантов, которые превосходят первый, вторая компонента — число альтернативных вариантов, которые превосходят второй, и т. д.

Если оценивается 10 альтернативных вариантов, то вектор предпочтений может выглядеть так:

(3, 7, 0, 4, 8, 6, 1, 9, 5, 2).

Если в векторе предпочтений каждое число встречается ровно один раз, то экспертом указано строгое ранжирование альтернативных вариантов по предпочтениям.

В противном случае полученный результат не является строгим ранжированием и отражает затруднения эксперта при оценке сравнительной предпочтительности отдельных альтернативных вариантов.

Метод векторов предпочтений отличается сравнительной нетрудоемкостью и может использоваться с учетом характера экспертизы.

Этот метод может быть применен и в случае, когда у эксперта имеются затруднения при использовании других методов оценки сравнительной предпочтительности альтернативных вариантов.

При коллективном экспертизе, проводимой с использованием метода векторов предпочтений, целесообразно рассчитать результирующее коллективное ранжирование, отражающее коллективную точку зрения всех экспертов [3|. Дискретные экспертные кривые

Если целью является разработка прогнозов или анализ динамики изменения показателей, характеризующих объект выработки и принятия управленческого решения, то целесообразно воспользоваться дискретными экспертными кривыми.

При построении дискретной экспертной кривой определяется набор характерных точек, в которых наблюдается или ожидается смена тенденции изменения значений показателя от рассматриваемого параметра, а также значения показателя в характерных точках.

На участках между характерными точками предполагается, что значения показателя изменяются линейно, т. е. две соседние характерные точки кривой могут быть соединены отрезками прямой линии.

Если есть достаточно веские основания для того, чтобы определить нелинейные изменения значений показателя на участках кривой между соседними характерными точками, имеет смысл от дискретных экспертных кривых перейти к экспертным кривым.

При построении экспертных кривых отрезки прямых линий могут быть заменены отрезками нелинейных кривых либо кривых, построенных непосредственно экспертами.

Заметим, однако, что далеко не всегда мы располагаем информацией, позволяющей надежно судить о поведении кривой на участках между характерными точками.

К тому же обработка результатов экспертных оценок, и в частности определение результирующей коллективной экспертной оценки, более надежна для дискретных экспертных кривых.

Использование экспертных кривых позволяет более наглядно и надежно представить различные сценарии развития ситуации, что часто бывает необходимым при разработке прогнозов.

В качестве примера дискретной экспертной кривой приведем экспертную кривую ожидаемого изменения темпов инфляции в период с октября 1995 по март 1996 г., разработанную экспертами в июне 1995 г. (рис. 6.4).

Месяц

Рис. 6.4. Экспертная кривая ожидаемого изменения темпов инфляции

Экспертные кривые могут эффективно использоваться как при анализе ситуации принятия решения, так и непосредственно при выработке и принятии управленческих решений.

Литература Литвак Б. Г. Экспертная информация: Методы получения и анализа. М.. Радио и связь, 1982. Литвак Б. Г. Экспертные оценки и принятие решений. М.: Патент, 1996. Кини Р. Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М.. Радио и связь, 1981. Петровский А. М., Панкова Л. А., Шнейдерман М В. Организация экспертных процедур. М.: Наука, 1984.

Контрольные вопросы Какова роль оценивания при выработке и принятии управленческих решений9 Что такое многокритериальная оценка9 Что такое скалярный и векторный критерии? Приведите пример дерева критериев Назовите свойства, которым должна удовлетворять система критериев. Охарактеризуйте метод “стоимость — эффективность”. Чем отличается метод “затраты — прибыль” от метода “стоимость — эффективность"? Что может составлять обобщенную “прибыль” в методе “затраты — прибыль”9 Как определить наиболее предпочтительный альтернативный вариант решения при использовании метода “стоимость — эффективность”9 Какие альтернативные варианты решений образуют множество Парето9 Как определить наиболее предпочтительный альтернативный вариант решения при использовании метода “затраты — прибыль’’9 Что такое оценочная система и каков ее состав9 Приведите пример оценочной системы Как формируется набор критериев оценочной системы9 Какие методы формирования перечня критериев вы знаете9 Как определяется сравнительная важность критериев оценочной системы9 Что такое обобщенный критерий9 Всегда ли можно определить наиболее предпочтительный вариант, используя множество Парето9 Что такое лексикографический выбор9 Можно ли использовать при многокритериальных оценках неоднородные критерии? Как сделать сопоставимыми неоднородные критерии9

22 Как осуществляется выбор с помощью обобщенного критерия? Какие виды шкал вы знаете? Могут ли с помощью шкал осуществляться качественные (неколичественные) измерения?

25. Что такое вербально-числовая шкала9

26 Приведите пример вербально-числовой шкалы Как формируются вербально-числовые шкалы? Охарактеризуйте методы получения количественных экспертных оценок. Какие методы получения количественных экспертных оценок вы знаете? Охарактеризуйте методы получения качественных (неколичественных) экспертных оценок Что такое метод парных сравнений? Как используется метод векторов предпочтений при определении наиболее предпочтительного альтернативного варианта управленческого решения?

33 Где используются экспертные кривые?