Тема 3 ОЦЕНОЧНЫЕ СИСТЕМЫ

Значительная роль при проведении процедур многокритериального экспертного оценивания принадлежит оценочным системам.

Приведем их описание.

Структура оценочной системы

Оценочная система, используемая при многокритериальном экспертном оценивании, включает такие важные составляющие, как:

перечень критериев, характеризующих объект принятия управленческого решения;

оценка сравнительной важности критериев;

шкала для оценки проектов по критериям;

формирование принципа выбора.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие какой-либо из перечисленных выше составляющих либо недостаточное качество какой-либо из них делают невозможным получение адекватной оценки проекта и как следствие затрудняют процесс выработки и принятия эффективных решений.

Остановимся подробнее на каждой из составляющих оценочной системы.

Формирование перечня критериев

Перечень критериев, характеризующих сравнительную предпочтительность объектов принятия управленческого решения, должен удовлетворять ряду естественных требований.

Как уже говорилось выше, само понятие “критерий” тесно связано с таким понятием, как “цель”. ЛПР привычно рассуждает в терминах стоящих перед ним целей. Например, целью может быть повышение доходности предприятия.

Однако степень достижения цели может быть измерена лишь с помощью специальных критериев. В качестве таких критериев могут быть использованы экономические критерии: поток платежей, прибыль, срок окупаемости, внутренняя норма окупаемости и т. д.

Нередко наряду с критериями чисто экономического характера приходится учитывать и критерии другой природы:

критерии, характеризующие технические возможности продукции, выпуск которой становится осуществимым благодаря реализации проекта;

критерии, характеризующие экологическую безопасность производства;

критерии, характеризующие степень риска при реализации проекта, и т.

Основная цель использования многокритериальной оценки состоит в переходе от таких понятий, как “полезность объекта принятия управленческого решения”, “ценность”, “важность”, которые, как правило, достаточно сложны при практической работе с ними, к более понятным критериям, характеризующим указанные понятия и гораздо более пригодным для оценки экспертами.

Сформулированная ЛПР цель может оказаться неоценива- емой количественно.

Как правило, цель, стоящая перед организацией, или то более общее понятие, которое мы используем для оценки объекта принятия решения, заменяется совокупностью критериев.

К этой совокупности критериев предъявляется ряд требований. Как уже говорилось выше, лишь совокупность критериев, удовлетворяющая необходимым требованиям, может входить в состав оценочной системы.

К числу таких требований относится полнота совокупности критериев, иными словами, совокупность критериев должна всесторонне характеризовать цель. В частности, при выборе проекта должны оцениваться такие критерии, как возможность успешной реализации проекта, полезность проекта и т. д., т. е. должен адекватно характеризоваться объект экспертизы.

Так, например, критерий “срок окупаемости” недостаточно полно характеризует экономическую целесообразность проекта.

Если мы его дополним критерием “прибыль за рассматриваемый период”, картина будет более полной.

А как мы помним, совокупность критериев полна, если по оценкам их значений ЛПР может адекватно судить о степени достижения цели.

При этом формируемая оценочная система должна быть удобной для практического использования и, следовательно, не слишком громоздкой. Поэтому совокупность критериев должна определять основные характеристики объекта экспертизы.

Критерии, используемые при формировании оценочной системы, должны быть измеримыми, т е. должна иметься возможность оценки любого рассматриваемого объекта экспертизы по каждому из критериев.

Отметим, что не все критерии могут допускать объективную оценку, хотя все критерии должны быть измеримыми.

В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, мы говорим о субъективных критериях, имея в виду прежде всего, что для оценки объектов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально-числовых шкал.

Естественно, что такие критерии, как “объем продукции”, “себестоимость производства”, “срок окупаемости”, могут быть отнесены к объективным. В то же время такие критерии, как “гудвилл”, связанный с оценкой интеллектуальной собственности, “имидж фирмы”, “социальная значимость проекта” и другие, могуг быть измерены лишь субъективно.

Отметим в то же время, что многие из объективных критериев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объемы производства продукции, которые станут возможными после реализации проекта, ожидаемая цена единицы продукции и др. часто во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Но первым шагом в процессе экспертного оценивания является формирование адекватной оценочной системы.

Мы обсудили некоторые требования, предъявляемые к совокупности критериев, включаемых в состав оценочной системы.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную процедуру. Эго могут быть 2—3-туровые экспертизы, когда предварительно сформулированный перечень критериев уточняется экспертами [2|.

При формировании совокупности критериев должно быть обращено внимание на такие моменты, как четкое понимание смысла каждого из критериев ЛПР и экспертами.

Иногда целесообразно агрегирование критериев. Этим может быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и общее уменьшение количества критериев, что важно для снижения трудоемкости работы с оценочной системой.

К этой проблеме, нередко возникающей при формировании оценочной системы, примыкает и проблема формирования иерархически упорядоченной совокупности критериев.

Конечно, структурирование целей и критериев можно продолжать, формируя все новые и новые более низкие иерархические уровни, соответствующие большей степени детализации целей и критериев.

Однако и здесь следует помнить, что в конечном счете формируемая оценочная система лишь удобный инструментарий, позволяющий осуществлять оценку полезности объектов по многим критериям.

Поэтому чрезмерная детализация может привести к противоположному результату — усложнить процесс оценки, что, в свою очередь, не способствует получению адекватной оценки объекта.

Во многих случаях целесообразным при определении состава критериев является использование наряду с методами экспертного оценивания методов, соединяющих возможности экспертного оценивания и формализованные математико-статистические подходы.

К числу таких математико-статистических подходов могут быть отнесены факторный и корреляционный анализы.

Дополнительные возможности при определении состава критериев, предназначенных для оценки объектов, возникают при эффективном сочетании методов экспертного оценивания и многомерного неметрического либо метрического шкалирования.

Завершать процедуру формирования перечня критериев должен содержательный анализ полученной совокупности критериев, предназначенных для формирования оценочной системы объектов, представляемых на экспертизу.