4.2.3. Экспертные оценки как индикаторы и непосредственные измерители объективных характеристик

Экспертные оценки не обязательно противопоставляются нормальным инструментальным измерениям. Но фактически такое противопоставление существует, так как экспертные оценки рекомендуется использовать именно в тех случаях, когда инструментальные измерения не_ возможны. Четко эта позиция выражена в обстоятельной монографии Е. П. Голубкова: «По нашему мнению, в связи с ограниченными возможностями применения точных математических методов в экономике, отсутствием во многих случаях достаточно полной статистической и другой информации, а также надежных методов определения соответствия экономико-математических моделей реальным объектам, экспертные оценки являются единственным средством решения многих экономических задач» ИЗО, с. 24].

Хотя никто, по-видимому, не описывал область применения экспертных оценок, из анализа литературы можно сделать вывод, что она неограниченна. Это — прогнозирование любых процессов и событий; построение функций полезности; определение важности (значимости) целей, степени влияния элементов системы (дерева целей и т.

Иногда (и все чаще) экспертные оценки используются, так сказать, скрыто: фактически используются, но без упоминания термина «экспертная оценка» в соответствующей методике. Наиболее характерными примерами такого использования являются: коэффициенты качества во многих версиях систем управления качеством; коэффициенты трудового участия, при аттестации рабочих мест.

Здесь мы не будем рассматривать применение экспертных оценок в прогнозировании, при описании предпочтений и построении функций полезности. Пока ограничимся наблюдаемыми в данный момент времени переменными, описывающими объективные характеристики.

193

13 р. л. Раяцкас, М. К. Плакунов

Существуют различные процедуры получения экспертных оценок (см., например, [62], [127], [269], [407], [425] и др.). В наши задачи не входит их подробный разбор; для наших целей достаточно выделить следующие элементы этих процедур: 1) оценка одного эксперта — высказывание типа «х = а», «х>а», «х < у» и т. д.; 2) обобщение оценок отдельных экспертов:

а = /(ах> . . ., аи . . ап), (4.20)

Л /Ч

где at — оценка і-то эксперта, ап — обобщенная оценка всей группы из п экспертов.

В некоторых методиках получения экспертных оценок предусматривается оценивание в несколько этапов, т. е. эксперты могут изменить свою оценку, получив некоторую дополнительную информацию (например, о результатах оценивания на предыдущем шаге).

а = /(«!, . . ., аП1 Ъъ . . ., Ъп), (4.21)

где bt — вес і-го эксперта, причем функция / такова, что

да! да і > 0, fa/dbt > 0. (4.22)

На практике (4.21) обычно специфицируется как средневзвешенная арифметическая оценок экспертов

2їд

<423)

г

Часто обоснование применения именно (4.22), а не другой какой-нибудь функции вида (4.21), удовлетворяющей условиям (4.22), отсутствует. Совершенно неясно, почему бы не вычислять обобщенную оценку по формуле

а = Л Ъ{ выбраны так, что 2 ^г =

или

а =

которая при р = —1 переходит в (4.23); параметр |3 характеризует компенсацию различных мнений экспертов. В теории статистической обработки наблюдений формула, обобщающая отдельные наблюдения, строится исходя из предположений о распределении случайных ошибок наблюдения в (4.4). Статистическая методология постепенно распространяется и на обработку оценок экспертов, особенно на методы получения ранжировок (см.: [166], [407], [432]). В частности, агрегирование оценок общего вида (включая ранжировки) получается в результате обобщения таких понятий, как среднее, математическое ожидание и т. п. Как известно, среднее арифметическое чисел хп — это результат решения задачи

2(^-a)2^min, (4.24)

г

а математическое ожидание случайной величины ц — решение задачи

М(ц - а)2 ->? шіп. (4.25)

Среднее и математическое ожидание в произвольных пространствах (например, в пространстве ранжировок) можно ввести по аналогии с (4.24) и (4.25). А именно: пусть X — произвольное пространство, а є X; г\ — случайная величина, принимающая значения в X. Математическим ожиданием т| относительно функции g( .,•) (&0ъ а) — заранее определенная непрерывная функция, заданная на X2) будет решение задачи (если оно существует)

Mg(Y\, а) ->- min* (4.26)

Как показал А.

(4.27)

і

13*

195 Решение этой задачи также существует, если X — бикомпакт [503]. Вещественная прямая — неограниченное множество, поэтому для включения классических определений (4.24) и (4.26) в общую схему (4.26) и (4.27) требуется наложить некоторые ограничения на #(-, •) и сделать предположение о локальной бикомпактности X. В действительности эти гипотезы неограничительны. Так, достаточно предположить, чтоg(-7 •) — метрика и Mg{і], а0) существует при некотором а0 є Х([329], [432]). Этот подход не устраняет произвола в выборе функции агрегирования оценок экспертов (4.20), но по крайней мере выявляет его и делает в некоторой степени контролируемым и скрывает пути для распространения стандартных методов математической статистики. Так, если X — вещественная прямая, а

?0Ъ о) = In -

решением задачи (4.26) будет медиана, а решением задачи (4.27) — выборочная медиана; если

g(\l а) = (г) — а)2у

то решениями этих задач будут математическое ожидание и выборочное среднее соответственно. Если X — пространство ранжировок, a g(\\, а) — расстояние Кемени [208] между ранжировками 24, то решением задачи (4.27) будет медиана Кемени [432].

В распространении методов математической статистики на задачи анализ нечисловой информации (методы парных сравнений [166], 1329] и др., многомерное шкалирование [210], [329], [407], [432] и др. и т. д.) достигнут определенный прогресс. Но здесь есть один существенный момент: специфика получения исходных данных несущественна; исходные данные могут быть «получены либо непосредственно измерением, либо экспертным путем, либо путем вычисления по совокупности описательных характеристик, либо как-то иначе» [432, с. 58]. С нашей точки зрения, именно это обстоятельство и придает ценность указанным выше работам вне зависимости от их использования или неиспользования в реальных процедурах экспертиз.

Что же касается реальных процедур экспертизы, то они часто строятся без излишних хитростей. Особенпо непринужденно авторы некоторых таких процедур обращаются с числами. Например: «Чтобы придать вопросам анкет более конкретный характер, мы рекомендуем оценке коэффициентов относительной важности по каждому оценочному критерию пользоваться таблицей значимости оцениваемого элемента для реализации элементов более высокого уровня» [130, с. 79—80]. И приводится рекомендуемая таблица значимости (табл. 4.1).

Таблица 4.1. Пример приписывания числовых значений коэффициентам относительной важности * Слогесная формулировка значения коэффипгеита относительной важшсти (возможный отсет сь'сперта) Численное значение относительной важности 1. «Совсем не влияет на достижение цели» 0 2. «Нужен, но не обязателен» 0,25 3. «Реализация данного элемента существенно способствует достижению ... целя (влияет)» 0,5 4. «Неосуществление ... во многом препятству ет достижению цели (влияет достаточно силь но)» 0,75 5. «Необходим» 1,0 * [130, с 79] Другой пример. Во «Временных межотраслевых рекомендациях по аттестации рабочих мест в промышленности», в п. 6.2, читаем: «В зависимости от степени соответствия рабочего места прогрессивным решениям (нормативным требованиям) по каждому из критериев устанавливаются следующие оценки (коэффициенты): —

соответствует нормативному уровню — «1,0»; —

не соответствует, но может быть доведено до нормативного уровня — «0,5»; —

не соответствует и не может быть доведено до нормативного уровня — «0» [27, вкладыш, с. 4].

Ясно, что значения переменных в этих примерах («относительная важность элемента» — в первом, «соответствие нормативному уровню» — во втором) оцениваются в порядковой шкале, т. е. с точностью до произвольного монотонного преобразования. Следовательно, обращаться с этими переменными, как с количественными, недопустимо. Вычисления средних арифметических, различных «суммарных коэффициентов относительной важности» и т. п. не имеют никакого смысла, так как их результаты не адекватны (см. главу вторую). Рассмотрим, например, определение «коэффициентов относительной важности элементов I уровня дерева целей с учетом их взаимной

полезности [130, с. 87]. Приводится формула

K)s = Kjs-Kl n js, (4.28)

где ii^js — коэффициент относительной важности с учетом взаимной полезности; Kjs — суммарный коэффициент относительной важности /-го элемента по всем критериям для 5-го эксперта; К\ njs — коэффициент взаимной полезности /-го элемента для всех остальных элементов I уровня, по мнению эксперта s (по-видимому, так — см. [130, с. 84]).

Числа 0; 0,25; 0,5; 0,75; 1,0 в табл. 5.1 (табл. 3 на с. 79 в [130]) произвольны с точностью до порядка. Действительно вряд ли кто-нибудь станет утверждать, что элемент «влияющий на достижение цели» ровно в 2 раза важнее элемента «слабо влияющего на достижение цели» и ровно в 2 раза менее важен, чем «необходимый для достижения цели элемент». Эти числа можно заменить любыми другими, но так, чтобы порядок сохранился: допустимым здесь является монотонновозрастающее преобразование ф(я), такое, что если хх > х2, то > ц(х2). Сторонники неограниченного применения экспертиз почему-то любят работать с 0—1 шкалой. Ограниченность множества допустимых значений переменной целесообразно, конечно, доказывать. Но не будем требовать слишком много и введем соответствующие ограничения на х и ср(х):

0 < .z < 1, ср(0) = 0, ф(1) = 1. (4.29)

Подвергнем теперь (4.28) допустимому преобразованию. В общем случае, даже при ограничениях (4.29) на ф(-) имеем

Ф {Kjs) • ф (^ь n.js

если ф(^) ф х, т. е. если переменные в (4.28) не измерены в количественной шкале, то выражение (4.28) (и другие такого же вида) неадекватно — бессмысленно.

Разбирая возражения против применения экспертных оценок, Е. И. Киссель приводит такой контраргумент общего характера 25: «Нередко смешиваются понятия: опираясь на несовершенство практических методик количественного измерения оценок, критикуют принцип» [213, с. 125].

Мы здесь разбираем именно принцип — использование экспертных оценок как оценок значений переменных, описывающих объективные характеристики. Приведенные примеры неадекватного использования оценок типичны. Сплошь и рядом, особенно в литературе по так называемому системному анализу, с переменными, измеренными в порядковой шкале, обращаются как с переменными, измеренными в количественной шкале. Вот еще один типичный пример: «...Если применительно к исследуемой системе финансовые затраты, время и безопасность по важности занимают соответственно первое, второе и третье места, то можно было бы принять, что w1lw2 = 1,5 и w2/w3 = 1,2, где wx, w2 и w3 — соответственно весовые множители для показателей затрат, времени и безопасности. Эти множители могут быть вычислены, если к принятым соотношениям добавить условие нормировки = Тогда получим wx = 0,45, w2 = 0,30 и w3 =

і

= 0,25» [367, с. 50]. И сложнейшая проблема построения целевой функции решена: «Целевую функцию F можно, например, представить в виде

F = WU = 2 WW,

г=1

где ut — оценки полезности, связанные соответственно со всей системой и с і-ш показателем, w% — постоянные весовые множители» [367, с. 50].

Конечно, можно принять wx — 0,45, а можно и wi = = 0,95 или wl = 0,05; можно, наконец, сначала придумать решение задачи, а потом подобрать соответствующие «обосновывающие» это решение весовые множители. Возникает настоятельная потребность в установлении какого-то предела для всех этих возможностей. Встает ряд вопросов, на которые необходимо иметь ответы, прежде чем к результатам любой экспертизы, независимо от конкретного способа получения ответов от экспертов, можно было бы относиться всерьез.

1. Проверяемы ли ответы экспертов инструментальными наблюдениями?

Если да, то почему используются экспертные оценки, а не инструментальные измерения? Вернемся к примеру с аттестацией рабочих мест [27]. Вербальные ответы экспертов здесь, по-видимому, проверяемы: реально ли довести рабочее место до нормативного уровня. Для этого целе- сообразно провести соответствующие инженерные изыскания, возможно, экспериментальную проверку и т. д. Если такая работа на предприятии не велась постоянно, то в разовом порядке выполнить ее сложно и дорого. Дешевле создать из цеховых работников экспертные группы и провести экспертизу. Но надо сказать, что такая экономия обычно стоит дорого.

Если же ответ на первый вопрос отрицательный, то последующие вопросы становятся более острыми. 2.

Существует ли объект измерения — экспертной оценки? Почему некоторая группа экспертов не сумеет определить численность населения и национальный доход Атлантиды?

Существование объекта измерения — переменной — надо доказывать. То, что эксперты дают какие-то ответы, не является доказательством существования переменной. Интеллект — это не то, что оценивается тестами на коэффициент интеллектуальности; и при этой оценке люди не отвечают на вопрос, чему равен ваш коэффициент интеллектуальности (КИ), а выполняют определенные местом задания (проблема валидизации тестов довольно сложна, см., например, [236], [258], [408]). 3.

Понимает ли эксперт, о чем его спрашивают? Так, в работе по системно-психологической оценке руководящих кадров [229] отмечается, что «при оценке абстрактного авторитета излишне объяснять подчиненным, чем он отличается от функционального. Давая экспертную оценку, они будут квантифицировать свое целостное не- конкретизированное восприятие характера взаимоотношений со своим руководителем, то есть будут оценивать как раз абстрактный авторитет» [229, с. 104]. Что это значит? Что при хорошем отношении подчиненных к руководителю, он получит высокие баллы, а при плохом — низкие? Что же здесь измеряется — качества руководителя или отношение конкретных людей к этим качествам? Или это одно и то же? Можно ли описать «авторитет руководителя» одной переменной и т. д. Здесь опять уместно сравнение с тестами на КИ. Люди, отвечающие на вопросы теста, могут ничего не знать о КИ, об определениях интеллекта и т. д. Но они должны понимать вопросы, иначе тестирование невозможно.

Допустим, что эксперту попался вопрос о значении функции принадлежности: какова степень принадлежности Джона к классу высоких мужчин? [475, с. 174]. Дан ответ: 0,7. Что это значит? Способ получения терми- нов «расплывчатое множество», «функция принадлежности» довольно прост. Характеристической функцией %(.А) множества А а X называется функция, определенная на X и принимающая два значения:

%(а) — 1, если а е А,

%(а) = 0, если а ф А.

Теперь определим на X функцию fx, удовлетворяющую следующим условиям:

О < іі(Х)

Далее, сопоставим этой функции множество A cz X следующим образом:

А = {X\\l(X) > 0}.

Множество А назовем носителем расплывчатого множества, пару (А, fx(.z), х є X) — расплывчатым множеством, а функцию — функцией принадлежности. Математически объект «расплывчатое множество» введен корректно и вполне определен. Можно определить операции над этими множествами, доказывать разные более или менее интересные теоремы (см.: [39], [172], [173], и литература на эту тему растет). Если в практических приложениях fx(.z) элиминируется, то все в порядке. Если же нет, то fx(.z) — функцию принадлежности надо как-то интерпретировать. Для геометра неважно, что такое точки, прямые, плоскости и т. п. Но геометру показалось бы диким решать с помощью экспертных оценок вопрос, сколько параллельных данной прямой прямых можно провести через заданную точку. Почему же вопрос о степени принадлежности некого Джона классу высоких мужчин диким не кажется? Здесь может быть приведено следующее контрвозражение: в конце концов эксперты дают ответы на вопросы. Но тогда возникает следующий вопрос.

4. Как можно объяснить поведение экспертов? Объяснение, которое принимается как непреложное сторонниками неограниченного использования экспертных оценок таково: объект экспертизы существует, квалифицированный эксперт понимает, о чем идет речь, и в состоянии дать ответы на вопросы анкеты; неквалифицированный эксперт не понимает сути проблемы и поэтому либо не дает ответов на вопросы (отказывается от участия в экспертизе), либо дает плохие ответы. Согласно этой точке зрения основная проблема — подбор квалифицированных экспертов.

Такое объяснение, даже если в ряде случаев оно верно, дает возможность оказывать давление на кандидатов в эксперты и на экспертов. Отказ от участия в экспертизе в соответствии с этим объяснением интерпретируется как низкая квалификация. Поэтому наряду с «каноническим» объяснением поведения эксперта можно дать и альтернативные: объект экспертизы не существует и/или эксперт не понимает вопросов анкеты, но дает на них ответы, опасаясь обвинений в некомпетентности, низкой квалификации, недисциплинированности, а также вследствие того, что участие в экспертизе престижно, потому что оно не требует больших усилий и затрат. Утверждать априори, что верно «каноническое» объяснение или, наоборот, верно неканоническое объяснение, нельзя. Но можно привести примеры поведения экспертов, где заведомо верным является неканоническое объяснение.

Г. Райфа приводит пример экспертной оценки вероятности того, что врачи пьют больше шотландского виски, чем американского [371]. Нас не должна смущать некоторая легкомысленность этого примера. Событие может быть в конце концов любым, существенным здесь является то, что эксперта просят оценить его вероятность. Ряд психологических исследований показал, что люди плохо справляются с оценкой вероятностей [219], [241], [242], [501]. В примере Г. Райфы эксперт тоже признается, что понятия не имеет, как следует правильно ответить на вопрос. Но тогда 0—1 интервал делится на две части и эксперта просят ответить, в какой из этих частей находится искомое число. После некоторых колебаний эксперт выбирает одну из частей отрезка. Ее опять делят на две части и процедура повторяется. В результате получается последовательность вложенных отрезков все меньшей и меньшей длины, пересечение этих отрезков дает искомую вероятность. Здесь важно отметить, что Г. Райфа иллюстрирует общий метод получения экспертных оценок, который работает независимо от содержания вопросов, объекта оценивания и, что важно, независимо от существования объекта оценивания. Самое главное — это побудить эксперта указывать на один из отрезков на каждом этапе разбиения области возможных значений переменной.

Приведенный Г. Райфой пример характерен не только тем, что из эксперта извлекается информация о вещах ему неизвестных, но и тем, что эксперт, как это видно из текста Г. Райфы, не может интерпретировать вопрос — он не знает3 что означает термин «вероятность». При этом совершенно неясно, придает ли эксперт какое-то значение этому термину, и если придает, то какое. Есть, как известно, несколько различных интерпретаций вероятности, и в соответствии с некоторыми из них вопрос, на который отвечает эксперт у Г. Райфы, вообще не имеет смысла. В то же время какие-то элементарные знания по теории вероятностей считаются элементом культуры, и, возможно, эксперту просто неловко сознаться в том, что он не понимает вопросов, на которые дает ответ.

Давление на эксперта, побуждающее его давать ответы на вопросы, которые он не понимает, в том числе на вопросы заведомо бессмысленные,— это не академическая проблема. Экспертные оценки объективных характеристик рекомендуются к внедрению в практику управления в народном хозяйстве.

5. Что именно оценивает эксперт — характеристики объекта или свое состояние, свои ощущения? На эту проблему обратил внимание А. А. Ивин: «...Допустим, что в оценке ,,это яблоко хорошее" яблоко оценивается со стороны его вкуса. Мыслимы два ответа на вопрос о том, чему именно приписывается в этом случае положительная ценность. С одной стороны, можно утверждать, что она приписывается самому яблоку или определенной совокупности его свойств, делающей это яблоко вкусным. Можно добавить, с другой стороны, что оценивается в данном случае в первую очередь вкус этого яблока, т. е. те ощущения, которые оно вызывает у нас, а уже затем само яблоко или отдельные его свойства» [178, с. 22]. Утверждения об ощущениях можно проверить только в результате инструментальных измерений. Именно здесь проходит граница между психофизическими измерениями и экспертными оценками «важности», «значимости», компетентности, вероятности, степени принадлежности к множеству и т. п. Когда Г. Фехнер, проверяя закон Вебера, сравнивал веса двух сосудов, истинный результат был известен. Закон Вебера описывает зависимость между ощутимым приращением сигнала AS (значение AS, которое обнаруживается с вероятностью = 1/2) и величиной этого сигнала S:

AS = const -S.

Величина сигнала (шума, веса и т. п.) представлена в количественной шкале и измеряется инструментально. Закон Вебера сформулирован в наблюдаемых терминах: он проверяем и, как выяснилось, справедлив только в ограниченной области изменения сигнала [170, [245], [359]. Испытуемый в этом случае (как и в случае с измерением КИ) не является экспертом, он только сообщает экспериментатору о своих ощущениях. Поэтому ссылки на работы по психофизике (и на работы по теории психофизических шкал), на работу дегустаторов, на определение температуры пламени по его цвету при обосновании экспертных оценок объективных характеристик неправомерны 26.

В тех же случаях, когда инструментальные измерения невозможны, отличить утверждения о внутреннем состоянии эксперта от утверждения о внешнем объекте нельзя. Таким образом, мы приходим к следующему вопросу.

6. Как проверить справедливость результатов экспертизы? Д. Кэмпбелл, анализируя проблемы оценивания программ, считает, что «групповое мнение, если существует полное согласие,— это упрямый факт» [236, с. 270]. Правда, Д. Кэмпбелл имеет в виду оценку мнения группы людей, но и в случае экспертного оценивания объективных характеристик совпадение мнений экспертов, если оно наблюдается, нельзя игнорировать.

«Каноническая» интерпретация совпадения (или близости) оценок различных экспертов такова: близость оценок — это свидетельство того, что эксперты оценивают значение одной и той же величины и делают это правильно. Иначе говоря, справедливость результатов экспертизы подтверждается близостью оценок экспертов.

Рассмотрим неканонические альтернативы. Каноническая интерпретация нзприемлема, если оценки экспертов не являются независимыми. Единогласие может быть следствием влияния авторитета, давления на экспертов, результатом методики. Так, в методике «Дельфи» эксперты могут пересматривать свои оценки, причем в некоторых версиях этой методики они должны объяснять, почему их оценки сильно отличаются от средних, а это — стимул к выравниванию оценок. В результате множество оценок на поверку оказывается одной, наиболее «авторитетной», либо следствием соглашения. Основы для различения этой ситуации от канонической интерпретации нет, и, следовательно, согласие экспертов в случае зависимых оценок не дает ответа на вопрос о проверке справедливости результатов экспертизы.

Допустим, что оценки независимы. Это, в частности, значит, что они анонимны и нет так называемой регулируемой обратной связи, как в методе «Дельфи». (На отрицательные эффекты обратной связи в процедурах экспертизы при решении «задач уникального выбора» указывает и О. И. Ларичев [241, с. 122].) Совпадение оценок можно и в этом случае объяснить неканонически. Это совпадение может быть случайным. Обозначим возможные ответы экспертов на вопрос числами 7, ..., і, ..., т. Пусть имеется п экспертов: Эи ..., ..., Эп. Будем обозначать событие: «эксперт 9j дал ответ і» следующим образом: {9j = і}. Вероятность Р того, что все эксперты дадут один и тот же ответ равна

т п

р= = О-

i=l j=l

Если эксперты выбирают свои ответы случайным образом, то

Prob{9j = Ї) = 1 !т для всех і и /.

Следовательно,

Р = т1-71.

Если вопросов два и экспертов два, то вероятность полного совпадения равна і'2\ но в общем эта вероятность быстро стремится к нулю при росте числа вопросов и экспертов. Распределение экспертов по вопросам, если ответы случайны и равновероятны, описывается полиномиальным распределением, что дает возможность по фактическому распределению проверить нулевую гипотезу о случайности совпадения ответов.

Допустим, что нулевая гипотеза отклоняется. Это не служит основанием для принятия канонического объяснения, так как не все возможные объяснения исчерпаны. Согласованность оценок может быть результатом неконтролируемого (и не поощряемого, как в методике «Дельфи») сговора. Эксперты могут вычислить «правильные» ответы, зная, как будут использованы результаты экспертизы; и тогда если целевые установки экспертов совпадают, то будут совпадать и их ответы. Анонимность, отсутствие контакта между экспертами при проведении экспертизы (что, кстати, трудно осуществить), запрет на пересмотр оценок и т. п. еще не гарантируют независимости оценок. Согласованные отрицательные оценки качеств руководителя подчиненными могут быть результатом обгцзго желания избавиться от него. Возможно, подчиненные правы в своем негативном отношении к руководителю, но какова реальная ценность этих оценок как измерителей объективных характеристик? Оценены не объективные характеристики, а отношение к ним.

Проблема зависимости экспертных оценок от целей экспертов обсуждается в литературе по экспертным оценкам. Так, Р. Пэнтл пишет по этому поводу: «Оценки эксперта зависят от его пристрастности. Например, человек, связанный с табачной кампанией, будет склонен не принимать во внимание мнение врачей о вреде курения. Аналогично значимость мнения эксперта по транспорту снижается до минимума, если его работодателя интересуют такие действия, которые могли бы привести к созданию заторов транспорта» [367, с. 37]. На эту проблему указывает Е. П. Голубков: «При нахождении оценок экспертным путем, помимо погрешности, вызванной недостатком информации о событиях и недостаточной компетентностью экспертов, возможна и погрешность, обусловленная возможной заинтересованностью экспертов в результатах оценки. Такая погрешность может значительно искажать оценки, и необходимо заранее предусмотреть меры для ее устранения» [130, с. 25]. Ключевыми словами в решении этой проблемы являются компетентность и беспристрастность экспертов. Но, как отмечает О. И. Ларичев, «эти два качества часто противоречивы и поэтому трудно осуществимы» [241, с. 143]. Но эта проблема носит более фундаментальный характер. Если измерение значения переменной строится как экспертная оценка, существуют две модели: первая — традиционная модель измерения вида (4.30)

у = а + е, где а — истинное значение, є — смещение, у — результат измерения,

и вторая, учитывающая заинтересованность эксперта: (4.31)

УіЄїУі^ {?/* I Щ (уг, ...ty*i ... а)>

> max шіп щ (уг, ..., yh ... а)),

Уг Vj*Vi і где Уі — оценка yt є D% і-го эксперта1 щ(.%.) — функция

выигрыша і-го эксперта, зависящая от его экспертной оценки, от экспертных оценок других экспертов и от истинного значения переменной, D — множество допустимых оценок; у і — объявленная экспертом і оценка.

Во второй модели оценки — это стратегии эксперта, которые он выбирает с учетом (если это вообще возможно в конкретном случае оценивания) истинного значения переменной, возможных оценок своих коллег, решений, которые могут быть приняты на основе результатов экспертизы и своего выигрыша.

Если инструментальные измерения возможны, то можно провести серию экспериментов и выяснить на их основе, какой модели поведения придерживается эксперт. Но в тех случаях, когда инструментальные измерения невозможны, отличить модель (4.30) от модели (4.31) невозможно. Это обстоятельство определяет ответ на последний вопрос относительно валидности экспертных оценок объективных характеристик.

7. Как установить точность и надежность экспертных оценок объективных характеристик?

Если инструментальные измерения возможны, то контрольные замеры этими методами позволяют установить точность и надежность ответов экспертов (что, кстати, решает в принципе проблему установления компетентности экспертов). Но если инструментальные измерения невозможны, то экспертные оценки объективных характеристик непроверяемы и, следовательно, неприемлемы. Здесь мы еще раз подчеркиваем, что рассматривали экспертные оценки как измерители значений переменных, описывающих объективные характеристики, а не опросы общественного мнения или экспертизы для построения функций полезностей.