Субъективность и пристрастие

Субъективность проникает в оценки в форме оптимизма, в форме сознательного пристрастия и в форме бессознательного пристрастия. Я различаю пристрастие в оценке, предполагающее намерение сместить оценку в том или ином направлении, и субъективность, то есть простое признание того факта, что на человеческие суждения оказывает влияние житейский опыт (как сознательно, так и бессознательно).

Что касается пристрастия, когда клиенты и руководство обнаруживают, что оценка не соответствует деловой цели, иногда они пытаются оказать больше давления на оценку, на проект и на группу. Избыточное давление, направленное на сокращение сроков работ, встречается в 75-100 %. крупных проектов (Jones 1994).

Что касается субъективности, при рассмотрении различных методик оценки мы от природы склонны полагать: чем больше у нас «регуляторов», то есть мест для подгонки оценки под наш конкретный проект, тем точнее будет оценка.

В действительности все наоборот. Чем больше «регуляторов» у оценки, тем больше возможностей‘для проникновения субъективности. Проблема даже не в том, что оценщики намеренно смещают свои оценки. Скорее, каждый субъективный фактор слегка размывает оценку в ту или иную сторону. Если методика оценки основана на большом количестве субъективных входных факторов, их суммарное воздействие может быть весьма значительным.

Я встречал один из примеров такого рода, когда учил несколько сотен специалистов использовать модель оценки Cocomo II. Модель включает 17 множителей и 5 масштабных коэффициентов. Чтобы создать оценку Cocomo И, оценщик должен решить, какая регулировка необходима для каждого из этих 22 факторов. Факторы определяют квалификацию группы (выше или ниже среднего), относительную сложность программы (выше или ниже средней) и т. д. Теоретически эти 22 «регулятора» должны обеспечивать тонкую подстройку практически любой оценки.

Похоже, на практике они лишь открывают 22 пути для проникновения ошибок в оценку.

На рис. 4.6 показаны диапазоны результатов примерно 100 групп оценщиков, определявших 17 множителей Cocomo II для одной и той же проблемы оценки.

Нижний край каждой полосы представляет самую низкую, а верхний край — верхнюю оценку группы в сеансе. Общая высота полосы соответствует изменчивости оценок.

г ]

j . U

1 1 1 1 г

1 1 ] 1 Гг" ' 1 1 1 1 1 1

/>(3) (3) (4) (4) (4) (5) (5) (5) (6) (6) (6) (6) (6) (7) (8) (8) (9) (10) Сеанс оценки (количество групп)

Рис. 4.6. Пример неоднозначности оценок при наличии многочисленных регулирующих факторов. Чем больше регулирующих факторов предоставляет метод оценки, тем больше возможностей для проникновения в оценку субъективности

Если бы методика оценки давала последовательный результат, мы бы увидели тесную группировку результатов вдоль горизонтальной синей линии (средняя оценка). Но как видите, разброс между оценками огромен. Наибольшая оценка превышала наименьшую в 4 раза! Среднее отклонение верхней группы от нижней в рамках одного сеанса было равно 1,7.

Важная особенность данных этого конкретного примера заключается в том, что они были освобождены от внешних смещений. Все происходило на учебном семинаре, в котором первоочередное внимание уделялось точности. Единственным смещением, влиявшим на оценки, было пристрастие, изначально присущее оценщикам. Вероятно, в реальной ситуации разброс был бы еще больше из-за возрастания внешних факторов, влияющих на оценки.

Напротив, на рис. 4.7 показан диапазон результатов оценки для методики, включающей единственную возможность введения субъективного мнения в оценку, то есть обладающей одним «регулятором» (в данном случае этот регулятор никак не связан с множителями модели Cocomo II).

Вывод «больше регулирующих факторов — не значит лучше» выходит за рамки оценки программных проектов. По выражению эксперта по прогнозированию Дж. Скотта Армстронга (J. Scott Armstrong), «один из самых неизменных и полезных выводов из исследований в области прогнозирования состоит в том, что простые методы в общем случае не уступают в точности сложным методам» (Armstrong 2001). Зак. 893

Рис. 4.7. Пример низкого разброса в оценках, обусловленного малым количеством регулирующих факторов. Масштабы двух графиков различны, однако графики можно сравнивать напрямую с учетом различий в средних значениях

Избегайте включения «регуляторов» в свои оценки. Хотя может показаться, будто регуляторы улучшают точность, на самом деле они вводят в оценку субъективность и снижают реальную точность.

Субъективность и пристрастие

Еще по теме Субъективность и пристрастие: