Структурированные экспертные суждения

Индивидуальные экспертные оценки не обязаны быть неформальными или интуитивными. Исследователи обнаружили значительные расхождения в точности между «интуитивными экспертными суждениями», которые обычно оказывались неточными (Lederer and Prasad 1992), и «структурированными экспертными суждениями».

Кто создает оценки?

Для конкретных задач — таких, как время, необходимое на программирование и откладку некоторой функции, или создание набора тестовых сценариев — наиболее точные оценки создают люди, непосредственно выполняющие эту работу. Оценки людей, не связанных с работой, оказываются менее точными (Lederer and Prasad 1992). Кроме того, сторонние оценщики в большей степени склонны к недооценкам, чем связанные с разработкой (Lederer and Prasad 1992).

СОВЕТ №43

Оценки уровня задач следует поручать людям, непосредственно занимающимся выполнением соответствующей работы.

Приведенный совет относится именно к оценкам уровня задач. Если ваш проект все еще находится в широкой части конуса неопределенности (то есть конкретные задачи еще не были идентифицированы или назначены исполнителям), оценка должна создаваться опытным оценщиком или самыми опытными разработчиками, специалистами по контролю качества и документированию из имеющегося персонала.

Г ранулярность

Одним из лучших способов повышения точности оценок уровня задач является разбиение крупной задачи на несколько меньших. При создании оценок разработчики, руководители и специалисты по тестированию обычно сосредоточиваются на хорошо понятных им задачах и пренебрегают задачами, которые им незнакомы. Типичный результат — однострочная запись в графике (скажем, «преобразование данных»), на выполнение которой должно было уйти две недели, занимает два месяца, потому что никто не удосужился выяснить, что именно необходимо сделать.

Оценки, составляемые на уровне задач, следует разбивать на задачи, на выполнение которых потребуется не более двух дней работы. Более крупные задачи содержат слишком много «подводных камней», требующих непредвиденной работы. Желательно, чтобы гранулярность полученных оценок составляла 1/4, 1/2 или полный день.

Диапазоны

Если попросить разработчика оценить некий набор функций, он обычно выдает набор чисел — вроде того, который приведен в табл. 9.1.

Таблица 9.1. Пример точечных оценок, выданных разработчиком Функция              Оценка              времени              реализации              (в              днях)

Если затем попросить того же разработчика выдать те же оценки для лучшего и худшего случая, разработчик обычно выдает другой набор чисел, наподобие приведенного в табл. 9.2.

Если сравнить исходные точечные оценки с оценками для лучшего и худшего случая, мы видим, что сумма 11,25 для точечных оценок гораздо ближе к оценке лучшего случая (10,5), чем к оценке худшего случая (18,25).

Взглянув на оценки функции 4, также можно заметить, что обе оценки выше исходной точечной оценки. В ходе анализа худшего случая иногда выявляется дополнительная работа, которая должна быть выполнена даже в лучшем случае, а это приводит к повышению номинальной оценки. Обычно при анализе худших случаев я спрашиваю разработчиков, сколько времени займет выполнение задачи, если все пойдет неправильно.

Если вы руководите проектом, поручите своим разработчикам создать набор точечных оценок. Скройте от них результаты и предложите создать набор оценок для лучших или худших случаев. Сравните полученные оценки с исходными точечными — результат часто оказывается неожиданным.

Это упражнение полезно по двум причинам. Во-первых, оно помогает понять, что точечные оценки ближе к оценкам для лучшего случая. Во-вторых, после многократной формулировки оценок в вашем сознании начнет формироваться привычка к анализу худшего из возможных случаев. Если вы привыкнете рассматривать как лучший, так и худший результат, вы постепенно начнете включать весь диапазон возможных результатов в точечные оценки задач независимо от того, были реально сформулированы оценки для лучшего и худшего случаев или нет.

СОВЕТ № 44

Создание оценок для лучшего и худшего случаев стимулирует мышление и помогает учесть весь возможный диапазон возможных результатов.

Формулы

Создание оценок для лучшего и худшего случаев — всего лишь первый шаг. Вы по-прежнему стоите перед вопросом, какую из оценок использовать. А может, вычислить среднее арифметическое? В действительности оба варианта не годятся. Во многих случаях худший случай намного хуже того, что можно называть «ожидаемым случаем». Вычисление середин по диапазонам приведет к нежелательному смещению оценки.

Методика PERT (Program Evaluation and Review Technique) предназначена для вычисления ожидаемого случая, который может и не находиться в средней точке диапазона между лучшим и худшим случаями (Putnam and Myers 199, Stutzke 2005). Для использования PERT в набор случаев включается дополнительный «наиболее вероятный» случай, который оценивается посредством экспертного суждения. Затем ожидаемый случай вычисляется по формуле:

ФОРМУЛА № 1

Ожидаемый случай = [ЛучшийСлучай + (4 х НаиболееВероятныйСлучай) + ХудшийСлучай]/6.

Формула учитывает как полную длину диапазона, так и позицию наиболее вероятного случая внутри диапазона. В табл. 9.3 показаны оценки из табл. 9.2 с добавлением наиболее вероятного и ожидаемого случаев. Как видно из таблицы, общая оценка 13,62 ближе к нижнему концу диапазона, чем среднее значение 14,4.

Таблица 9.3. Пример индивидуальной оценки с лучшим, худшим и наиболее вероятным случаями

Оценка времени реализации (в днях)

Функция              Лучший              Наиболее              вероятный              Худший              Ожидаемый

случай              случай              случай              случай

Как обсуждалось в главе 4, «наиболее вероятные» оценки склонны к излишнему оптимизму, что может привести к оптимистическому завышению общих оценок при использовании этого подхода. Некоторые эксперты в области оценки рекомендуют изменить базовую формулу PERT, чтобы учесть смещение в оценке (Stutzke 2005). Измененная формула выглядит так:

ФОРМУЛА № 2

Ожидаемый случай = [ЛучшийСлучай + (3 х НаиболееВероятныйСлучай) + (2 х ХудшийСлучай)]/6.

Это разумное решение проблемы для краткосрочной перспективы. Долгосрочное решение проблемы — работа с людьми, направленная на повышение точности их оценок наиболее вероятного случая.

Контрольные списки

Даже эксперты иногда забывают учесть все необходимые факторы. При изучении прогнозирования в различных дисциплинах выяснилось, что простые контрольные списки способствуют повышению точности и напоминают о тех факторах, о которых эксперт мог бы забыть (Park 1996, Harvey 2001, Jorgensen 2002). В табл. 9.4 представлен контрольный список, который можно было бы использовать для повышения точности оценок.

Таблица 9.4. Контрольный список для индивидуальной оценки Насколько четко определен оцениваемый показатель? Включает ли оценка все виды работ, необходимые для завершения задачи? Включает ли оценка все функциональные области, необходимые для завершения задачи? Достаточно ли детализирована оценка для выявления скрытой работы? Вы ознакомились с документированными фактами (письменными заметками) из прошлой работы, не ограничиваясь оценкой исключительно по собственным воспоминаниям? Согласована ли оценка с человеком, который будет заниматься непосредственным выполнением работы? Производительность, заложенная в оценку, сходна с той, которая достигалась в аналогичных ситуациях? Включены ли в оценку различные случаи — лучший, худший и наиболее вероятный? Действительно ли худший случай является худшим? Нельзя ли сделать его еще хуже? Насколько правильно вычисляется ожидаемый случай? Документированы ли предположения по поводу оценки? Изменилась ли ситуация с момента подготовки оценки?

Чтобы ничего не упустить, также сверьтесь с перечнем часто пропускаемых действий в разделе 4.5.

СОВЕТ № 45

Используйте контрольные списки для улучшения индивидуальных оценок. Составляйте и ведите собственные контрольные списки.