Широкополосный Дельфийский метод

Широкополосный Дельфийский метод относится к структурированным методам групповой оценки. Исходный Дельфийский метод был разработан в Rand Corporation в конце 1940-х годов для прогнозирования технологических тенденций (Boehm 1981).

Его название происходит от древнегреческого города Дельфы, где находился оракул. В базовом варианте Дельфийского метода несколько экспертов создают независимые оценки, а затем встречаются до тех пор, пока им не удастся согласовать одну оценку.

Первоначальные исследования применения Дельфийского метода для оценки программного обеспечения показали, что базовый Дельфийский метод не обеспечивает большей точности, чем менее структурированные групповые обсуждения. Барри Бем и его коллеги сделали вывод, что общие собрания слишком подвержены политическому давлению, и на них часто доминируют наиболее настойчивые оценщики в группе. По этой причине Бем с коллегами доработали базовый Дельфийский метод и превратили его в то, что сейчас известно под названием широкополосного Дельфийского метода. Основная процедура представлена в табл. 13.1.

Таблица 13.1. Широкополосный Дельфийский метод Координатор предоставляет каждому оценщику спецификацию и форму оценки. Оценщики по отдельности готовят исходные оценки (также этот шаг может выполняться после шага 3). Координатор созывает собрание группы, на котором оценщики обсуждают проблемы, связанные с оценкой текущего проекта. Если группе удается согласовать единую оценку без особых дискуссий, координатор назначает одного из участников на роль «адвоката дьявола». Оценщики анонимно передают индивидуальные оценки координатору. Координатор готовит сводку оценок в итеративной форме (рис. 13.2) и представляет форму оценщикам, чтобы они видели, как выглядят их оценки в сравнении с оценками других участников группы. Координатор организует встречу, на которой оценщики обсуждают расхождения в оценках.

Оценщики проводят анонимное голосование по принятию средней оценки. Если хотя бы один из оценщиков проголосует отрицательно, процедура возвращается к шагу 3. Окончательной считается точечная оценка, полученная по Дельфийской процедуре. Также окончательная оценка может представлять собой диапазон, созданный в ходе обсуждения, а точечная оценка представляет ожидаемый случай.

Источник: Адаптировано по материалам «Software Engineering Economics» (Boehm 1981).

Шаги 3-7 выполняются в личном общении, на групповых собраниях, по электронной почте или в чате. Выполнение их на электронном уровне помогает сохранить анонимность экспертов. Итерации шагов 3-7 выполняются немедленно или в пакетном режиме, в зависимости от критичности оценки по времени и доступности оценщиков.

5 10 15 20

Человеко-месяцы

Рис. 13.2. Форма оценки для широкополосного Дельфийского метода

Оценочная форма, изображенная на рис. 13.2, может быть бумажной или же может быть нарисована координатором на доске. На показанной форме представлена шкала от 0 до 20 человеко-месяцев. Исходный диапазон должен быть по крайней мере втрое шире диапазона, который вы рассчитываете получить, чтобы оценщики не чувствовали себя ограниченными рамками заранее определенного диапазона.

Координатор должен следить за тем, чтобы люди со склонностью к психологическому доминированию не оказывали нежелательного влияния на оценку. Излишняя напористость не присуща разработчикам, однако самый сдержанный участник нередко предоставляет самый ценный взгляд на оцениваемую работу.

Все итерации оценок полезно отображать на одной шкале, чтобы разработчики могли проследить за их схождением (или в некоторых случаях — за расхождением). Пример показан на рис. 13.3.

Итерация 1 \ \ | \ { ] }¦ } \ * —i—^—j-Д—j.—-j—{

0 5 10 15 20

ж gt;Гх|

Рис. 13.3. Оценочная форма широкополосного Дельфийского метода после трех итераций

После итерации 3 группа согласилась на оценку в виде диапазона от 12 до месяцев, при этом ожидаемое значение составляет 13 человеко-месяцев.

Эффективность широкополосного Дельфийского метода

Я собрал данные по применению широкополосного Дельфийского метода в очень трудной оценочной проблеме'. На рис. 13.4 представлены данные об ошибках,

группах широкополосный Дельфийский метод работает лучше, чем лучшая из индивидуальных оценок. Ситуация продемонстрирована на рис. 13.6. Обратите внимание: ни одна из групп не согласилась с окончательной оценкой, которая была хуже наихудшей индивидуальной оценки.

Ни в одном из случаев широкополосный Дельфийский метод не приводил к смещению оценки в этом направлении (то есть за пределы исходного диапазона, с удалением от правильного ответа)

Рис. 13.6. Примерно в трети случаев широкополосный Дельфийский метод помогает группам, у которых правильный ответ не входил в исходный оценочный диапазон, выйти за пределы диапазона и приблизиться к правильному ответу

Когда применять широкополосный Дельфийский метод

В сценарии с трудной оценкой, описанном в этой главе, широкополосный Дельфийский метод сократил среднюю ошибку оценки с 290 до 170 %. Ошибки в 290 % и 170 % чрезвычайно велики, но это характерно для оценок, создаваемых в широкой

части конуса неопределенности. Тем не менее сокращение ошибки на 40 % весьма ценно, будь то уменьшение с 290 до 170 % или с 50 до 30 %.

Хотя мои данные, казалось бы, однозначно одобряют широкополосный Дельфийский метод, в отрасли сейчас изучается вопрос о том, как объединять оценки, созданные разными оценщиками. Некоторые исследования показали, что групповой подход к объединению оценок работает лучше; в других лучше работало простое усреднение (j0rgensen 2002).

Поскольку широкополосный Дельфийский метод требует проведения собраний, он связан с большими затратами рабочего времени и поэтому считается дорогостоящим методом оценки. Для получения подробных оценок для множества задач он не подходит.

Широкополосный Дельфийский метод полезен при оценке работы, проводимой в малознакомой деловой области, базирующейся на новой технологии или направленной на разработку нового вида программного обеспечения. Он помогает создавать приближенные оценки «с точностью до порядка» на стадии определения продукта или выработки концепции, пока многие требования еще не были сформулированы. Он также хорошо работает в проектах, связанных с несколькими разнородными специализациями, — скажем, в комбинациях алгоритмической сложности, исключительного быстродействия, сложных бизнес-правил и т. д. Кроме того, метод способствует более четкому определению объема работы и помогает избавиться от лишних предположений. Короче говоря, широкополосный Дельфийский метод приносит наибольшую пользу при оценке одиночных показателей, использующих входные данные из разных областей в очень широкой части конуса неопределенности. В подобных неопределенных ситуациях широкополосный Дельфийский метод способен оказать неоценимую помощь.

Используйте широкополосный Дельфийский метод для формирования оценок на ранней стадии проекта, в незнакомых системах, а также тогда, когда в проекте задействовано несколько разнородных дисциплин.

Boehm, Barry W. «Software Engineering Economics». Englewood Cliffs, NJ: Prentice- Hall, Inc., 1981. В разделе 22.2 книги Бема описан исходный Дельфийский метод, а также история создания широкополосного Дельфийского метода.

NASA, «ISD Wideband Delphi Estimation», Number 580-PROGRAMMER- 016-01, September 1, 2004, http://software.gsfc.nasa.goV/AssetsApproved/PAl.2.l.2.pdf. Документ описывает разновидность широкополосного Дельфийского метода, используемую Центром управления полетами NASA.

Wiegers, Karl. «Stop Promising Miracles», Software Development, February 2000. В статье Вигерса описана разновидность широкополосного Дельфийского метода.

Широкополосный Дельфийский метод

Еще по теме Широкополосный Дельфийский метод: