Обсуждение результатов теста

Зачем здесь приводится этот тест? Вовсе не для того, чтобы проверить, знаете ли вы дату рождения Александра Македонского или широту Шанхая. Он проверяет, насколько хорошо вы понимаете свои собственные способности к оценке.

Насколько достоверна «90-процентная достоверность»?

В описании теста четко сказано, что целью теста должна быть оценка с достоверностью 90 %. Тест состоит из 10 вопросов; если вы действительно оцениваете с достоверностью 90 %, вы должны были получить 9 правильных ответов1.

Возможно, вы были осторожны, определили слишком широкие диапазоны и получили 10 правильных ответов из 10. Если вы поторопились и определили

15%

Испытуемые

10%

Рис. 2.1. Результаты теста «Какой из вас оценщик?» Большинство испытуемых получает 1-3 правильных ответа

Правильные ответы

Для группы, результаты которой показаны на рисунке, среднее количество правильных ответов было равно 2,8. Всего два процента испытуемых дали 8 и более правильных ответов. Никто и никогда не дал 10 правильных ответов. Я сделал вывод, что интуитивные представления большинства людей о «90 % достоверности» в действительности ближе к «30 % достоверности».

Я видел множество рабочих групп, представлявших графики, «достоверные на 90 %». Потом эти графики нередко нарушались — собственно, чаще нарушались, чем соблюдались. Если бы график действительно составлялся с 90%-й достоверностью, то по статистике превышение встречалось бы лишь в одном случае из 10.

Отсюда следует, что значения достоверности в процентах (например, 90 %) имеют смысл только в том случае, если они поддерживаются неким статистическим анализом. В противном случае это не более чем подмена действительного желаемым. Как добиться настоящей 90 % достоверности, мы разберемся позднее в этой книге.

СОВЕТ № 5

Не предоставляйте процентные оценки достоверности (особенно «достоверные на 90 %»), если только они не поддерживаются количественными методами.

Если вы не прошли тест, приведенный ранее в этой главе, сейчас самое время вернуться и пройти его. Вас удивит, как мало будет правильных ответов даже после того, как вы прочли мои объяснения.

Откуда возникает стремление к сужению диапазонов? 37

Как выбирать ширину диапазона?

Столкнувшись с человеком, получившим 7 или 8 правильных ответов, я спрашиваю: «Как вам это удалось?» Типичный ответ: «Я выбрал слишком широкие диапазоны».

Мой ответ: «Ничего подобного! Ваши диапазоны были слишком узкими!» Даже если вы получили 7 или 8 правильных ответов, значит, диапазоны все равно оказались недостаточно широкими для получения желаемой доли правильных ответов.

Мы склонны полагать, что оценки, выраженные в виде узких диапазонов, точнее оценок с широкими диапазонами. Нам кажется, будто широкие диапазоны свидетельствуют о невежестве или некомпетентности оценщика. Обычно все наоборот (конечно, узкие диапазоны предпочтительны в тех случаях, когда они поддерживаются фактическими данными).

СОВЕТ № 6

Избегайте искусственного сужения диапазонов. Следите за тем, чтобы диапазоны, используемые в оценках, не искажали вашего представления о достоверности оценки.

Откуда возникает стремление к сужению диапазонов?

Когда вы отвечали на вопросы теста, хотелось ли вам расширить диапазоны? Или вы чувствовали, что их лучше сузить? Как правило, испытуемые говорят, что им хотелось сделать диапазоны как можно уже. Но если вы вернетесь к инструкциям и внимательно прочитаете их, то обнаружите, что я не просил сужать диапазоны. Действительно, в них говорится, что диапазоны не должны быть ни слишком широкими, ни слишком узкими — достаточно широкими для того, чтобы вы были на 90 % уверены в том, что они включают правильный ответ.

После обсуждения этого вопроса с сотнями разработчиков и руководителей я пришел к выводу, что стремление к сужению диапазонов возникает самопроизвольно внутри самого оценщика. Отчасти оно обусловлено чувством профессиональной гордости — люди полагают, что узкий диапазон свидетельствует о более качественной оценке, хотя это совсем не так. Также не стоит сбрасывать со счетов опыт общения с начальством и клиентами, настаивавшими на использовании чрезмерно зауженных диапазонов.

Аналогичное самопроизвольное стремление обнаруживается и в общении между клиентами и оценщиками. Йоргенсен и Сьеберг сообщают, что информация об ожиданиях клиентов оказывает сильное влияние на оценку, причем оценщики обычно не сознают, в какой степени она отражается на их результатах (Jorgensen and Sjoberg 2002).

СОВЕТ № 7

Если вы испытываете воздействие, направленное на сужение диапазона, убедитесь в том, что оно идет извне, а не рождается внутри вас.

В главах 22 и 23 обсуждаются различные способы решения проблемы для тех случаев, когда давление действительно идет из внешнего источника.

Насколько показателен тест для реальной оценки программных проектов?

В области программного обеспечения нам нечасто приходится оценивать объем воды Великих Озер или температуру поверхности Солнца. И можно ли ожидать, что вам удастся оценить общую сумму находящейся в обращении валюты США или количество книг, опубликованных в США, — особенно если вы живете в другой стране?

Разработчикам программного обеспечения часто приходится оценивать проекты из незнакомых областей — проекты, в реализации которых задействованы новые технологии, новые средства программирования, незнакомый персонал и т. д. Оценка в условиях неопределенности является вполне обычным делом. В оставшейся части этой книги я постараюсь объяснить, как добиться успеха в подобной ситуации.