Насколько повысятся объемы продаж после новой рекламной кампании? Сколько потенциальных потребителей станут вашими клиентами в следующем квартале? Часто очень нужен способ выразить, сколько мы знаем сейчас, каким бы малым ни было наше знание. Исследования доказали, что если людей специально учат преодолевать систематические ошибки и необъективность, их оценки становятся существенно точнее. Проверим с помощью небольшого теста, насколько хорошо вам удается количественно выразить неопределенность.
Автор:
Даглас У. Хаббард (Douglas W. Hubbard), руководитель консалтингового агентства Coopers & Lybrand, эксперт в области определения стоимости информационных решений. Материал публикуется в сокращенном переводе с английского.
Насколько повысятся объемы продаж после новой рекламной кампании? Сколько часов в неделю работники тратят на разбор жалоб клиентов? Даже не имея точных ответов на подобные вопросы, вы все-таки что-то знаете. Например, одни значения интересующего вас показателя кажутся более вероятными, чем другие. Понять, что именно вам известно о чем-то сейчас, очень важно: нередко от этого зависит выбор подхода к измерению или даже сама необходимость этого измерения. Нам часто очень нужен способ выразить, сколько мы знаем сейчас, каким бы малым ни было наше знание.
Один из способов показать неточность определения величины — выразить ее в виде
интервала возможных значений. В статистике интервал, в котором с некоторой вероятностью может содержаться правильный ответ, называется
доверительным интервалом (confidence interval, CI). 90-процентный доверительный интервал — это диапазон значений, содержащий правильное с вероятностью 90%.
Например, не зная точно, сколько потенциальных потребителей станут вашими клиентами в следующем квартале, вы думаете, что, вероятно, договоры подпишут не меньше трех и не больше семи человек. Если существует уверенность на 90%, что реальное число окажется больше трех, но меньше семи, то можно утверждать, что ваш 90-процентный доверительный интервал составляет три—семь. Границы такого интервала рассчитывают различными сложными статистическими интерференционными методами, но вы можете выбрать их, руководствуясь собственным опытом. В любом случае они отражают достоверность ваших знаний об искомом показателе.
Выразить неопределенность наступления конкретных событий в будущем вы можете и с помощью
вероятностей. Например, существует вероятность 70%, что данный потенциальный клиент подпишет договор в следующем месяце, однако правильно ли выбрано это значение? Чтобы понять, насколько хорошо человек умеет количественно оценивать неопределенность, нужно проверить всех потенциальных клиентов, для которых делался квартальный прогноз, и ответить на вопрос: «Менеджер был на 70% (80%, 90%) уверен, что все эти люди вот-вот подпишут договоры, но сколько их реально сделали это — 70% (80%, 90%)?». Таким образом, чтобы узнать, насколько умело мы субъективно оцениваем вероятности, ожидавшиеся результаты нужно сравнить с фактическими.
Две крайности субъективной оценки
Чрезмерная уверенность наблюдается, когда человек постоянно переоценивает точность своих знаний и оказывается правым реже, чем ожидает. Например, когда такого специалиста просят оценить что-то в виде 90-процентного доверительного интервала, в его пределах оказываются гораздо меньше, чем 90%, правильных ответов.
Недостаточная уверенность проявляется, когда человек постоянно недооценивает точность своих знаний и оказывается правым намного чаще, чем ожидает. Например, когда такого специалиста просят оценить что-то в виде 90-процентного доверительного интервала, в его пределы попадают гораздо больше, чем 90%, правильных ответов.
К сожалению, очень немногие из нас являются от природы калиброванными оценщиками. Большинство либо чересчур уверены, либо слишком не уверены в правильности своих результатов. Определение вероятности наступления недостоверных событий или интервала возможных значений некоего показателя не приобретается по мере накопления опыта и развития интуиции.
К счастью, исследования доказали, что если людей специально учат преодолевать систематические ошибки и необъективность, их оценки становятся существенно точнее. Калиброванные оценки вероятности активно изучались в психологии принятия решений в 1970-х и 1980-х годах. Чуть менее интенсивно изучаются они и сегодня. В отличие от многих преподаваемых в школах бизнеса методов «науки управления» или «количественного анализа», предлагающих оптимальные пути решения конкретных, четко определенных задач, психология принятия решений изучает то, как люди реально принимают свои решения, какими бы иррациональными они ни были.
Упражнение «Калибровка»
Проверим с помощью небольшого теста, насколько хорошо вам удается количественно выразить неопределенность. В таблице 1 приведены 10 вопросов, на которые нужно ответить с 90-процентной уверенностью, и 10 бинарных вопросов, предполагающих ответы типа «правильно» или «неправильно». Это вопросы из разных областей знаний, поэтому ответить на них со всей определенностью вам вряд ли удастся. Однако некоторое представление об этих вопросах у вас все же должно быть.
В таблице 1 приведено по 10 вопросов двух видов:
-
Вопросы с 90-процентным доверительным интервалом. Отвечая на каждый вопрос, укажите нижнюю и верхнюю границы интервала. Помните: интервал должен быть таким широким, чтобы вы были на 90% уверены, что правильный ответ попадает в него.
-
Бинарные вопросы. Ответьте «правильно» или «неправильно» на каждое из приведенных выше утверждений, а затем отметьте число, отражающее степень вашей уверенности в своем ответе. Например, если вы абсолютно уверены в своем выборе, то должны указать, что его вероятность составляет 100%. Когда вы совсем не знаете темы, вероятность правильного ответа должна быть равна вероятности выпадения орла или решки при подбрасывании монеты (50%). В противном случае (возможно, в большинстве случаев) эта вероятность должна составлять 50-100%.
Конечно, вы можете легко найти ответы на все эти вопросы. Однако мы приводим это упражнение для определения того, насколько хорошо вы можете определять информацию, которую нигде нельзя найти. Например, как точно вы оцениваете продажи следующего месяца или возможное повышение производительности труда в результате внедрения новой системы.
Вопросы также различаются по сложности. Одни кажутся легкими, другие — слишком трудными. Однако каким бы сложным ни выглядело задание, вы все равно сможете его как-то выполнить. Сосредоточьтесь на том, что знаете. В частности, вы знаете, какие границы интервала наверняка неправильны (например, всем точно известно, что Ньютон не был современником древних греков или нашим современником). Аналогично, отвечая на бинарный вопрос, вы представляете себе более правдоподобный вариант.
Итак, выполните это упражнение.
Таблица 1. Тест «Калибровка»
| № |
Вопрос |
90-процентный CI: |
|
|
нижняя граница |
верхняя граница |
||
| 1 | Какую скорость (мили/ч) развил в 1938 г. британский паровоз, установивший новый рекорд скорости? | ||
| 2 | В каком году сэр Исаак Ньютон опубликовал свою работу о всемирном законе тяготения? | ||
| 3 | Какова длина в дюймах обычной визитной карточки? | ||
| 4 | В каком году военные создали Интернет, называвшийся тогда Арпанетом? | ||
| 5 | В каком году родился Уильям Шекспир? | ||
| 6 | Каково расстояние в милях по воздуху между Нью-Йорком и Лос-Анджелесом? | ||
| 7 | Какой процент площади квадрата можно закрыть кругом с диаметром, равным стороне квадрата? | ||
| 8 | В каком возрасте умер Чарли Чаплин? | ||
| 9 | За сколько дней Луна совершает полный оборот вокруг Земли? | ||
| 10 | Какого числа по телевидению впервые была показана программа «Gilligan’s Island»? | ||
|
Утверждение |
Ответ (правильно или неправильно) |
Вы уверены на (выберите нужное) |
|
| 1 | Древние римляне были завоеваны древними греками | 50% 60% 70% 80% 90% 100% | |
| 2 | Трехгорбых верблюдов не бывает | 50% 60% 70% 80% 90% 100% | |
| 3 | Галлон нефти весит меньше галлона воды | 50% 60% 70% 80% 90% 100% | |
| 4 | Марс всегда более удален от Земли, чем Венера | 50% 60% 70% 80% 90% 100% | |
| 5 | Команда «Boston Red Sox» стала первым победителем чемпионата США по бейсболу | 50% 60% 70% 80% 90% 100% | |
| 6 | Наполеон родился на острове Корсика | 50% 60% 70% 80% 90% 100% | |
| 7 | «М» — одна из трех наиболее часто используемых букв | 50% 60% 70% 80% 90% 100% | |
| 8 | В 2002 г. персональный компьютер стоил в среднем не более 1500 дол. | 50% 60% 70% 80% 90% 100% | |
| 9 | Прежде чем стать президентом, Линдон Джонсон был губернатором | 50% 60% 70% 80% 90% 100% | |
| 10 | Килограмм больше фунта | 50% 60% 70% 80% 90% 100% | |
Чтобы понять, насколько вы калиброваны, сравните ожидаемые вами результаты с фактическими. Для их просмотра выделите область внизу мышью — ответы написаны белым шрифтом на белом фоне.
Ответы на вопросы:
1. 126.
2. 1685.
3. 3,5.
4. 1969
5. 1564
6. 2451
7. 78,5%
8. 88
9. 27,32
10. 26 сентября 1964 г.
Ответы на утверждения:
1. Неверно
2. Верно
3. Верно
4. Неверно
5. Верно
6. Верно
7. Неверно
8. Верно
9. Неверно
10. Верно
Вас просили указать 90-процентный CI. Поэтому можно предположить, что 9 из 10 правильных ответов окажутся в названных вами интервалах значений. Если даже при такой малой выборке в ваши доверительные интервалы попали менее семи верных ответов, вы, скорее всего, обладаете преувеличенной уверенностью. Когда их оказывается менее пяти (как у большинства людей), вы чрезмерно самонадеянны.
Отвечая на вопросы с 90-процентным доверительным интервалом, вы ожидали, что в предложенные вами границы попадут девять правильных ответов, но фактически их оказалось меньше. Теперь необходимо определить «ожидаемые» значения для бинарных вопросов. Вы указали, что уверены в своих ответах на каждый из них на 50, 60, 70, 80, 90 или 100%. Переведите все обведенные вами кружочком проценты в десятичные дроби (0,5; 0,6 … 1,0) и суммируйте их. Предположим, что вы были уверены в своих ответах на 1,0; 0,5; 0,9; 0,6; 0,7; 0,8; 0,8; 1,0; 0,9 и 0,7, тогда сумма этих показателей составляет 7,9. Таким образом, «ожидаемый» показатель равен 7,9. Конечно, 10 — тоже небольшая выборка, но если ваш фактический показатель составил, например, 2,5, то, скорее всего, вы слишком самонадеянны.
Дальнейшее повышение точности калибровки
|
Метод |
Содержание |
| 1. Повторение и обратная связь | Выполните подряд несколько тестов, оценивая результаты каждого, а затем повторите их, чтобы улучшить свои результаты. |
| 2. Эквивалентные ставки | Придумайте эквивалентную ставку для каждой оценки, чтобы проверить, действительно ли предложенный диапазон значений или вероятность отражает неопределенность. |
| 3. Перечисление двух доводов «за» и двух «против» | Приведите, по крайней мере, две причины, по которым вы уверены в своей оценке, и две причины, по которым вы могли ошибиться. |
| 4. Преодоление зацикленности | Представьте проблему диапазона оценки в виде двух бинарных вопросов типа: «Уверен(а) ли я на 95%, что истинное значение лежит выше нижней (ниже высшей) границы предложенного мною диапазона?» |
Выполнив ряд калибрующих тестов и попрактиковавшись в использовании таких методов, как составление списка всех «за» и «против», проверка с помощью эквивалентных ставок и незацикливание на одном числе, люди приобретают навык в точной настройке «чувства вероятности». Несмотря на то, что обучение осуществляется на самых общеизвестных проблемах, полученные навыки позволяют проводить оценки в любой сфере деятельности.
Практические, системные знания полезнее смутной интуиции и бессистемного опыта. С помощью опытного куратора, при обучении по индивидуальной программе, вы можете составить свой индивидуальный учебный план из любых дисциплин нашего каталога и получить именно те знания и навыки, которые вам пригодятся на практике уже сейчас. Вы можете учиться в удобном для себя месте и темпе, продолжая свою профессиональную деятельность.
