Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе Хаббард Дуглас
При ближайшем рассмотрении ситуация оказалась очень любопытной. Она объяснила, что, вкладывая средства в информационные технологии, компания прежде всего старается добиться повышения на несколько базисных пунктов (1 б. п. = 0,01 %) доходности инвестиций, которыми она управляет по поручению своих клиентов. Руководство надеется, что грамотные инвестиции в ИТ позволят добиться конкурентного преимущества в сборе и анализе данных, на основе которых принимаются инвестиционные решения. Но когда я спросил свою собеседницу, как компания оценивает выгоды сейчас, она ответила, что специалисты «просто выбирают число наугад». Иными словами, пока достаточное число людей соглашались или, по крайней мере, не возражали против предложенного значения, отражающего рост базисных пунктов, именно на нем и строилось экономическое обоснование решения. Конечно, выбранный параметр мог отражать предыдущий опыт, но очевидно, что в нем руководство могло быть уверено не больше, чем в любых других значениях. Но если это так, то как же компания измеряет свои риски? Ясно, что самой серьезной опасностью оказалась бы связанная с неопределенностью получения данной выгоды по сравнению с другими. Компания не пользовалась интервалами значений для выражения неопределенности в росте базисных пунктов, поэтому включить ее в расчет риска было невозможно. Таким образом, хотя руководитель ИТ-службы была убеждена, что в фирме хорошо анализируют риски, похоже, что на самом деле их там даже не рассчитывали.
В действительности весь инвестиционный риск можно выразить количественно одним-единственным способом: задав интервалы значений неопределенностям, связанным с затратами и выгодами от решения. Когда вы точно знаете сумму и сроки осуществления затрат и получения выгод (что предполагается при традиционном экономическом обосновании проектов, когда используются точные числа), риск буквально не существует. Ведь выгоды или затраты не могут оказаться ниже или выше ожидавшихся. Но на самом деле все, что мы о них знаем, — это интервалы, а не точные параметры. А раз у нас есть только широкие интервалы значений, значит, существует и вероятность отрицательной доходности. Вот что лежит в основе оценки риска, и вот для чего служит моделирование методом Монте-Карло.
Пример применения метода Монте-Карло и расчета риска
Приведем очень простой пример моделирования методом Монте-Карло для тех, кто никогда не работал с ним ранее, но имеет определенное представление об использовании электронных таблиц Excel. А люди, уже пользовавшиеся данным методом, могут просто пропустить несколько следующих страниц.
Предположим, что вы хотите арендовать новый станок для некоего этапа производственного процесса. Стоимость годовой аренды станка 400 000 дол., и договор нужно подписать сразу на несколько лет. Поэтому, не достигнув точки безубыточности, вы не сможете сразу вернуть станок. Вы собираетесь подписать договор, думая, что современное оборудование позволит сэкономить на трудозатратах и стоимости сырья и материалов, а также поскольку считаете, что материально-техническое обслуживание нового станка обойдется дешевле.
Ваши калиброванные специалисты по оценке дали примерные интервалы значений ожидаемой экономии. Кроме того, они рассчитали ожидаемые годовые объемы производства для данного процесса:
Рассчитаем теперь годовую экономию по следующей очень простой формуле:
Годовая экономия = (MS + LS + RMS) PL.
Конечно, этот пример слишком прост, чтобы быть реалистичным. Объем производства каждый год меняется, какие-то затраты снизятся, когда рабочие окончательно освоят новый станок, и т. д. Но мы в этом примере намеренно пожертвовали реализмом ради простоты.
Если мы возьмем медиану каждого из интервалов значений, то получим:
Годовая экономия = (15 + 3 + 6) 25 000 = 600 000 (дол.).
Похоже, что мы не только добились безубыточности, но и получили кое-какую прибыль, но не забывайте — существуют неопределенности. Как же оценить рискованность этих инвестиций? Давайте прежде всего определим, что такое риск в данном контексте. Помните? Чтобы получить риск, мы должны наметить будущие результаты с присущими им неопределенностями, причем какие-то из них — с вероятностью понести ущерб, поддающийся количественному определению. Один из способов взглянуть на риск — представить вероятность того, что мы не добьемся безубыточности, то есть что наша экономия окажется меньше годовой стоимости аренды станка. Чем больше нам не хватит на покрытие расходов на аренду, тем больше мы потеряем. Сумма 600 000 дол. — это медиана интервала. Как определить реальный интервал значений и рассчитать по нему вероятность того, что мы не достигнем точки безубыточности?
Поскольку точные данные отсутствуют, нельзя выполнить простые расчеты для ответа на вопрос, сможем ли мы добиться требуемой экономии. Есть методы, позволяющие при определенных условиях найти интервал значений результирующего параметра по диапазонам значений исходных данных, но для большинства проблем из реальной жизни такие условия, как правило, не существуют. Как только мы начинаем суммировать и умножать разные типы распределений, задача обычно превращается в то, что математики называют неразрешимой или не имеющей решения обычными математическими методами проблемой. Именно с такой задачей столкнулись физики, работавшие над расщеплением ядра. Поэтому взамен мы пользуемся методом прямого подбора возможных вариантов, ставшим возможным благодаря появлению компьютеров. Из имеющихся интервалов мы выбираем наугад множество (тысячи) точных значений исходных параметров и рассчитываем множество точных значений искомого показателя.
Моделирование методом Монте-Карло — превосходный способ решения подобных проблем. Мы должны лишь случайным образом выбрать в указанных интервалах значения, подставить их в формулу для расчета годовой экономии и рассчитать итог. Одни результаты превысят рассчитанную нами медиану 600 000 дол., а другие окажутся ниже. Некоторые будут даже ниже требуемых для безубыточности 400 000 дол.
Вы легко сможете осуществить моделирование методом Монте-Карло на персональном компьютере с помощью программы Excel, но для этого понадобится чуть больше информации, чем 90-процентный доверительный интервал. Необходимо знать форму кривой распределения. Для разных величин больше подходят кривые одной формы, чем другой. В случае 90-процентного доверительного интервала обычно используется кривая нормального (гауссова) распределения. Это хорошо знакомая всем колоколообразная кривая, на которой большинство возможных значений результатов группируются вцентральной части графика и лишь немногие, менее вероятные, распределяются, сходя на нет к его краям (см. рис. 6.1).
Говоря о нормальном распределении, необходимо упомянуть о таком связанном с ним понятии, как стандартное отклонение. Очевидно, не все обладают интуитивным пониманием, что это такое, но поскольку стандартное отклонение можно заменить числом, рассчитанным по 90-процентному доверительному интервалу (смысл которого интуитивно понимают многие), я не буду здесь подробно на нем останавливаться. Рисунок 6.1 показывает, что в одном 90-процентном доверительном интервале насчитывается 3,29 стандартного отклонения, поэтому нам просто нужно будет сделать преобразование.
В нашем случае следует создать в электронной таблице генератор случайных чисел для каждого интервала значений. Следуя инструкциям рисунка 6.1, мы можем выбрать случайные значения параметра MS (экономия на материально-техническом обслуживании) по формуле Excel:
=norminv(rand(),15,(20–10)/3,29).
Проделаем то же самое для остальных интервалов значений. Некоторые предпочитают пользоваться генератором случайных цифр из Excel Analysis Toolpack. Я привожу эту формулу в таблице 6.1 на случай, если вы захотите попрактиковаться.
Построим на основе наших данных таблицу, аналогичную таблице 6.1. Два последних столбца показывают результаты расчетов на основе данных других столбцов. В столбце «Общая экономия» показана годовая экономия, рассчитанная для каждой строки. Например, в случае реализации сценария 1 общая экономия составит (9,27 + 4,30 + 7,79) х 23 955 = 511 716 (дол.). Столбец «Достигается ли безубыточность?» вам на самом деле не нужен. Я включил его просто для информативности. Теперь скопируем таблицу и сделаем 10 000 строк.
Чтобы оценить полученные результаты, можно использовать пару других простых инструментов, имеющихся в Excel. Функция «=countif()» позволяет рассчитывать значения величин, отвечающие определенному критерию, — в данном случае те значения годовой экономии, которые меньше 400 000 дол. Или же для полноты картины вы можете воспользоваться инструментом построения гистограмм из Analysis Toolpack. Он подсчитает число сценариев в каждой области, или инкрементной группе значений. Затем вы строите график, отображающий результаты расчета (см. рис. 6.2). Этот график показывает, сколько из 10 000 сценариев будут иметь годовую экономию в том или ином интервале значений. Например, в более чем 1000 сценариев годовая экономия составит от 300 000 до 400 000 дол.
Из всех полученных значений годовой экономии примерно 14 % будут меньше 400 000 дол. Это означает, что вероятность ущерба составляет 14 %. Данное число и представляет содержательную оценку риска. Но риск не всегда сводится к возможности отрицательной доходности инвестиций. Оценивая размеры вещи, мы определяем ее высоту, массу, обхват и т. д. Точно так же существуют и несколько полезных показателей риска. Дальнейший анализ показывает: есть вероятность 3,5 % того, что завод вместо экономии будет терять ежегодно по 100 млн дол. Однако полное отсутствие доходов практически исключено. Вот что подразумевается под анализом риска — мы должны уметь рассчитывать вероятности ущерба разного масштаба. Если вы действительно измеряете риск, то должны делать именно это. С дополнительным материалом к данному примеру можно ознакомиться на сайте www.howtomeasureanything.com
В некоторых ситуациях можно пойти более коротким путем. Если все распределения значений, с которыми мы работаем, будут нормальными и нам надо просто сложить интервалы этих значений (например, интервалы затрат и выгод) или вычесть их друг из друга, то можно обойтись и без моделирования методом Монте-Карло. Когда необходимо суммировать три вида экономии из нашего примера, следует провести простой расчет. Чтобы получить искомый интервал, используйте шесть шагов, перечисленных ниже:
1) произвести вычитание среднего значения каждого интервала значений из его верхней границы. Для экономии на материально-техническом обслуживании — 20–15 = 5 (дол.), для экономии на трудозатратах — 5 дол. и для экономии на сырье и материалах — 3 дол.;
2) возвести в квадрат результаты первого шага — 52 = 25 (дол.) и т. д.;
3) суммировать результаты второго шага — 25 + 25 + 9 = 59 (дол.);
4) извлечь квадратный корень из полученной суммы (получится 7,68 дол.);
5) сложить все средние значения: 15 + 3 + 6 = 24 (дол.);
6) прибавить к сумме средних значений или вычесть из нее результат шага 4 и получить в итоге верхнюю и нижнюю границы диапазона: 24 + 7,68 = 31,68 (дол.) — верхняя граница; 24–7,68 = 16,32 (дол.) — нижняя граница.
Таким образом, 90-процентный доверительный интервал для суммы трех 90-процентных доверительных интервалов по каждому виду экономии составляет 16,32–31,68 дол. В итоге область значений (размах) суммарного интервала равна квадратному корню из суммы квадратов областей значений отдельных интервалов.
Иногда нечто похожее делают, суммируя все «оптимистические» значения верхней границы и «пессимистические» значения нижней границы интервала. В данном случае мы получили бы на основе наших трех 90-процентных доверительных интервалов суммарный интервал 11–37 дол. Этот интервал несколько шире, чем 16,32–31,68 дол. Когда такие расчеты выполняются при обосновании проекта с десятками переменных, расширение интервала становится чрезмерным, чтобы его игнорировать. Брать самые «оптимистические» значения для верхней границы и «пессимистические» для нижней — все равно что думать: бросив несколько игральных костей, мы во всех случаях получим только «1» или только «6». На самом же деле выпадет некое сочетание низких и высоких значений. Чрезмерное расширение интервала — распространенная ошибка, которая, несомненно, часто приводит к принятию необоснованных решений. В то же время описанный мной простой метод прекрасно работает, когда у нас есть несколько 90-процентных доверительных интервалов, которые необходимо суммировать.
Однако наша цель не только суммировать интервалы, но и умножить их на объем производства, значения которого также даны в виде диапазона. Простой метод суммирования годится только для вычитания или сложения интервалов значений.
Моделирование методом Монте-Карло требуется и тогда, когда не все распределения являются нормальными. Хотя другие типы распределений не входят в предмет данной книги, упомянем о двух из них — равномерном и бинарном (см. рис. 6.3 и 6.4). И то и другое нам еще встретится, когда мы будем обсуждать стоимость информации.
Инструменты и другие ресурсы для моделирования методом Монте-Карло
К счастью, сегодня вам не придется строить модель Монте-Карло с нуля. Существуют многочисленные инструменты, облегчающие труд знакомого с теорией аналитика и повышающие его эффективность. К ним относятся и простые наборы макросов для Excel (которыми пользуюсь я), и очень сложные пакеты программ.
Горячим сторонником использования метода Монте-Карло в бизнесе является профессор Стэнфордского университета Сэм Сэвидж, разработавший инструмент, названный им Insight.xls. Сэвидж предлагает интуитивный подход к использованию вероятностного анализа. Кроме того, у него есть кое-какие соображения по поводу формализации процедуры разработки моделей методом Монте-Карло. Если такими моделями пользуются разные подразделения одной и той же организации, то, по мнению Сэвиджа, ей следует иметь объединенную базу общих распределений, а не придумывать каждый раз новые распределения для одних и тех же величин. Более того, он считает, что само определение распределения величины часто представляет собой особую задачу, требующую некоторой математической подготовки.
У Сэвиджа есть интересный метод, который он называет управлением вероятностями: «Предположим, описание распределений вероятностей мы возьмем на себя. Чем тогда вы сможете оправдать свое нежелание пользоваться распределениями вероятностей? Некоторые говорят, что не умеют описывать распределение вероятностей. Однако как выработать электроэнергию, они тоже не знают, но все же ею пользуются».
Его идея заключается в том, чтобы ввести в компаниях такую должность, как ведущий специалист по вероятностям. Он будет отвечать за управление объединенной библиотекой распределений вероятностей, которой может пользоваться каждый, кто занимается моделированием по методу Монте-Карло. Сэвидж ввел такое понятие, как стохастический информационный пакет (stochastic information packet, SIP) — заранее разработанный набор из 100 000 случайных значений того или иного показателя. Иногда разные пакеты связаны друг с другом. Например, доход компании может согласовываться с темпами роста национальной экономики. Набор таких коррелирующих между собой стохастических информационных пакетов называется стохастическими библиотечными модулями с сохраненными зависимостями (stochastic library units with relationships preserved, SLURPs). Ведущий специалист по вероятностям будет управлять SIP и SLURPs таким образом, чтобы пользователям распределений вероятностей не приходилось изобретать велосипед всякий раз, когда нужно моделировать инфляцию или затраты на здравоохранение.
Я бы добавил еще несколько аспектов, тогда модели Монте-Карло будут создаваться и использоваться в организациях так же официально, как методы бухучета. Этими аспектами являются следующие:
• официальная процедура сертификации калиброванных специалистов. Проводя занятия, я заметил, что даже высококвалифицированные специалисты, постоянно пользующиеся моделями Монте-Карло, мало что слышали о калиброванной оценке вероятностей. Как мы уже говорили, некалиброванный эксперт обычно слишком уверен в своих оценках. Любой расчет риска на основе его предположений приведет к недооценке;
• хорошо задокументированная процедура построения моделей начиная с исходных оценок калиброванных специалистов. На отладку этой процедуры всегда уходит какое-то время. Организации в большинстве своем не нуждаются в разработке модели с нуля всякий раз, когда приходится анализировать новый инвестиционный проект. Можно воспользоваться результатами других предприятий или, по крайней мере, своими предыдущими моделями;
• единый набор компьютерных инструментов. Некоторые из них перечислены в таблице 6.2.
Парадокс риска
Построить модель методом Монте-Карло вряд ли сложнее, чем создать любую другую компьютерную экономическую модель. На самом деле модели, которые я разрабатывал для оценки рисков крупных проектов в области информатики, всегда оказывались более простыми, чем анализируемые информационные системы.
Сложны ли вообще модели Монте-Карло? Конечно, по некоторым меркам. Слишком ли они сложны для того, чтобы их можно было использовать в бизнесе? Нет, по современным деловым стандартам. К тому же, как и в любом другом трудном случае, руководство компании может пригласить специалистов, обладающих необходимыми навыками.
Несмотря на это, количественный анализ рисков с помощью метода Монте-Карло принят далеко не повсеместно. Многие организации пользуются при решении отдельных задач довольно сложными методами анализа риска. Например, актуарии в страховых компаниях определяют требования к страховому продукту, статистики анализируют рейтинги нового телешоу, а менеджеры используют подход Монте-Карло для моделирования изменения методов производства. Однако те же самые организации не пользуются регулярно теми же сложными методами анализа риска, принимая гораздо более важные решения в условиях серьезных неопределенностей и высоких вероятностей ущерба.
В 1999 г. мне довелось вести семинар для группы менеджеров, желавших научиться анализировать риски в сфере ИТ. Я начал рассказывать о методе Монте-Карло и спросил, пользуется ли уже кто-нибудь им для оценки рисков. Обычно те, кто утверждает, что рассчитывает риски, просто характеризуют их значения как «высокое», «среднее» или «низкое», даже не пытаясь дать им количественную оценку. Моя цель — помочь слушателям понять разницу между подобным псевдоанализом и расчетом, приемлемым с точки зрения актуария. Один из студентов сказал, что регулярно использует метод Монте-Карло для оценки риска. Это произвело на меня впечатление: «До сих пор мне не встречались специалисты по ИТ, которые пользовались бы данным методом». На это он сказал: «Нет, я не эксперт в информационных технологиях. Я занимаюсь анализом производственных методов в Boise Gascade, целлюлозно-бумажной и деревообрабатывающей компании». На мой вопрос «А что, по вашему мнению, более рискованно — инвестиции в ИТ или в производство бумаги?» он ответил: инвестиции в ИТ рискованнее, но добавил, что его компания никогда не применяет метод Монте-Карло для оценки риска в этой сфере.
Если организация и применяет количественный анализ рисков, то обычно это делается для принятия повседневных оперативных решений. Самые серьезные и опасные решения (чаще всего) формулируются при минимальном использовании полноценного анализа риска.
С годами я обнаружил, что если организация и применяет количественный анализ рисков, то обычно это делается для принятия повседневных оперативных решений. Самые серьезные и опасные решения чаще всего принимаются без предварительного анализа рисков, связанных с ними, — по крайней мере, таких исследований, с которыми согласился бы актуарий или статистик, не проводится. Я назвал этот феномен «парадоксом риска».
Почти все самые сложные методы анализа риска применяются при принятии простых решений, почти не влекущих серьезных негативных последствий, однако решения о слияниях, крупных инвестициях в ИТ, финансировании научных исследований и т. д. обычно формируются без этой процедуры. Почему так происходит? Может быть, из-за существующего мнения о том, что оперативные решения (одобрение кредита или расчет страховой премии) количественно оценить намного проще в отличие от действительно сложных проблем, связанных с рисками, которые с трудом поддаются точному расчету. Это серьезное заблуждение. Как я уже показал, в важных решениях нет ничего «неизмеримого».
Теперь, когда вы уже познакомились с конкретными количественными понятиями неопределенности и риска, мы можем перейти к изучению редко используемого, но очень полезного инструмента измерения: расчета стоимости информации.
Глава 7. Оценка стоимости информации
Сумев рассчитать стоимость самой информации, мы смогли бы определить на ее основе затраты на проведение измерений. Зная же данную стоимость, мы, возможно, предпочли бы измерять совсем другие вещи. Вероятно, мы потратили бы больше усилий и денег, оценивая то, что никогда не оценивали прежде, и потеряли бы интерес к тому, что постоянно количественно определяли до сих пор.
Первый уровень — мерить все, что легко поддается измерению. Этот подход не вызывает возражений. Второй — отбросить то, что трудно измеряется, или приписать ему произвольное количественное значение — искусственный, уводящий в сторону путь. Третий уровень — предположить, что все трудноизмеримое не имеет значения. Это страусиная политика. Четвертый этап — сказать, что измеряемое с трудом вообще не существует. Это самоубийство.
Чарлз Хэнди[23],«The Empty Raincoat» («Пустой плащ»), 1995, с. 219.
На самом деле существуют всего три главные причины тому, что информация имеет свою стоимость для бизнеса.
1. Информация снижает неопределенность в связи с решениями, имеющими экономические последствия.
2. Она влияет на поведение людей, и это также имеет экономические последствия.
3. Иногда информация сама обладает собственной рыночной стоимостью.
Объяснение первой причины из трех перечисленных выше было известно с 1950-х годов. Оно было обосновано в математической теории принятия решений — разделе теории игр. Именно сокращению неопределенности мы и уделим основное внимание, главным образом потому, что оно наиболее актуально для обычных условий, и потому, что две другие причины несколько проще. Ведь стоимость информации, влияющей на поведение людей, просто равна стоимости разницы в их поведении. Если измерение результатов деятельности дает рост производительности труда 20 %, то денежное выражение роста производительности и есть стоимость измерения. А если стоимость информации является ее рыночной стоимостью, то перед нами проблема рыночного прогноза, ничем не отличающаяся от оценки продаж любого другого продукта. Если мы собираем информацию об интенсивности движения на городских перекрестках в разное время дня, чтобы продать ее компаниям, ищущим подходящие места для размещения розничных магазинов, то стоимость таких измерений равняется ожидаемой прибыли от продажи этих данных. Однако чаще всего в бизнесе производят измерения потому, что они хотя бы частично связаны с принятием решений. Об этом и пойдет речь в данной главе.
Вероятность ошибиться и цена ошибки: ожидаемые потери от упущенных возможностей
Более 50 лет назад в теории игр — области, понятной лишь посвященным, — была разработана такая формула стоимости информации, которую можно не только вывести математически, но и уяснить интуитивно. Снижение неопределенности (то есть проведение измерений) позволяет делать более удачные ставки (то есть принимать более обоснованные решения). Знать стоимость измерений необходимо, чтобы определить, как можно измерить что-либо и следует ли этим заниматься вообще.
Неуверенность в деловом решении (а калиброванный эксперт должен реалистично оценивать уровень неопределенности) означает, что у вас есть шанс ошибиться. Под ошибкой я понимаю следующее: последствия альтернативного решения могут оказаться предпочтительнее, и, зная об этом, вы, несомненно, выбрали бы его. Цена ошибки — это разница между сделанным вами неправильным выбором и лучшей из имевшихся альтернатив, то есть той, на которой вы остановились бы, обладая полной информацией по вопросу. Например, собираясь вложить деньги в новую смелую рекламную кампанию, вы надеетесь, что эти инвестиции окупятся. Но полностью уверенным в успехе мероприятия вы быть не можете. Известно, что в прошлом многие на первый взгляд прекрасно задуманные и обоснованные рекламные акции не оправдали возлагавшихся на них больших надежд. Некоторые из них даже сыграли на руку конкурентам. В то же время правильно спланированные кампании приводят к значительному росту доходов. Нельзя же сидеть сложа руки и не вкладывать деньги в собственную фирму только потому, что есть вероятность ошибиться. Итак, учитывая всю имеющуюся на данный момент информацию, вы решаете провести свою кампанию, но, возможно, имеет смысл прежде кое-что подсчитать.
Чтобы определить стоимость измерения вероятности успеха намеченных действий, вы должны знать, какие убытки понесете, если инвестиции в кампанию окажутся неудачными, а также какова вероятность провала. Будь эта вероятность полностью исключена, снижать неопределенность вообще не потребовалось бы — ваше решение очевидное и безрисковое.
Чтобы не усложнять наш пример, рассмотрим бинарную ситуацию: вы либо преуспеете, либо провалитесь — вариантов больше нет. Предположим, что вы заработаете 40 млн дол., если реклама сработает, и потеряете 5 млн дол. (затраты на проведение кампании) в другом случае. Допустим также, что ваши калиброванные эксперты говорят, что существует вероятность провала рекламы 40 %. Обладая этой информацией, вы можете составить таблицу 7.1.
Потери от упущенных благоприятных возможностей (opportunity loss, OL) — это просто те затраты, которые мы понесем, если выберем путь, который окажется ошибочным. Ожидаемые потери от упущенных возможностей (expected opportunity loss, EOL) для той или иной стратегии можно рассчитать путем умножения вероятности допустить ошибку на цену ошибки. В нашем примере мы получим такие ответы:
Ожидаемые потери от упущенных благоприятных возможностей возникают из-за того, что вы не знаете, какова вероятность негативных последствий принимаемого решения. Сумей вы снизить данную неопределенность, уменьшится и EOL. Именно это и позволяет сделать измерение.
Все измерения, результаты которых имеют некую стоимость, приводят к снижению неопределенности в отношении показателя, влияющего на решение, чреватое экономическими последствиями. Чем сильнее уменьшаются ожидаемые потери от упущенных благоприятных возможностей, тем больше стоимость информации, полученной путем измерения. Разница между значениями EOL до и после измерения называется ожидаемой стоимостью информации (expected value of information, EVI).
Расчет ожидаемой стоимости информации, получаемой в ходе измерений, до их проведения требует от нас предварительной оценки ожидаемого снижения неопределенности. Иногда это бывает довольно трудно сделать из-за сложности определения некоторых переменных, но возможен и упрощенный подход. Легче всего рассчитать ожидаемую стоимость полной информации (expected value of perfect information, EVPI). Если бы существовала возможность полного устранения неопределенности, то значение EOL уменьшилось бы до нуля. Таким образом, EVPI — это просто EOL выбранного вами варианта. В нашем примере решение, принимаемое без осуществления измерений, заключается в одобрении плана проведения рекламной кампании, тогда ожидаемые потери от упущенных благоприятных возможностей составляют 2 млн дол. Таким образом, стоимость устранения любой неопределенности относительно успешности планируемой акции просто равна 2 млн дол. Earn удается не устранить, а только уменьшить неопределенность, то ожидаемая стоимость информации несколько сокращается.
Ожидаемая стоимость информации (EVI) = Сокращение ожидаемых потерь от упущенных благоприятных возможностей (EOL): EVI = EOL (до измерений) — EOL (после измерений),
где EOL — вероятность ошибиться, умноженная на цену ошибки.
Ожидаемая стоимость полной информации (EVPI) = EOL до измерений (если информация точна и полна, то EOL после измерений равна 0).
Чуть более сложный, но более распространенный и реалистичный метод — это расчет EOL в случае, когда рассматриваются не два экстремума (успех или провал рекламной кампании), а множество значений какой-нибудь величины. Гораздо чаще возникает необходимость рассчитать стоимость измерения, когда неопределенная переменная может принимать значения в некоем интервале. Метод расчета стоимости такой информации принципиально не отличается от того, как мы оценивали стоимость информации в простой бинарной ситуации. Нам, кроме того, потребуется рассчитать EOL.
Стоимость информации для переменных величин
Предположим, что в нашем примере с рекламой возможны не два исхода, а результат в виде интервала значений. Калиброванный маркетолог на 90 % уверен, что эта рекламная кампания поможет увеличить продажи на 100 тыс. — 1 млн единиц продукции. Однако чтобы достичь точки безубыточности нашей кампании, нужно продать некий объем продукции. Допустим, что с учетом затрат на проведение рекламной акции и валовой прибыли от продукта мы определили наступление точки безубыточности при реализации как 200 тыс. единиц товара. Продав меньше, мы понесем чистые убытки, причем чем меньше объем реализации, тем крупнее эти убытки. Продав ровно 200 тыс. единиц продукции, мы не получим ни прибыли, ни убытков. А если реализовать товар не удастся вообще, то мы потеряем деньги, израсходованные на рекламную кампанию, а именно 5 млн дол. (вы можете сказать, что этим убытки фирмы не ограничатся, но для простоты будем учитывать только их).
Другая точка зрения состоит в том, что на каждой не проданной нами единице продукции, которую надо реализовать для достижения безубыточности, мы потеряем 25 дол. Какова в этой ситуации стоимость снижения неопределенности результата кампании?
Чтобы рассчитать EVPI для подобных интервалов значений, необходимо:
1) разбить распределение значений на сотни или тысячи мелких сегментов;
2) рассчитать потери от упущенных благоприятных возможностей для медианы каждого сегмента;
3) рассчитать вероятность для каждого сегмента;
4) умножить потери от упущенных возможностей в каждом сегменте на их вероятности;
5) суммировать произведения, полученные на этапе 4 для всех сегментов.
Лучше всего создать для этой цели макрос на базе Excel или написать программу, которая разбила бы распределение значений примерно на 1000 фрагментов, а затем выполнила требуемые расчеты. Так мы гарантированно рассмотрим все важные ситуации и исключения. Чтобы упростить задачу, я уже проделал за вас основную работу. Теперь все, что вам нужно, — это использовать пару следующих графиков и выполнить несколько несложных арифметических расчетов.
Прежде чем приступить к делу, нужно решить, какую из границ 90-процентного доверительного интервала (верхнюю или нижнюю) считать лучшей (best bound, BB), а какую — худшей (worst bound, WB). Ясно, что иногда лучше самое большое число (если, например, речь идет о доходах), а порой — самое маленькое (если мы говорим о затратах). В примере с рекламной кампанией маленькое число — это плохо, то есть WB — 100 тыс., а BB — это 1 млн единиц продукции. По этим данным мы рассчитаем показатель, который я называю «условным порогом» (relative threshold, RT); он указывает, где находится порог относительно остальных значений интервала. Графически RT представлен на рисунке 7.1.
Мы используем условный порог для четырехэтапного расчета ожидаемой стоимости полной информации:
1) рассчитаем условный порог: RT = (Порог — WB) / (BB — WB). В нашем примере лучшая граница доверительного интервала равна 1 000 000, худшая — 100 000, а порог — 200 000 единиц продукции, поэтому RT = (200 000–100 000) / (1 000 000–100 000) = 0,11;
2) найдем местоположение RT на вертикальной оси рисунка 7.2;
3) двигаясь вправо от значения RT, мы видим две серии кривых: одну (слева) для нормальных и другую (справа) для равномерных распределений. Поскольку в нашем примере распределение является нормальным, найдем точку пересечения кривой для нормальных распределений с прямой, проведенной через значение RT параллельно горизонтальной оси. Я назову эту величину фактором ожидаемых потерь от упущенной благоприятной возможности (expected opportunity loss factor, EOLF). В данном случае EOLF равняется 15;
4) рассчитаем EVPI следующим образом: EVPI = EOLF / 1000 OL на единицу продукции (BB — WB). В нашем примере OL на единицу продукции равняется 25 дол., поэтому EVPI = 15/1000 25 (1 000 000–100 000) = 337 500 дол. (см. рис. 7.2).
Расчет показывает, что затраты на проведение измерения (в данном случае на прогноз) объема продаж теоретически составят 337 500 дол. Это абсолютный максимум, определенный исходя из предпосылки, что измерение полностью устранит неопределенность. Хотя сделать это практически невозможно, данный простой метод предоставляет важный ориентир для максимально возможных расходов.
Порядок расчета для равномерного распределения тот же, за исключением, конечно, одного: нам потребуются кривые равномерного распределения. И при нормальном, и при равномерном распределении необходимо учитывать следующие важные оговорки. Во-первых, данный простой метод применим только к убыткам, имеющим линейный характер. Это означает, что на каждой непроданной единице продукции мы теряем фиксированную сумму — в нашем примере 25 дол. Eсли изобразить график зависимости потерь от числа проданных изделий, то он будет иметь вид прямой (окажется линейным). Но когда скорость изменения потерь оказывается непостоянной, график EOLF может оказаться недостаточно точным. Например, если в роли неизвестной выступает сложная процентная ставка, то график потерь при любом пороге не будет представлять собой прямую. Следует отметить и то, что когда речь идет об усеченном нормальном распределении или распределениях, отличающихся от нормальных и равномерных, график может оказаться недостаточно хорошим приближением.
Перейдите на ссылку «Value of Information Analysis» («Анализ стоимости информации»). Вы можете скачать подробный калькулятор на базе Excel для определения стоимости информации с примерами из этой книги.
Если вы проводите важные измерения с высокой стоимостью информации, возможно, стоит проделать описанные мною дополнительные расчеты и разбить распределение на большое число мелких фрагментов. Но чтобы не составлять такую таблицу с нуля, скачайте таблицы «Анализа стоимости информации» и примеры со вспомогательного веб-сайта www.howtomeasureanything.com
Мир несовершенен: стоимость частичного снижения неопределенности
В последнем примере с ожидаемой стоимостью полной информации мы оценили затраты на полное устранение неопределенности, а не ее снижение. Расчет EVPI полезен сам по себе, поскольку, по крайней мере, позволяет узнать потолок стоимости информации, который не должен быть превышен при осуществлении измерений. Однако нередко приходится довольствоваться простым снижением неопределенности, особенно когда речь идет о прогнозе, например, роста продаж в результате проведения рекламных кампаний. В таких случаях полезно знать не только максимальную сумму, которую можно израсходовать в идеальных условиях, но и во что обойдется измерение в реальной жизни (обязательно сопровождаемое реальной погрешностью). Иными словами, нам надо знать ожидаемую стоимость информации, а не ожидаемую стоимость полной информации.
Ожидаемую стоимость информации также лучше всего рассчитывать с помощью более сложного моделирования, но мы можем сделать несколько простых оценок. Для этого полезно мысленно представить себе, как выглядит график зависимости EVI от объема информации (см. рис. 7.3).
Кривая EVI обычно имеет выпуклый вид и асимптотический характер. Значит, стоимость информации сначала стремится к быстрому росту с каждым небольшим снижением неопределенности, а затем, когда неопределенность приближается к нулю, стабилизируется. Как видно из рисунка, стоимость информации растет очень быстро, выходя на асимптоту на уровне EVPI (которую, конечно, никогда не превышает).
Необходимо также иметь в виду, что график EVI для нормального распределения обычно ближе к прямой, чем тот же график для бинарного или равномерного распределений. При нормальном распределении ожидаемая стоимость информации, снижающей неопределенность первоначального интервала значений вдвое, равна половине EVPI; информации, снижающей неопределенность в четыре раза, — одной четвертой EVPI и т. д. Кривая EVI для нормального распределения, конечно, не имеет вида прямой, поскольку должна приближаться к значению EVPI. При бинарном или равномерном распределении эта кривая обычно выгнута сильнее, чем при нормальном, поэтому с каждым новым измерением EVI растет быстрее.
Таким образом, стоимость информации, снижающей неопределенность вдвое, обычно превышает половину EVPI. В нашем примере с рекламной кампанией EVPI составляла 337 500 дол. Если вы считаете, что, потратив на исследования в 150 000 дол., удастся сократить неопределенность вдвое, то ваше исследование экономически оправданно (хотя, возможно, и не полностью). А если вы сумеете провести измерение за 30 000 дол., то это, очевидно, будет большой удачей.
Еще одна особенность кривой EVI, о которой необходимо помнить, особенно в случае равномерного распределения, заключается в следующем: график равномерного распределения плоский, резко обрывающийся на границах; значения за этими границами невозможны, а все значения внутри них равновероятны. Когда калиброванный эксперт желает тнести наш интервал (100 тыс. — 1 млн проданных единиц продукции) к равномерному распределению, этим он, в сущности, говорит, что вероятность продать больше 1 млн или меньше 100 тыс. единиц продукции равна нулю. Если мы сумеем осуществить измерение, которое, по крайней мере, позволит поднять нижнюю границу до уровня, превышающего порог в 200 тыс. проданных единиц продукции, то возможность убытков будет устранена. В такого рода примерах EVI быстро растет до точки, в которой неопределенность снижается ровно настолько, что появляется возможность устранить вероятность потерь. Разность между стоимостью информации, снижающей неопределенность вдвое и снижающей ее на три четверти, может оказаться весьма небольшой. Как только мы устраним возможность убытков (или определим наверняка, что их избежать не удастся), стоимость результатов любых дополнительных измерений окажется намного ниже.
Хотя описанный метод расчета EVPI с помощью рисунка 7.2 для нормальных распределений является аппроксимацией, погрешность ответа при нормальном распределении не должна превышать 10 %. Можно определить ожидаемую стоимость информации, помня о том, что она не должна превысить EVPI, и зная общую форму кривых EVI. На первый взгляд, мы нагромождаем одно приближение на другое, но в итоге получается достаточно точная оценка. Сам по себе расчет EVPI для предложенного измерения включает некую неопределенность, поэтому точность в расчете EVI не имеет большого смысла. Кроме того, стоимость информации о тех величинах, которые необходимо оценить, обычно очень высока. Нередко она в 10 или даже в 100 раз превышает стоимость результатов оценки менее важных переменных. Погрешность оценки EVI обычно ни на что не влияет.
Зная денежную стоимость результатов измерения, мы можем по-новому подойти к вопросу о том, что «измеряемо», а что нет. Когда кто-нибудь заявляет, что измерение стоит слишком дорого, мы должны спросить его: «По сравнению с чем?» Если измерение, которое снизит неопределенность вдвое, обойдется в 50 000 дол., но EVPI — 500 000 дол., то его, безусловно, нельзя назвать слишком дорогим. Но если стоимость информации равна нулю, затраты на любое измерение будут чрезмерными. Стоимость реализации результатов некоторых измерений может быть недостаточной (скажем, несколько тысяч долларов), чтобы экономически оправдать их осуществление, но все же не такой, чтобы эти результаты можно было проигнорировать. В таких случаях я стараюсь придумать приемы, которые позволят быстро снизить неопределенность. Один из них — просто позвонить другим экспертам.
Кривая EVI также показывает значение итеративных измерений. С приближением к обычно недостижимому состоянию полной определенности стоимость информации, как показывает эта кривая, стабилизируется, но кривая затрат на ее получение резко идет вверх. Это говорит о том, что к измерению нужно относиться как к итеративному процессу. Не пытайтесь попасть в десятку с первой же попытки. Каждый следующий этап измерения может сказать вам что-то новое о том, как следует провести очередной этап и стоит ли вообще его проводить.
«Уравнение прозрения»: стоимость информации меняет все
В своей практике консультанта я применяю чуть более сложный вариант описанной выше процедуры.
К 1999 г. я проверил свой метод количественного анализа на базе прикладной информационной экономики примерно на 20 крупных проектах инвестиций в ИТ. В каждом случае нужно было оценить от 40 до 80 величин, таких как первоначальные затраты на разработку, темп восприятия нововведений, рост производительности труда, рост доходов и т. д. При анализе каждого проекта я запускал макрос на основе Excel, который рассчитывал стоимость информации о каждой переменной. Это позволяло мне решить, какие величины необходимо определить в первую очередь.
Работая с этой программой, я стал замечать следующие закономерности.
• Стоимость информации о подавляющем большинстве переменных равна нулю, то есть существующий уровень неопределенности для них вполне приемлем и дальнейшие измерения были бы (это уже упоминалось в главе 3) экономически нецелесообразными.
• Особенно высока стоимость информации о тех переменных, которые клиенты обычно не оценивают. При обосновании предыдущих проектов эти важные величины ни разу не определялись.
• Стоимость информации о переменных, на определение которых обычно тратится больше всего времени и средств, очень невелика или просто равна нулю (то есть крайне маловероятно, чтобы их уточнение влияло на принимаемые решения).
Анализ всей проведенной мной работы по исследованию указанных проектов и расчету стоимости полученной информации позволил подтвердить выявленную закономерность. Я написал на эту тему статью под названием «The IT Measurement Inversion» («Инверсия ИТ-измерений»), которая была опубликована в «CIO Magazine» в 1999 г.[24]
Полученные впоследствии данные продолжали подтверждать мои первоначальные наблюдения. Однако я заметил, что данная тенденция характерна для проектов, касающихся не только ИТ, но и военной логистики, защиты окружающей среды, венчурного капитала и расширения производственных мощностей. Клиенты почти всегда удивляются тому, какая информация оказывается для них самой ценной. Снова и снова я убеждался: люди тратят массу времени, сил и денег на измерение того, что не имеет большой информационной стоимости, и игнорируют величины, действительно важные для принятия решений. В конце концов, я отказался от прежнего названия «Инверсия ИТ-измерений» и переименовал этот феномен в инверсию измерений. Ведь тенденция к оценке незначащих вещей и игнорированию важных факторов наблюдается в самых разных областях.
Более того, я часто вижу: начав измерять что-то совершенно иное (осознав его информационную ценность), клиенты рассматривают результат как настоящее открытие. Иными словами, если вы жаждете прозрения, обратите внимание на переменную, которую прежде игнорировали. Все эти мои наблюдения суммированы в рисунке 7.4.
При обосновании проекта экономическая стоимость результатов измерения переменной обычно обратно пропорциональна тому, какое значение придается ее оценке.
Поскольку организации в большинстве своем незнакомы с методами оценки стоимости проведения измерений, они измеряют совершенно не то, что им нужно. И дело вовсе не в том, что затраты на реализацию проекта не следует измерять, а в том, что им уделяется основное внимание, хотя неопределенность в других вопросах намного выше.
Яркой иллюстрацией инверсии измерений может служить пример моего клиента — крупной британской страховой компании, активно применявшей метод определения сложности и трудоемкости программного обеспечения, называемый балльной функциональной оценкой. Он был популярен в 1980–1990-е годы и использовался для расчета затрат труда на крупные программные разработки. Компания проделала большую работу и собрала первоначальные оценки, балльные функциональные оценки и данные о фактических затратах труда на реализацию более чем 300 проектов в области информационных технологий. Три-четыре штатных сотрудника занимались исключительно подсчетом баллов. Ранее компании еще не приходилось тратить столько сил на анализ отдельных аспектов планируемых проектов по созданию нового программного обеспечения.
Когда я сравнил балльные функциональные оценки с первоначальными, сделанными менеджерами проектов, и с окончательными затратами, рассчитанными автоматической системой учета рабочего времени, выявилась очень интересная закономерность. Дорогостоящий, занимающий много времени подсчет баллов дал результаты, чуть более точные, чем первоначальные расчеты, но в среднем довольно сильно отличающиеся от фактических затрат. Иными словами, балльная функциональная оценка была иногда ближе, а иногда дальше первоначальной от фактических затрат, определенных по завершении проекта.
Таким образом, компания не только тратила на измерения необычно много времени, но и делала это напрасно, поскольку никакого снижения неопределенности практически не происходило.
Инверсия измерений возникает по нескольким причинам. Во-первых, люди измеряют то, что умеют, или то, что, по их мнению, измерить легче. Наверное, вы знаете старый анекдот о пьяном, который ищет часы на хорошо освещенной улице, хотя знает, что потерял их в темном переулке. Он объясняет это тем, что на улице светлее. Если в компании принято пользоваться для анализа результатами опросов, то все, что определяется другими методами, чаще всего вообще не оценивается. Когда в организации умело пользуются методом анализа баз данных, значит, измеряется только то, что поддается оценке именно этим способом.
На последнем курсе университета мой преподаватель по количественным методам анализа часто говорил студентам: «Если ваш единственный инструмент — молоток, то каждая проблема — это гвоздь». Похоже, сказанное относится и ко многим компаниям и государственным учреждениям. У них есть излюбленные методы измерения. Хотя в некоторых фирмах существуют прекрасно отлаженные способы оценки, например влияния удовлетворенности потребителя на доходы, другие предприятия ими не пользуются и занимаются взамен теми малозначащими измерениями, которые привыкли проводить.
Кроме того, менеджеры любят осуществлять такие измерения, результаты которых могут их порадовать. Ну зачем, в самом деле, оценивать прибыль, если вы подозреваете, что она окажется нулевой? Конечно, в этом случае менеджеры рассуждают, как люди, которые просят деньги или создают видимость работы, а не как руководители, которые подписывают чеки.
Наконец, не зная деловой ценности информации, которая будет получена путем измерения, нельзя оценить и его сложность. Нередко оценки считаются сложными до тех пор, пока не выяснится, что стоимость этой информации намного превысит затраты на ее получение. Одна крупная компания, занимающаяся потребительским кредитованием, как-то попросила меня оценить эффект от инвестиций в ИТ-инфраструктуру на сумму свыше 100 млн дол. Ознакомившись с существом проблемы, я подсчитал, что проведение этой оценки должно обойтись примерно в 100 тыс. дол. Когда компания согласилась потратить не более 25 тыс. дол., я отказался от этой работы. Мой расчет (100 тыс. дол.) составлял менее 0,1 % от суммы намеченных этой компанией крайне рискованных инвестиций. В некоторых отраслях принято проводить гораздо более детальный, чем предложенный мной, анализ существенно менее рискованных инвестиционных проектов. По самой осторожной оценке, стоимость информации, полученной в результате таких исследований, составила бы миллионы долларов.
Я называю формулу расчета стоимости информации уравнением прозрения. Дело в том, что, желая совершить действительно важное открытие, вы почти всегда должны обратиться к тому, что раньше не попадало в сферу вашего внимания. Компании, научившиеся рассчитывать стоимость информации, переключают свое внимание совершенно на другие вещи и нередко узнают такое, что заставляет их менять принятые ранее решения.
Связь между неопределенностью, риском и стоимостью информации: первые измерения
Знание методов измерения неопределенности — ключевой фактор оценки риска. Осознание сути риска на количественном уровне — основа понимания того, как можно рассчитать стоимость информации. Стоимость информации нам нужна для того, чтобы выбрать объект и определить, какие усилия требуются для его измерения. Рассматривая все это в контексте количественного сокращения неопределенности, мы поймем, что же такое измерение.
Измерения — процесс итеративный. Самую ценную информацию мы получаем на начальном этапе измерений, поэтому разбейте весь процесс на несколько этапов и подведите итоги каждого из них.
Стоимость информации имеет значение. Не определив заранее эту стоимость, вы, скорее всего, измерите не то и не так.
Резюмируя все сказанное в этой главе, мы можем сформулировать несколько новых идей. Прежде всего, самую ценную информацию получают на начальном этапе измерений. Не стоит планировать масштабные исследования, если требуется измерить то, о чем сейчас вы практически ничего не знаете. Оцените хотя бы что-то, устраните хоть какую-то неопределенность и проанализируйте то, что вы узнали. Результат вас удивил? Нужны ли дальнейшие измерения? Не подсказали ли вам полученные на этом этапе данные, что следует изменить метод измерения? Итеративный подход дает возможность для маневра и максимизирует отдачу от усилий.
Наконец, если вы не рассчитали стоимость полученной информации, значит, измерили то, что, вероятно, не имеет особого значения, и проигнорировали действительно важные факторы. Более того, если вы не рассчитали стоимость информации, значит, возможно, не знаете, как эффективно измерять что-либо. Вы потратите на это слишком много или слишком мало времени, откажетесь от проведения важных измерений как слишком затратных, так как не можете сопоставить затраты со стоимостью полученной информации.
До сих пор в этой книге мы говорили только о первом этапе измерения того, что нередко часто считается не поддающимся количественной оценке. Взяв как будто слишком расплывчатое понятие, мы определили его смысл с учетом значения, которое оно для нас имеет, и выбрали способы наблюдения. Мы оценили неопределенность, риск и стоимость информации и можем теперь перейти к следующему этапу.
Любопытно, что именно на этом остановилось в свое время Управление по делам ветеранов, реализуя проект оценки надежности информационной технологии. Цель этого проекта состояла только в том, чтобы выявить объекты измерений, которые должны были проводиться в течение нескольких следующих лет. По мнению специалистов Управления, рассчитать стоимость информации было важно само по себе, так как на ее основе в дальнейшем можно было оценить все необходимые показатели надежности.
Далее нам предстоит сделать шаг вперед от простой констатации значения текущей неопределенности и расчета стоимости ее измерения. Теперь, когда мы знаем, что оценивать и сколько можно потратить на измерения, приступим к выбору подходящих способов осуществления этого процесса.
Часть III. Методы измерения
Глава 8. Переход от объекта к способу измерения
Применив уроки предыдущих разделов к своей задаче по измерению, вы определили объект наблюдения, количественно оценили имеющуюся неопределенность, связанную с ним, и рассчитали стоимость информации, которую хотите получить. Все это делается обычно до начала измерений. Теперь же мы должны подумать о том, как сократить неопределенность, иными словами, ее измерить.
Пришло время рассказать о нескольких эффективных и удобных в применении эмпирических методах. Мы уже дали определение термину «измерение», отметим, что часто используемое выражение «эмпирическое измерение», в сущности, избыточно. Ведь эмпирическим является факт, подтверждаемый наблюдениями (возможно, вы даже слышали такую избыточную фразу, как «эмпирическое наблюдение»). Эмпирические методы представляют собой формализованный систематизированный подход к осуществлению наблюдений, позволяющий предотвратить или, по крайней мере, снизить число допускаемых при этом ошибок определенного типа. Вопреки распространенному заблуждению наблюдение вовсе не сводится к визуальному. Наблюдать за явлениями даже не всегда нужно напрямую; эффективность можно повысить, используя инструменты измерения, что почти всегда и делается в естественных науках.
В научной литературе нередко описываются остроумные эмпирические методы, удивляющие и экспертов в данной области, и широкую публику. Многие, наверное, были бы поражены, узнав, что статистики нашли способ (о котором мы подробнее расскажем позже) определить число танков, произведенных Германией во время Второй мировой войны, на основе всего-навсего серийных номеров захваченных в боях машин. Был найден даже способ установить, когда у младенцев появляется пространственное зрение, хотя они в этом возрасте еще не разговаривают.
Однако мы обсуждаем то, что считают неизмеряемым в бизнесе. К счастью, подобные оценочные задачи, как правило, решаются не самыми сложными методами. Стоит еще раз напомнить, что цель книги — показать: многое из того, что менеджеры компаний считают не поддающимся измерению, на самом деле вполне можно оценить количественно. Вопрос только в том, заслуживает ли данный объект измерения, то есть не превысят ли связанные с этим затраты стоимость полученной в результате информации.
В большинстве своем подобные задачи решаются несколькими сравнительно простыми способами. На самом деле, как мы уже выяснили, реальным препятствием в этом является не отсутствие знания многочисленных сложных методов, а непонимание сущности измерения. В конце концов, в тех отраслях, где используются достаточно сложные методы оценки, дискуссии о возможности измерить тот или иной объект — большая редкость. Ведь все эти сложные методы разрабатывались, поскольку кто-то понял, что какой-то объект измерим. Ну зачем писать двухтомный трактат, например, по количественным методам клинической химии, если автор и целевая читательская аудитория с самого начала были уверены в принципиальной невозможности такого анализа?
Описывать специальные количественные методы, используемые в различных научных дисциплинах, я предоставлю другим. Ведь вы выбрали эту книгу потому, что хотите узнать, как математически строго обращаться с иными, «мягкими» объектами измерения.
В данной главе зададим себе следующие вопросы, которые помогут нам выбрать подходящую категорию методов измерения.
• Каковы составляющие интересующего вас объекта? Разложите неизвестный объект так, чтобы по составляющим, характеризующимся собственными неопределенностями, оценить целое.
• Как интересующий вас объект или его составляющие измерялись ранее? Вполне возможно, что вы не первый, кто столкнулся с подобной задачей, и что на данную тему даже существует обширная литература. Анализ работ других авторов называется вторичным исследованием.
• В чем проявляют себя выявленные вами составляющие объекта измерения? Вы уже ответили на вопрос, как можно наблюдать интересующий вас объект. Проделайте то же относительно его составляющих. Возможно, и в этом вам помогут вторичные исследования.
• Что на самом деле нам необходимо знать, чтобы проводить измерения? Примите в расчет оцененную ранее нынешнюю степень неопределенности, порог и стоимость информации. Все эти ориентиры помогут вам выбрать правильный подход к измерению.
• Что может вызвать ошибку? Подумайте над тем, каким образом наблюдения могут ввести вас в заблуждение.
• Какой инструмент следует выбрать? Ответы на предыдущие вопросы помогут вам выбрать или разработать подходящий инструмент измерения. Возможно, как и раньше, полезными окажутся вторичные исследования.
Теперь, не забывая об этих вопросах, мы можем обсудить, какие инструменты используются для измерения.
Инструменты наблюдения: введение в инструментарий измерений
Названия предметов и явлений, варианты изменения этих названий со временем немало рассказывают о развитии наших представлений. Хороший тому пример — научные инструменты. До промышленной революции, особенно в эпоху европейского Возрождения, их нередко называли инструментами философского поиска. Научные инструменты использовали для поиска ответов на «глубинные» вопросы того времени. Галилей с помощью маятника и наклонной плоскости, по которой он скатывал шарики, рассчитал ускорение свободного падения (история о том, как он бросал с Пизанской башни разные предметы, скорее всего, вымысел). Даниэль Фаренгейт с помощью ртутного термометра дал количественную оценку тому, что раньше называлось «качеством» температуры. Но эти устройства позволили не только назвать точные числа, но и узнать нечто новое о мире, в котором жили эти ученые. Каждое из устройств предоставило своим создателям возможность наблюдать за той стороной мира, которая ранее была скрыта от всеобщего обозрения.
А тех, кто пользовался этими приборами, называли в те времена даже не учеными, а натурфилософами, которые не пропадали день и ночь, как нынешние исследователи, в научных лабораториях, а были, скорее, хорошо образованными людьми. За немногими исключениями, они располагали и временем, и средствами, необходимыми для конструирования дорогостоящих устройств, или имели состоятельных покровителей — так же, как многие художники. Используемые ими приборы были нередко не только функциональными, но богато украшенными произведениями искусства и приобретались с целью продемонстрировать хороший вкус, а также научную любознательность (хотя иногда и то и другое было только видимостью).
В конце XIX века, во времена таких изобретателей, как Томас Эдисон и Александр Грейам Белл, исследования и разработки превратились в крупномасштабный бизнес. До этого инструменты нередко изготавливались по индивидуальному заказу; ко времени Эдисона и Белла научные приборы стали стандартными и началось их массовое производство. Кроме того, они приобрели более утилитарный вид. Если раньше просвещенные господа демонстрировали свои новые микроскопы гостям наряду с дорогими предметами искусства, то микроскопы изобретателей времен промышленной революции годились для показа только в лабораториях, условия работы в которых по нынешним меркам были просто каторжными. Неудивительно, что именно тогда наука и научные наблюдения стали ассоциироваться у широкой публики не с увлекательной погоней за глубокими знаниями, а с тяжелым и изнурительным трудом.
Даже сегодня для многих инструмент измерения обычно означает прибор (быть может, элемент сложного электронного оборудования), предназначенный для количественного определения какого-то малоизученного физического явления. Примеры — счетчик Гейгера для регистрации уровня радиации и служащие для определения массы весы. Однако многие специалисты в различных областях вкладывают в термин «инструмент» гораздо более широкий смысл. Так, в сфере образования исследователи называют инструментом опрос, тест или даже отдельный вопрос теста, и такое использование данного понятия вполне правомерно.
Как и любой другой инструмент, инструмент измерения дает своему пользователю определенные преимущества. Простой механический инструмент подобен рычагу, приумножающему мускульную силу человека. Аналогично инструмент измерения улучшает работу его органов чувств, обнаруживая вещи, незаметные при непосредственном наблюдении. Кроме того, он облегчает осмысление и запоминание, ускоряя расчеты и гарантируя сохранение их результатов. Даже тот или иной экспериментальный прием, безусловно, облегчает человеческое восприятие и поэтому тоже может считаться инструментом измерения. И стремясь узнать, как можно измерить все, что угодно, мы должны использовать данный термин именно в самом широком смысле слова.
Нередко менеджеры считают что-либо не поддающимся измерению просто потому, что данные о нем еще не собраны полностью и к ним нет легкого доступа. Они могут придумать, как оценить будущие продажи, — ведь необходимые для этого данные уже собрали и им предоставили. Но вряд ли таким управленцам сразу придет в голову мысль, что определение некоторых показателей потребует целенаправленного наблюдения с применением таких, например, инструментов измерения, как опрос или эксперимент.
Возможно, менеджеры проявляли бы больше изобретательности в использовании инструментов измерения, обладай они той увлеченностью, с какой охотились за тайнами окружающего мира Галилей и Фаренгейт. Эти естествоиспытатели относились к измерительным приборам не как к сложным приспособлениям, применяемым только посвященными для своих загадочных исследований. Устройства Галилея и Фаренгейта были просты и очевидны. От современных менеджеров они отличались и тем, что не забраковывали инструменты только из-за присущих им недостатков или ошибки измерения. Приборы всегда дают какую-то погрешность. Вопрос только: «По сравнению с чем?» По сравнению с наблюдением невооруженным глазом? По сравнению с нежеланием даже попытаться что-то измерить? Не забывайте: цель измерения — снижение неопределенности, а вовсе не обязательно ее полное устранение.
Обычно применение инструментов дает шесть преимуществ. Но если таких преимуществ и меньше, инструмент не перестает быть инструментом. Нередко даже одно преимущество — уже шаг вперед по сравнению с наблюдением невооруженным глазом.
1. Инструменты обнаруживают то, что вы заметить не можете. Вольтметр регистрирует напряжение в цепи, микроскоп увеличивает изображение, камера Вильсона фиксирует следы субатомных частиц. Эти свойства инструментов обычно вспоминают первыми, однако значение данного преимущества преувеличивают.
2. Инструменты более последовательны. Когда люди полагаются только на свои чувства, их выводы отличаются большой противоречивостью. Любой инструмент, будь то весы или опрос потребителей, как правило, дает более последовательные результаты.
3. Инструменты можно калибровать для учета ошибки измерения. Калибровка — это измерение объекта, чьи параметры вам известны, с целью проверки точности самого инструмента. Весы калибруют, поместив на них груз, масса которого, как мы знаем, составляет ровно 1 грамм. Мы калибровали вашу способность оценивать вероятность, задавая вопросы, ответы на которые известны. Таким же образом мы определяем, какую погрешность дает тот или иной инструмент.
Нередко погрешность инструмента можно компенсировать регулировкой. Так, в ходе управляемого эксперимента текущее состояние измеряемого объекта сравнивают с исходным. Если вы хотите узнать, привело ли внедрение автоматизированной системы продаж к росту числа повторных заказов, то должны сравнить результаты тех торговых представителей, которые ею пользуются, и тех, кто нет. Возможно, одни продавцы применяют данную систему чаще, чем другие, или она внедрена еще не во всех регионах и не для всех продуктовых линеек (подробнее об этом см. следующую главу).
4. Инструменты намеренно чего-то не замечают. Инструменты полезны тем, что игнорируют все, что искажает результаты наблюдения невооруженным глазом. Например, когда учителя проверяют экзаменационные работы, на которых не указаны фамилии учащихся, это исключает возможность того, что кто-то поставит завышенную оценку своему любимчику. В клинических научных исследованиях ни доктор, ни пациент не знают, кто принимает лекарство, а кто плацебо. Благодаря этому пациенты не могут исказить информацию о своих ощущениях, а доктор — свой диагноз.
5. Инструменты регистрируют. Хороший тому пример — старый добрый электрокардиограф, регистрирующий на длинной бумажной ленте сердечную деятельность. Конечно, сегодня вся документация ведется в электронном виде. Инструменты не полагаются больше на избирательную и ненадежную человеческую память. Игроки, например, обычно переоценивают свои способности потому, что на самом деле не следят за тем, сколько выигрывают и проигрывают. Ведь для них лучший показатель успеха — деньги на банковском счете.
6. Инструменты измеряют быстрее и дешевле, чем человек. Теоретически можно нанять достаточное число людей, чтобы они ежедневно и ежечасно пересчитывали все товары на полках большого продовольственного магазина. Но стандартные сканеры делают это дешевле. Полицейский может определить скорость машины с помощью часов с секундомером и указателей расстояния, но радар сделает это точнее, а главное, еще до того, как нарушитель скроется из виду. Даже если инструмент не дает больше никаких преимуществ, уже одно только снижение затрат оправдывает его использование.
С этой точки зрения, пастух, считающий овец с помощью веревки с узелками, тоже пользуется инструментом. Веревка калибрована, она регистрирует, и без нее пастух наверняка сделал бы больше ошибок. Методы выборки и экспериментальные приемы, даже не предполагающие использование каких-либо механических или электронных приборов, — сами по себе инструменты, причем их так нередко и называют. Кто-то может возразить против подобного широкого толкования понятия «инструмент измерения», указав, например, на то, что опрос клиентов не всегда обнаруживает информацию, которую человек обнаружить не в состоянии. Но опрос, по крайней мере, должен быть последовательным и калиброванным. А если он проводится по Интернету, то обойдется дешевле и проанализировать его результаты будет легче (подробнее об этом см. главу 13). Те, кто не считает опрос покупателей инструментом измерения, забывают о самой сущности измерения, о том, насколько приблизительными были бы их знания, не располагай они этим инструментом.
Существует столько методов измерения, предложенных для решения самых разнообразных задач, что ни одна книга не вместила бы в себя их подробного описания. Но это изобилие только лишний раз убеждает нас, что какая бы задача измерения ни возникла, ее решение уже существует. И хотя данная книга не претендует на звание энциклопедии измерения, несколько приведенных в ней широких категорий методов позволяют решать огромное число проблем. Более того, эти методы можно использовать в различных сочетаниях, получая таким образом разнообразные подходы к решению конкретных задач.
Памятуя о своей решимости измерить все, что угодно, повторим здесь еще раз четыре полезные предпосылки измерения, о которых мы говорили в главе 3.
1. Не изобретайте велосипед — это уже сделали до вас.
2. У вас есть доступ к гораздо большему объему информации, чем вам кажется, — требуются только изобретательность и исходные наблюдения.
3. Вам нужно меньше данных, чем вы предполагаете, если придумать, как их проанализировать.
4. Нужный вам метод измерения наверняка проще, чем казалось вначале.
Разложение на составляющие
Некоторые очень полезные методы, снижающие неопределенность, технически измерениями не являются, так как не предполагают проведения новых наблюдений. Однако нередко они очень помогают продвинуться в выборе подходящего способа измерения. Порой они позволяют оценщику понять, что на самом деле он знает больше, чем думал, когда давал первоначальную калиброванную оценку. Один из таких методов я называю «разложением на составляющие». Разложение на составляющие позволяет понять, как измерить что-то совершенно неизвестное, предварительно оценив его составляющие с меньшими неопределенностями или, по крайней мере, легче подающиеся измерению.
Многие измерения начинаются с разложения неизвестной величины на составляющие с целью выявления того, что можно наблюдать непосредственно и что легче поддается количественной оценке.
Если вы вспомните начало книги, то поймете, что Эратосфен в свое время осуществил именно разложение. Ведь он не стал измерять длину окружности Земли напрямую. Вместо этого он определил математическое соотношение между длиной окружности и проявляющимся в длине тени углом падения солнечных лучей на разных широтах. Длина тени и стала тем простым наблюдением, на основе которого Эратосфен сумел рассчитать то, что хотел. «Вопросы Ферми» — это тоже всего лишь прием, позволяющий разложить проблему на составляющие. Столкнувшись с трудной задачей по измерению, Ферми не опустил руки, а просто разделил ее на несколько и последовательно решил каждую из них. В то время как его исходную переменную (число настройщиков пианино Чикаго) определить было как будто невозможно, оказалось, что она является функцией других, более легких для оценки величин.
Фактически, большинство измерений в эмпирических науках осуществляются именно таким образом — опосредованно. Например, масса электрона и масса Земли были определены вовсе не по прямым наблюдениям. Были проведены другие исследования, которые и позволили рассчитать эти величины.
Разложение особенно полезно, например, при оценке затрат на реализацию крупного строительного проекта. Основываясь на прошлых затратах на аналогичные проекты, вы можете оценить их в 10–20 млн дол. Но когда разобьете свой конкретный проект на несколько составляющих и определите примерные диапазоны затрат по каждой из них, то получите, в конце концов, такой интервал совокупных затрат, который будет существенно уже первоначального. При этом вы не сделаете никаких новых наблюдений, а просто построите более развернутую модель на основе уже известных данных. Более того, вы можете обнаружить такую статью будущих затрат, о которой не знаете абсолютно ничего (например, затраты на оплату труда рабочих определенной специальности). И одно только это открытие уже сильно приблизит вас к желаемому результату.
Разложение может использоваться и при прогнозировании роста эффективности. Предположим, появился новый процесс или технология, способная повысить производительность труда определенной группы работников. Но, оценивая ее возможный рост, эксперты указали очень широкий интервал (5–40 %), объяснив это незнанием многих факторов, способных повлиять на данный показатель. Например, они не знают, сколько точно человек будет занято на участке, где внедряется данная технология.
Определение численности людей, занятых каким-либо видом деятельности, представляется простым и очевидным этапом этого измерения. Но те, кто уверен в неизмеримости какого-то фактора, обычно возражают и против этого. В подобных случаях большую помощь в преодолении подобных преград оказывают фасилитаторы.
Фасилитатор: Ранее вы сказали, что в случае внедрения новой автоматизированной программы управления документооборотом эффективность труда ваших инженеров увеличится на 5–40 %. Поскольку именно этот показатель несет особую информационную ценность для обоснования инвестиций в новое программное обеспечение, мы должны уточнить вашу оценку.
Инженер: Ну, это будет непросто. Разве можно измерить такую нематериальную вещь, как эффективность труда? Мы даже не следим за управлением документооборотом как за отдельным видом деятельности и поэтому не знаем, сколько времени тратится на него сейчас.
Фасилитатор: Однако вы, очевидно, предполагаете, что эффективность повысится — ведь на выполнение каких-то операций у инженеров будет уходить меньше времени, не так ли?
Инженер: Да, это так.
Фасилитатор: На какие виды деятельности инженеры тратят больше всего времени сейчас и на какие будут тратить его намного меньше после установки новой программы? Будьте как можно конкретнее.
Инженер: О’кей. Думаю, что они будут тратить меньше времени на поиск нужных документов. Но это только одна статья.
Фасилитатор: Хорошо. Начало положено. Сколько времени в неделю уходит на такие поиски сейчас и как, по вашему мнению, сократятся временные затраты? Пока что нам подойдут и калиброванные оценки.
Инженер: Ну, думаю, я на 90 % уверен, что средний инженер тратит на поиски нужных бумаг от одного до шести часов в неделю. Все технические условия на оборудование, чертежи, руководства и прочее хранятся в разных местах, при этом большинство не в электронном виде.
Фасилитатор: Хорошо. Сколько времени удастся сэкономить, если они будут сидеть за своими столами и просто делать запросы?
Инженер: Даже я, когда пользуюсь такими поисковыми машинами, как Google, все равно трачу много времени, отбрасывая ненужную информацию, поэтому компьютеризация уменьшит временные затраты вовсе не на 100 %. Но я уверен, что они сократятся, по крайней мере, вдвое.
Фасилитатор: Зависит ли это от вида деятельности инженеров?
Инженер: Конечно. Инженеры, выполняющие руководящие функции, тратят на это меньше времени. За них поиск документов выполняют подчиненные. А инженерам, занимающимся вопросами соблюдения законодательных и иных требований, постоянно приходится искать разные документы. Программой будут пользоваться и техники.
Фасилитатор: Отлично. Сколько инженеров и техников относятся к каждой из этих категорий и сколько времени каждый из них тратит на подобную деятельность?..
Так мы продолжали до тех пор, пока не выявили разные категории персонала, каждой из которых соответствовали свои временные затраты на поиск документов и свой потенциал снижения этих затрат. Сотрудники компании могут отличаться друг от друга и по темпам освоения новой технологии, и по другим признакам.
Приведенный выше диалог фактически является реконструкцией реального разговора, состоявшегося у меня с инженерами одной крупной американской АЭС. На нашей встрече мы определили и другие функции, такие как дистрибуция, контроль качества и т. д., затраты времени на выполнение которых могут сократиться с внедрением автоматизированной системы управления документооборотом. Время выполнения этих функций также зависело от служебных обязанностей инженера или техника.
Короче говоря, причиной такого широкого интервала значений возможного роста эффективности труда, который указали инженеры АЭС, частично оказалось то, что они знали обо всех этих различиях между инженерами, выполняющими разные обязанности, но не смогли разбить их по категориям. Когда это было сделано, обнаружилось, что некоторые величины (например, число инженеров в каждой группе или разное время поиска документов инженерами разных категорий) были известны и что неопределенность исходного значения объяснялась в основном незнанием всего одного или двух показателей. Если бы мы обнаружили, что в затратах времени на копирование или поиск потерянных документов они сомневаются больше, чем в том, в какие группы нужно объединить инженеров, то начали бы свои измерения с выяснения информации о затратах, а не с распределения работников по категориям.
Эффект разложения на составляющие состоит в том, что сам процесс нередко обеспечивает такое значительное снижение неопределенности, что дальнейшие наблюдения становятся ненужными.
За последние 10 лет мне довелось 55 раз анализировать соотношение риска и доходности, при котором приходилось учитывать в общей сложности более 3300 переменных, то есть в среднем примерно по 60 переменных на один проект. Из них лишь около 120 (всего по две на один проект) потребовали дополнительного уточнения после определения стоимости информации. Большинство из этих 120 величин (около сотни) пришлось разложить на более легкие для оценки составляющие. Прочие переменные поддавались оценке более прямыми и очевидными методами. Например, чтобы определить расход топлива у грузовика при движении по дороге, покрытой гравием, было достаточно просто проехать на нем с включенным расходомером, а оценить число вирусов в программном обеспечении можно было, выборочно проверив коды.
Почти треть из тех переменных, что были разложены на составляющие (около 30), не потребовали после разложения дальнейшего уточнения. Иными словами, около 25 % всех измерений с высокой стоимостью были произведены с помощью одного только разложения. Калиброванные эксперты уже знали о данной переменной вполне достаточно, они просто нуждались в более развернутой модели, точнее выражавшей имевшиеся у них знания.
Нам пришлось оценить одну или более составляющих примерно двух третей всех разложенных на элементы переменных. Например, разрабатывая прогноз роста эффективности труда, мы попросили группу работников оценить время, затрачиваемое ими на определенный вид деятельности. Для таких величин разложение на составляющие стало важным шагом вперед к пониманию способа, каким их можно оценить. Весь процесс разложения сам по себе — процесс постепенного прозрения скептиков, считающих объекты и явления не поддающимися измерению. Используя разложение, мы, подобно инженеру, перед которым поставили непростую задачу построить подвесной мост совершенно новым способом, методично решаем все проблемы измерения, разлагая их на элементы. Как и этому инженеру-мостострои-телю, анализ составляющих на каждом этапе позволяет нам заново сформулировать и уточнить стоящую задачу. Разложение на составляющие переменной, «не поддающейся оценке», — важный этап, иногда он и сам по себе достаточно снижает неопределенность.
Вторичные исследования: предположим, что до вас этот объект уже измеряли
Читать бесплатно другие книги:
