Как измерить все, что угодно. Оценка стоимости нематериального в бизнесе Хаббард Дуглас
Если мы построим кривую, которую дает нам эта простая формула, на уже построенном нами графике, то он приобретет вид, представленный на рисунке 9.7.
Согласно рисунку 9.7, хотя корреляция и имеется, рейтинг зависит не только от продолжительности рекламы. Эта информация вместе с итогами управляемого эксперимента позволяет нам ответить на пресловутый вопрос: «Откуда мы это знаем, если есть и другие факторы?» Ясно, что длительность раскрутки имеет значение для рейтинга, и неважно, определены ли количественно эффекты от действия других факторов и даже выявлены ли они вообще.
Преимущество инструмента «Regression» («Регрессия») программы Excel над такими более простыми функциями, как =correl(), заключается в том, что он позволяет выполнять так называемую множественную регрессию. Таким образом, возникает возможность одновременно рассчитывать коэффициенты для нескольких независимых переменных. При желании мы могли бы создать модель, связывающую рейтинг не только с продолжительностью рекламы, но и со временем года, категорией шоу, откликами фокус-группы и несколькими другими факторами. В таблице 9.5 каждая из этих дополнительных переменных имела бы свой коэффициент «Переменная X2», «Переменная X 3» и т. д. В итоге мы получили бы следующую формулу:
Прогнозируемый рейтинг (пункты) = Переменная X 1 Продолжительность раскрутки (недели) + Переменная X2 Результаты фокус-группы +… + Отрезок, отсекаемый на оси координат.
Сказав все это, необходимо также сделать ряд предостережений. Во-первых, корреляция не означает причину. То, что одна переменная коррелирует с другой, не обязательно означает, что одна их них обусловливает другую. Церковные пожертвования и продажа алкоголя между собой коррелируют, но вовсе не потому, что между производителями алкоголя и духовенством есть какой-то сговор, а потому, что и то и другое зависит от состояния экономики. Как правило, чтобы утверждать, что между какими-то явлениями существует причинно-следственная связь, помимо наличия корреляции нужны дополнительные основания. В случае соотношения рейтинга и длительности рекламы такие основания у нас действительно есть.
Во-вторых, не забывайте о том, что это простые линейные регрессии. Взяв не саму переменную, а какую-нибудь ее функцию (например, ее квадрат, инверсию, произведение двух переменных и т. д.), можно рассчитать корреляцию еще точнее. При желании читатели могут с этим поэкспериментировать. Наконец, в моделях множественной регрессии вы должны следить за тем, чтобы независимые переменные не коррелировали друг с другом. В идеале между независимыми переменными не должно быть никакой связи.
Я лишь коснулся основ множественного регрессионного моделирования. Этот инструмент очень полезен, но пользоваться им необходимо с осторожностью.
Глава 10. Кое-что о Байесе
Простая байесовская статистика
Курс экономической статистики в первом семестре знакомит студентов с рядом методов, основанных на нескольких «делаемых для простоты» допущениях, хотя нередко эти допущения мало что упрощают. А в дальнейшем студенты узнают о таких более «продвинутых» методах, которые лично мне всегда казались более интуитивными, чем составляющие содержание предыдущих разделов.
Главное допущение, которое делается в большинстве вводных курсов статистики, заключается в следующем: единственное, что вы знаете о некоей генеральной совокупности, — это образцы, которые вы собираетесь из нее выбрать. Но на практике это допущение почти всегда неверно.
Предположим, что вы отбираете несколько торговых представителей для опроса на тему, существует ли связь между произошедшим недавно ростом продаж и проведенной ранее рекламной кампанией. Вы хотите оценить «вклад рекламной кампании в объем продаж». Для этого можно просто опросить весь торговый персонал. Но ведь изначально вы знаете больше, чем то, что расскажут вам эти люди. Вам и до опроса было кое-что известно о прошлой динамике продаж и об эффекте, который давали рекламные компании. Вы имеете сведения о сезонных колебаниях объема сбыта, влиянии экономического цикла и роли мер по повышению доверия потребителей. Имеет ли это какое-либо значение? Интуитивно мы понимаем, что предварительные данные также должны учитываться. Но пока студенты не доберутся до последних разделов своего учебника, им так и не расскажут, что нужно делать с этим знанием.
1. Вся традиционная статистика исходит из того, что наблюдатель ранее не располагал никакой информацией об объекте наблюдения.
2. В реальном мире данное допущение почти никогда не выполняется.
Проблему прежних знаний изучает так называемая байесовская статистика. Автор этого метода — Томас Байес, британский математик и пресвитерианский священник XVIII века, самые известные работы по статистике которого были опубликованы только после его смерти. Байесовская статистика занимается вопросом: как мы корректируем свое предварительное знание с учетом новой информации? Байесовский анализ начинается с того, что известно сейчас, и затем рассматривает, как это знание изменится с получением новых сведений. А небайесовская статистика, преподаваемая в большинстве курсов по методам выборочного наблюдения, исходит из следующего: все, что известно о некоей группе объектов, — это выборка, которую вы только что из нее сделали.
Фактически, именно байесовский анализ лежит в основе большинства иллюстраций, приведенных мною в главе 9, в том числе таблицы для определения 90-процентного CI без математических расчетов. Например, составляя рисунок 9.2, изображающий 90-процентный CI для доли в генеральной совокупности при малой выборке, я сначала предположил, что, если нет иных данных, внутри подгруппы значения этого CI распределены от 0 до 100 % равномерно. Рассчитывая вероятность нахождения медианы по ту или иную сторону порогового значения (см. рис. 9.4), я начинал с исходного соображения: существует вероятность 50 %, что истинная медиана генеральной совокупности лежит по одну из сторон от порога. И в том, и в другом случаях я исходил из максимальной неопределенности.
Теорема Байеса гласит, что вероятность наступления «события» при условии проведения «наблюдения» равна произведению вероятности наступления события и вероятности проведения наблюдения при условии наступления события, деленному на безусловную вероятность проведения наблюдения (см. рис. 10.1).
Предположим, решается вопрос о выпуске нового продукта. Согласно данным за прошедшие периоды, новые продукты приносили прибыль в первый год только в 30 % случаев. Математик записал бы это утверждение следующим образом: P(FYP[29]) = 30 %, то есть вероятность получения прибыли в первый год выпуска продукта составляет 30 %. Нередко до старта массового производства осуществляется тестирование сбыта. Для всех случаев, когда новый продукт дал прибыль уже в первый год реализации, пробные продажи были удачными (под удачными продажами мы подразумеваем достижение определенного порогового объема реализации) только на 80 %. Математик записал бы это следующим образом: P(S|FYP) = 80 %, то есть «условная» вероятность успеха тестирования сбыта (S, successful — успешный) при услови, что производство продукта оказалось прибыльным уже в первый год (черта «|» означает «при условии»), равна 80 %.
Однако значение вероятности успеха пробных продаж при условии, что производство данного продукта принесло прибыль в первый же год, — вовсе не тот показатель, который нас интересует. Что мы в действительности хотели бы знать, так это вероятность получения прибыли в первый же год при условии, что тестирование сбыта окажется удачным. Таким способом рынок подскажет нам, стоит ли запускать серийное производство продукта. Данный вопрос и позволяет выяснить теорема Байеса. Перепишем уравнение теоремы Байеса, подставив в него следующие обозначения интересующих нас функций:
• P(FYP|S) — вероятность получения прибыли в первый же год при условии удачного тестирования сбыта, иными словами, вероятность наступления события FYP при условии S;
• P(FYP) — «безусловная» вероятность получения прибыли в первый же год;
• P(S) — «безусловная» вероятность удачного тестирования сбыта;
• P(S|FYP) — вероятность удачного тестирования сбыта при условии получения прибыли в первый же год.
Допустим, что пробные продажи были удачны в 40 % случаев. Чтобы рассчитать вероятность получения прибыли от продукта в первый же год при условии удачного тестирования сбыта, перепишем приведенное выше уравнение следующим образом:
P(FYP|S) = P(FYP) P(S|FYP)/ P(S) = 30 % 80 %/40 % = 60 %.
Если пробный рынок показал успех, то вероятность получения прибыли в первый же год составляет 60 %. Заменив два числа в уравнении, мы можем рассчитать и вероятность получения прибыли в первый же год в случае неудачных пробных продаж. Как было показано, вероятность успеха тестирования реализации прибыльного продукта 80 %. Поэтому вероятность провала пробных продаж равна 20 %. Это можно записать следующим образом: P(~S|FYP) = 20 %. Аналогично, если вероятность удачных пробных продаж всех продуктов 40 %, то общая вероятность неудачи, или P(~S), равна 60 %. Заменив в нашем уравнении P(S|FYP) и P(S) на P(~S|FYP) и P(~S), получим:
P(FYP|~S) = P(FYP) P(~S|FYP) / P(~S) = 30 % 20 %/60 % = 10 %.
Таким образом, провальный результат тестирования рынка дает вероятность получения прибыли в первый же год в размере всего 10 %.
Иногда, не зная вероятности получения некоего результата, мы можем оценить вероятности других событий и затем рассчитать на их основе нужный показатель. Предположим, что данных о коэффициенте успеха тестирования рынка в прошедшие периоды у нас нет, так как это первые пробные продажи. Мы можем рассчитать данную величину на основе других. Калиброванный эксперт уже оценил P(S|FYP) — вероятность успешных пробных продаж продукта, который принесет прибыль в первый же год: P(S|FYP) = 80 %. Допустим теперь, что эксперт оценил и вероятность удачных пробных продаж продукта, выпуск которого окажется в итоге убыточным (классическим примером может служить «New Coke»): P(S|~FYP) = 23 %. Как и ранее, мы знаем, что вероятность прибыли от продукта в первый же год P(FYP) составляет 30 %, значит, вероятность того, что это не случится, P(~FYP) будет равна 70 % — [1 — P(FYP)]. Если мы суммируем произведения каждой условной вероятности на вероятность выполнения данного условия, то получим общую вероятность наступления данного события. Тогда:
P(S) = P(S|FYP) P(FYP) + P(S|~FYP) P(~FYP) = 80 % 30 % + 23 % 70 % = 40 %.
Этот этап может оказаться очень полезным, потому что в некоторых случаях расчет вероятности получения определенных результатов при определенных условиях прост и очевиден. Составить большинство иллюстраций из приведенных в главе 9 мне помогли такие вопросы, как: «Если к данной группе действительно относятся только 10 % всех объектов генеральной совокупности, то какова вероятность того, что из 12 случайно выбранных человек пятеро будут принадлежать к этой группе?» или: «Если медиана затрат времени на анализ жалоб потребителей составляет более часа, то какова вероятность того, что временные затраты 10 из 20 случайно выбранных человек окажутся менее часа?»
В каждом из этих примеров мы можем рассчитать вероятность наступления события А при условии наступления события В, если знаем эти вероятности и вероятность наступления события В при условии наступления события А. Данный математический прием называется байесовской инверсией, и те, кто начинает использовать его в одной области, быстро обнаруживают применимость инверсии и во многих других сферах. Особенно полезной байесовскую инверсию находят те, кто рассматривает проблемы измерения так же, как в свое время это делали Эмили, Энрико и Эратосфен. Более специальные вопросы, связанные с инверсией, мы рассмотрим позднее, а пока попытаемся объяснить ее на интуитивном уровне. Ведь, возможно, и вы, сами того не осознавая, уже применяли этот прием. Вполне вероятно, что вы обладаете врожденным байесовским инстинктом.
Используйте свой природный байесовский инстинкт
Проблему иного качественного знания о выборочной совокупности, которым вы обладаете, не решают даже некоторые передовые методы статистики. В описанном ранее примере с рекламной кампанией вы могли бы проработать с людьми отдела сбыта весьма продолжительное время и узнать (и это знание было бы качественным), что Боб обычно оценивает ситуацию слишком оптимистично, Мануэль всегда все взвешивает, а Моника любит осторожничать. И, конечно, вы по-разному отнеслись бы к мнениям того сотрудника, которого знаете очень хорошо, и новичка. Как статистика учитывает эти знания? Если отвечать односложно, то она их вообще не учитывает, во всяком случае, тот ее вводный курс, который изучают тысячи людей.
К счастью, существует способ справиться с этой проблемой, причем намного более простой, чем любой раздел статистики за первый семестр. Назовем его инстинктивным байесовским подходом, суть которого заключается в следующем:
1) сначала нужно дать объекту (явлению) свою калиброванную оценку;
2) затем необходимо собрать дополнительную информацию (провести опрос, изучить работы других исследователей и т. д.);
3) далее нужно чисто субъективно скорректировать свою калиброванную оценку без дополнительных расчетов.
Я называю это инстинктивным байесовским подходом, так как есть основания считать, что когда люди получают новую информацию и уточняют свои прежние знания, они делают это способом, который можно охарактеризовать как байесовский. В 1995 г. психо-логи-бихевиористы Калифорнийского технологического института Махмуд А. Эль-Гамаль и Дэвид М. Гретер изучали, как люди учитывают первоначальные знания и новые сведения, оценивая вероятность каких-либо событий[30]. Они попросили группу из 257 студентов угадать, из какого из двух лотерейных барабанов были извлечены шарики. В каждом барабане находились шарики, помеченные буквами «N» и «G». В одном барабане их было поровну, а в другом шариков с буквой «N» было больше. Шарики вынимались шесть раз, и студентам объявляли, сколько всего шариков каждого вида было вынуто.
Итак, задача состояла в том, чтобы определить, из какого барабана были взяты шарики. Студент, который видел, что в выборке из шести шариков, например, пять с буквой «N» и только один с буквой «G», мог решить, что они взяты из барабана с преобладанием шариков, помеченных буквой «N». Однако перед каждым извлечением шести шариков присутствующим говорили, что сами барабаны выбираются случайным образом с вероятностью один к двум, один к трем и два к трем. И вот ответы студентов показали, что они как будто интуитивно использовали байесовскую инверсию и при этом слегка переоценивали значение новой и недооценивали значение старой информации. Иными словами, они не были идеальными байесианцами, но все же, скорее, были ими.
Я также думаю, что будь на их месте калиброванные оценщики, они проявили бы байесианские качества лучше. Ведь студенты, принимавшие участие в исследовании, как и большинство обычных людей, были слишком уверены в своих ответах. А калиброванный специалист, не будучи слишком самоуверенным, все же обладал бы этим базовым байесовским инстнктом.
В нескольких построенных мною моделях использовались определенные калиброванными оценщиками условные вероятности самых разных событий. В 2006 г. я задал калиброванным экспертам из одной государственной структуры следующие пять вопросов.
A. Какова вероятность того, что через четыре года президентом будет демократ?
B. Какова вероятность того, что ваш бюджет через четыре года увеличится при условии, что президентом будет демократ?
C. Какова вероятность того, что ваш бюджет через четыре года увеличится при условии, что президентом будет республиканец?
D. Какова вероятность того, что ваш бюджет через четыре года увеличится?
E. Если ваш бюджет через четыре года увеличится, то какова вероятность того, что это произойдет в период президентства демократа?
Отвечая на эти вопросы, инстинктивный байесианец руководствовался бы теоремой Байеса. Если бы первые три вероятности (A, B и C) он оценил как 55, 60 и 40 %, то, чтобы быть последовательным, четвертую и пятую вероятности (D и E) он должен был бы определить, соответственно, в 51 и 64,7 %. Ответ на четвертый вопрос следовало бы записать так: A B + (1 — A) х C, строго говоря, не из-за теоремы Байеса, а из-за необходимости правильно сложить условные вероятности. Иными словами, вероятность наступления некоего события равна вероятности выполнения некоего условия, умноженной на вероятность наступления данного события в случае выполнения этого условия, плюс вероятность того, что это условие не будет выполнено, умноженная на вероятность наступления этого события в случае невыполнения этого условия. Поэтому байесианец ответил бы на вопросы A, B, D и E таким образом, чтобы B = D / А Е.
Это не всегда неочевидно, но, тем не менее, большинство калиброванных экспертов по принятию решений интуитивно дают ответы, удивительно близкие к удовлетворяющим этому требованию. Допустим, что в нашем последнем примере ответы калиброванного эксперта на вопросы A, B и С были 55, 70 и 40 %. Но его ответы на вопросы D и E были 50 и 75 %, хотя, по логике, при таких ответах на предыдущие вопросы они должны были быть 56,5 и 68,1 %, а не 50 и 75 %. На рисунке 10.2 мы показываем, как субъективные ответы на эти вопросы соотносятся с расчетными байесовскими значениями.
Обратите внимание: для того, чтобы согласовываться с другими субъективными ответами, одно из пары байесовских значений должно быть меньше нуля, а другое — больше 100 %. Очевидно, что эти значения противоречили бы здравому смыслу, но когда калиброванные эксперты давали свои субъективные оценки, они не знали, что возникнет такая проблема. Однако в большинстве случаев полученные ответы оказались даже более близкими к «собственно байесовским», чем ожидали калиброванные эксперты (см. рис. 10.2).
На практике для того, чтобы сделать субъективные калиброванные оценки условных вероятностей внутренне непротиворечивыми, я применяю специальный метод, который называю байесовской коррекцией. Я сообщаю калиброванным экспертам, какими могли быть байесовские ответы на некоторые вопросы с учетом их ответов на другие вопросы. Затем они меняют свои оценки до тех пор, пока все их субъективные калиброванные вероятности не окажутся, по крайней мере, совместимыми друг с другом.
Интересно, что, сравнивая новую информацию со старой, люди обычно мыслят максимально логично, что крайне важно, поскольку человек способен учитывать качественную информацию, не вписывающуюся в стандартную статистику. Например, при составлении прогноза возможного влияния новой политики на имидж компании в глазах общественности (что измеряется снижением числа жалоб потребителей, ростом доходов и т. п.) калиброванный эксперт должен был бы дополнить имевшиеся у него сведения «качественной» информацией о том, какую роль эта политика сыграла в других компаниях, результатами обсуждения в фокус-группах и т. д. Даже когда имеется информация только о выборке, калиброванный специалист, обладающий байесовским инстинктом, принимает во внимание такую качественную информацию о выбранных объектах, которую не учитывают обычные статистические методы.
Убедитесь в этом сами, попытавшись ответить на следующий вопрос: увеличатся ли доходы вашей компании в следующем году? Укажите сначала свою калиброванную вероятность. Затем опросите двух-трех компетентных в этом вопросе сотрудников. Пусть они не только выскажут свое мнение, но и как-то его аргументируют, приведут какие-то детали. Теперь предложите другую субъективную вероятность того, что доходы компании увеличатся. Эта новая оценка наверняка будет отражать полученную вами новую информацию, даже если она и была по большей части качественной.
На рисунке 10.3 калиброванный эксперт (обладающий байесовским инстинктом и не страдающий как избытком, так и недостатком уверенности) сравнивается с тремя другими специалистами — использующим традиционные небайесовские методы выборки, такие как t-статистика, некалиброванным оценщиком и чистым байесовским оценщиком. Эта концептуальная схема показывает нам, как соотносятся с байесовским используемые ими подходы. Одна ось показывает, насколько специалисты уверены в своих оценках по сравнению с реальной вероятностью правильности их оценок, другая ось — насколько они учитывают предыдущую информацию.
Метод может вызвать опасения тех, кто считает себя сторонником «объективного» измерения, но это беспокойство беспочвенно. Во-первых, я уже показал, что субъективные оценки калиброванных экспертов обычно ближе к разумным величинам, чем к противоречащим здравому смыслу. Во-вторых, этот метод работает там, где «объективная» статистика из первого семестра оказывается бесполезной и единственная альтернатива — вообще ничего не оценивать. В-третьих, те же самые люди постоянно бессознательно пользуются данным методом, принимая личные решения. Например, читая статью о возможном снижении цен на жилье, они принимают в результате решение купить или продать дом вовсе не потому, что используют приведенные в ней данные в своей модели, а потому, что извлекают из нее определенную качественную информацию.
В то же время существуют способы устранения тех недостатков, которые действительно имеются у описываемого метода. Ведь он опирается на субъективные суждения, что создает возможности для различного типа искажений, обсуждавшихся ранее. Вот некоторые приемы, позволяющие избежать искажений при использовании инстинктивного байесовского подхода.
Неоднородный бенчмаркинг и его использование для оценки «ущерба бренду»
Все, что вам нужно представить в количественной форме, можно каким-то образом измерить. В любом случае это даст лучший результат, чем если не проводить измерений вовсе.
Одна из трудностей, с которыми столкнулись эксперты в задаче по определению среднего веса леденца (см. главу 9), заключалась в невозможности сравнить его с весом другого объекта для наглядности. Один эксперт заявил: «Не представляю себе, как может выглядеть один грамм леденцов», а другой отметил: «Я вообще плохо определяю на глаз вес маленьких предметов».
А что, если я подсказал бы им: визитная карточка весит примерно 1 г, 10-центовая монета — 2,3 г, а большая скрепка для бумаги — ровно 1 г? Помогло бы это сузить диапазоны предлагаемых ими значений? Кое-кому это было очень полезно, особенно если первоначально указанный ими диапазон был достаточно широким. Получив мою информацию, один человек, который сначала считал, что верхняя граница диапазона может составлять 20 г, сразу же опустил ее до 3 г. Люди корректируют свои оценки потому, что, как мы теперь знаем, все они, особенно калиброванные оценщики, являются интуитивными байесианцами. Они склонны довольно рационально обновлять первоначальную информацию, которой обладали, учитывая новые сведения, даже если те носят качественный характер или имеют к оцениваемому объекту отдаленное отношение.
Я называю этот метод обновления прежнего знания, основанный на сравнении с другими, непохожими, но неким образом связанными с объектом прдметами, «неоднородным бенчмаркингом». Когда люди не могут представить себе, как выглядит какая-то величина, подобная информация о масштабе, пусть даже относящаяся к другим предметам, может оказаться очень полезной. При оценке возможного спроса на ваш продукт в новом городе вам пригодятся данные о спросе на него в других городах и даже сравнительные данные об экономическом уровне разных городов.
Неоднородный бенчмаркинг — метод, при котором калиброванным экспертам, оценивающим неизвестную величину, предоставляют в качестве ориентиров другие количественные показатели, даже если связь между ними и кажется отдаленной.
Пример: прогнозирование продаж нового продукта на основе информации о сбыте других товаров или аналогичных конкурентных продуктов.
Неоднородный бенчмаркинг проводился, в частности, в нашем примере с информационной безопасностью. В главах 4–6 я показал, как можно моделировать разные риски для безопасности, используя диапазоны значений и вероятности. Но похоже, что область информационной безопасности — неисчерпаемый источник как курьезных представлений о неизмеряемости многих вещей вообще, так и примеров подобных «нематериальных» объектов. Одна из таких неизмеримых величин — «мягкие» затраты, которыми чреваты определенные катастрофические события.
Кому не раз доводилось сталкиваться с сопротивлением проведению измерений в области информационной безопасности, так это Питеру Типпетту из компании Cybertrust. Работая над своим дипломом и кандидатской диссертацией по биохимии, он сделал то, что не пришло в голову никому из его сокурсников: создал первую антивирусную программу, получившую впоследствии известность как Norton Antivirus. Затем Типпетт провел ряд исследований с участием сотен организаций с целью сравнительной оценки рисков для разных угроз безопасности. Казалось бы, мнению такого человека об измеряемости безопасности, безусловно, можно доверять. Тем не менее у многих специалистов в сфере IT сама идея проведения подобных измерений, похоже, вызывает острое неприятие.
Типпетт предложил свой подход к решению проблемы, состоящий в том, чтобы задаться вопросом: «Насколько ужасно будет, если..?» Согласно такому подходу, специалисты по информационной безопасности решают, существует ли малейшая вероятность наступления такого катастрофического события, которое необходимо предотвратить любой ценой. Типпетт замечает: «Поскольку катастрофа может произойти в любой области, превентивные меры должны приниматься везде. Думать о приоритетах здесь не приходится». Он приводит следующий конкретный пример. «Одна компания из списка „Fortune 20“ выделила на реализацию 35 своих проектов в сфере информационных технологий 100 млн дол. Руководитель ее информационной службы захотел узнать, какие из проектов важнее, и получил от своих подчиненных ответ, что этого никто не знает и знать не может».
Одно из тех ужасных событий, наступление которых предвидит Типпетт, — это ущерб для бренда, ухудшение имиджа компании в глазах общественности. По мнению эксперта по безопасности, не исключено, что хакеры могут взломать сервер, украсть и использовать в своих целях какую-либо важную информацию — истории болезней из медицинского учреждения или данные о владельцах кредитных карт. Далее можно вообразить, что раз это происшествие так повредит имиджу компании, его необходимо предотвратить любой ценой и при любой, самой малой вероятности наступления такого события. Поскольку точно оценить вероятность такого ущерба или его сумму невозможно, это позволяет эксперту утверждать, что защита от хакеров так же необходима, как меры по предотвращению любой другой возможной катастрофы, и поэтому средства на защиту должны быть выделены без вопросов.
Но Типпетт не согласен с мнением, что масштабы проблемы ущерба для бренда и других нежелательных событий нельзя различить. Он предложил оценивать то, что объединяет гипотетические примеры ущерба бренду с реально имевшими место событиями. Например, он спрашивает, во что компании обошлись часовой сбой в работе электронной почты и другие нежелательные события. Затем следует новый вопрос: «Насколько велик этот ущерб по сравнению с..?» («примерно такой же», «вдвое меньше», «в 10 раз больше» и т. д.)
Специалисты Cybertrust уже получили некоторое представление о сравнительной шкале ущерба от различных нежелательных событий после анализа материалов экспертиз 150 случаев взлома баз данных о клиентах. В основном это были сведения о кражах данных карточек MasterCard и VISA.
Специалисты Cybertrust провели опросы руководителей компаний и широкой общественности по поводу восприятия ими ущерба бренду. Кроме того, они сравнили фактические убытки от снижения курса акций компании после подобных нежелательных событий. Благодаря этим опросам и сопоставлениям Типпетт сумел доказать, что ущерб бренду, нанесенный кражей хакерами клиентских данных, превышает потери от неправильного хранения резервной копии всей информации.
Сравнение с несколькими ориентирами позволило выявить разницу в масштабе ущерба от разных типов катастроф. Какой-то ущерб бренду был больше урона от одних событий, но меньше потерь от других. Более того, появилась возможность рассчитать «ожидаемые» убытки на основании относительных уровней потерь и их вероятностей.
Заслугу Типпетта в решении данной проблемы переоценить невозможно. До его исследований компании даже не представляли, насколько большим может быть ущерб бренду, даже порядка этой величины. А теперь они, по крайней мере, могут оценить масштабы вопроса и понимают значение снижения различных угроз безопасности.
Сначала руководство одной компании — клиента Типпетта — отнеслось к его результатам с известным недоверием, но, как пишет он сам, через год число скептиков сократилось до одного, а все остальные уже стали его сторонниками. Наверное, оппонент Типпетта продолжал утверждать, что устранить неопределенность по этому вопросу не смогут никакие наблюдения. Но когда приходится оценивать такие явления, как возможный ущерб бренду, неопределенность обычно столь высока, что определение одного только масштаба чисел уже позволяет ее снизить, а значит, и провести измерение.
Конечно, ваша компания вряд ли станет проводить опросы в 100 других организациях, чтобы осуществить нужную оценку. Но в этом и нет необходимости, так как они уже были проведены и Cybertrust продает полученные результаты. К тому же использование этого метода даже внутри компании позволяет сократить неопределенность независимо от того, купит ваша компания результаты внешних исследований или нет.
Неоднородный бенчмаркинг — идеальный способ оценки «мягких затрат» на преодоление последствий катастрофических событий, особенно в условиях, когда первоначальная неопределенность чрезвычайно высока. Примерами таких событий могут служить:
• кража хакерами данных кредитных карт и карт социального страхования,
• случайное обнародование персональных медицинских данных,
• массовый отзыв продукта из продажи,
• крупная авария на химическом заводе,
• корпоративный скандал.
Может показаться, что мы уделяем слишком много внимания информационной безопасности, но ведь данный метод может применяться в самых разных областях. Он не только годится для оценки ущерба от нарушения безопасности, но и позволяет определить приоритетность инвестиций, необходимых для предотвращения корпоративного скандала, катастрофы на химическом предприятии и т. п. На самом деле метод может использоваться и для оценки положительных последствий каких-либо событий. Какова стоимость того, что наш товар будет считаться эталоном высокого качества в отрасли? Бенчмаркинг — практичный способ определить масштабы проблемы в случаях, когда неопределенность так высока, что устранить ее кажется совершенно невозможно.
Если подобное использование ориентиров кажется «слишком субъективным», вспомним о цели нашего измерения в данном случае. Что такое ущерб бренду, как не восприятие? Ведь мы оцениваем не физическое явление, а мнения людей. Такая оценка невозможна без понимания того, что ущерб бренду — это, по определению, изменение представлений потребителей. И вы определяете размеры этого ущерба, опрашивая потребителей. С другой стороны, можно проследить, что покупатели делают со своими деньгами, наблюдая за тем, как неблагоприятное событие повлияло на курс акций или объем продаж. В любом случае ущерб бренду оказывается измеренным.
Кое-какие тонкости: байесовская инверсия для диапазонов
Как уже упоминалось, в основе многих рисунков и таблиц, составленных мной для этой книги, лежит байесовская инверсия. Решая большинство статистических задач и задач по измерению, мы спрашиваем: «Какова вероятность того, что истинное значение данной величины равно X при условии, что я видел то-то и то-то?» Но вообще-то легче ответить на вопрос: «Если истинное значение равно X, то какова вероятность увидеть то, что я видел?» Байесовская инверсия позволяет нам ответить на первый вопрос, ответив сначала на второй. Нередко ответить на последний бывает намного легче.
Сразу хочу предупредить, что далее нам придется коснуться специальных вопросов. Если вы захотите пропустить это описание, то электронную таблицу для байесовской инверсии, составленную в том числе и на основе приводимого ниже примера, вы найдете на вспомогательном веб-сайте: www.howtomeasureanything.com, выбрав связь «Bayesian Inversion» («Байесовская инверсия»). Я постарался сделать это описание как можно проще. Расчеты могут показаться довольно длинными, но я свел их к минимуму, перейдя, где это было возможно, сразу к функциям Excel.
Итак, предположим, что у нас есть магазин автозапчастей и возникла необходимость определить коэффициент удержания покупателей. Мы подозреваем о существовании проблемы с удовлетворенностью потребителей. Калиброванная оценка процента покупателей, которые захотят сделать в нашем магазине еще одну покупку, составляет 75–90 % (доверительный интервал, как обычно, 90-процентный). Конечно, желательно, чтобы этот показатель был как можно выше, но если он не достигнет 80 %, нам придется принять ряд весьма дорогостоящих корректирующих мер. Расчетная стоимость этой информации намного превышает 500 тыс. дол., но мы, естественно, постараемся минимизировать затраты на проведение опросов потребителей, переложив часть их на плечи своих покупателей. Помня о поэтапном определении интересующего нас показателя, выберем сначала всего 20 потребителей и посмотрим, какую информацию удастся получить. Если из этой выборки 14 человек скажут, что придут к нам за покупками еще, то как мы изменим первоначальный диапазон? Помните, что типичные параметрические, небайесовские методы не позволяют учитывать его при расчетах.
Начнем с более простого вопроса: если 90 % покупателей скажут, что вновь придут за запчастями в наш магазин, то сколько человек из 20 сказали бы то же самое? Ответ очевиден — 90 % от 20, или 18 человек. Если бы таких людей было 80 %, то в нашей выборке их оказалось бы 16. Конечно, мы знаем, что совершенно случайно в числе 20 выбранных нами покупателей желающих вернуться в магазин может оказаться 15 или даже 20 человек. Поэтому нужно узнать не только ожидаемый результат, но и вероятность его получения.
Чтобы определить вероятность получения конкретного результата, используем специальное, уже упоминавшееся распределение, которое называется биноминальным. Напомним, что биноминальное распределение позволяет рассчитать вероятность определенного числа «попаданий» при условии проведения определенного числа попыток и того, что в каждой попытке может быть только один результат. Например, при подбрасывании монетки «попаданием» можно назвать выпадение орла, попытками — подбрасывания, а шанс попадания составляет 50 %. Предположим, например, что мы хотим узнать вероятность того, что при 10 подбрасываниях орел выпадет четыре раза при вероятности его выпадения 50 %. Вместо того, чтобы объяснять всю формулу и теорию комбинаторики, я сразу перейду к формуле программы Excel. В Excel мы просто запишем:
=binomdist(число попаданий, число попыток, вероятность попадания, 0).
Взяв числа из нашего примера с подбрасыванием монеты, запишем: binomdist(4, 10, 0,5, 0), и Excel даст нам значение 20,5 % (ноль в конце говорит о том, что нас интересует вероятность только этого конкретного результата. Записав вместо нуля единицу, получим накопленную вероятность, то есть вероятность указанного или меньшего числа попаданий). Данный результат означает, что есть 20,5-процентная вероятность того, что в случае 10-кратного подбрасывания монеты орел выпадет точно четыре раза.
В нашем примере с магазином автозапчастей покупатель, заявивший «да, я еще сюда вернусь», — это попадание, а размер выборки — это число попыток. Используя биноминальное распределение, менеджер может определить вероятность конкретного результата, например вероятность того, что среди 20 выбранных нами покупателей вернутся в магазин только 14, хотя вообще таких людей должно быть 90 %. В Excel мы запишем: =binomdist(14, 20, 0,9, 0), что даст нам 88,7-процентную вероятность 14 попаданий при 20 случайно выбранных покупателях, если бы на самом деле 90 % посетителей сказали, что готовы сделать еще одну покупку. Отсюда мы уже видим, что верхняя граница нашего первоначального диапазона не слишком правдоподобна.
Предположим теперь, что мы рассчитали эту вероятность для генеральной совокупности, в которой доля повторных покупателей составит сначала 75 %, затем 76, 77 и т. д. вплоть до 90 % (таким образом, шаг равен 1 %). Используя некоторые таблицы в программе Excel, мы сможем быстро рассчитать вероятность конкретного результата при данном «истинном» проценте повторных покупателей. Для каждого приращения на 1 % получим вероятность того, что 14 из 20 покупателей ответят утвердительно на вопрос о возвращении за повторной покупкой при данном «истинном» проценте повторных покупателей. Я бы рассчитывал эти вероятности для каждого приращения на 1 %, начиная от 60 % (что с учетом нашего 90-процентного CI маловероятно, но возможно) и заканчивая 100 %. Для каждого приращения проведем расчет на основе теоремы Байеса. Запишем все это вместе в следующем виде:
P(Prop = Х|Попадания = 14/20) = P(Prop = X) Р(Попадания = 14/20|Prop = X) / Р(Попадания = 14/20),
где
P(Prop = Х|Попадания = 14/20) — вероятность данного процента повторных покупателей в генеральной совокупности (процента X) при условии, что 14 из 20 случайно отобранных объектов являются попаданиями;
P(Prop = X) — вероятность того, что определенный процент покупателей в генеральной совокупности вернется снова (например, X = 90 % генеральной совокупности покупателей, которые действительно сказали, что вернутся снова);
P(Попадания = 14/20|Prop = X) — вероятность 14 попаданий из 20 случайно выбранных объектов при данном проценте (проценте X) повторных покупателей в генеральной совокупности;
P(Попадания = 14/20) — вероятность получения 14 попаданий из 20 попыток при условии, что все возможные проценты повторных покупателей в генеральной совокупности находятся в первоначальном диапазоне.
Мы знаем, как рассчитать Р(Попадания = 14/20|Prop = 90 %) в Excel: [=binomdist(14, 20, 0,9, 1)]. Теперь нам нужно придумать, как рассчитать P(Prop = X) и Р(Попадания = 14/20). Мы можем рассчитать вероятность каждого приращения на 1 % доли повторных покупателей в нашем диапазоне, вернувшись снова к функции =normdist() в Excel и используя калиброванную оценку. Например, чтобы получить вероятность того, что 78–79 % наших покупателей окажутся повторными (или, по крайней мере, заявят об этом во время опроса), мы можем записать следующую формулу Excel:
=normdist(0,79, 0,825, 0,0456, 1) — normdist(0,78, 0,825, 0,0456, 1).
Число 0,825 — это среднее значение нашего калиброванного диапазона: (75 % + 90 %)/2; 0,0456 — среднее квадратичное отклонение (как вы помните, в 90-процентном CI 3,29 среднего квадратичного отклонения): (90 % — 75 %)/3,29. Формула normdist дает нам разность между вероятностью получить менее 79 % и вероятностью получить менее 78 %,которая составляет 5,95 %. Мы можем определить это для каждого приращения на 1 % в исходном диапазоне, а затем рассчитать вероятность того, что доля повторных покупателей в генеральной совокупности равна X [то есть P(Prop = X)] для каждого мало-мальски вероятного значения X в нашем диапазоне.
Расчет значения P(Попадания = 14/20) основан на всем, что мы делали до сих пор. Чтобы рассчитать P(Y), когда мы знаем P(Y|X) и P(X) для каждого значения X, суммируем произведения P(Y|X) P(X) для каждого X. Зная, как рассчитать P(Попадания = 14/20|Prop = X) и P(Prop = X) для любого X, мы просто умножаем эти две величины для каждого X, затем суммируем их и получаем, что P(Попадания = 14/20) = 8,56 %.
Теперь для каждого значения в исходном диапазоне (и даже немного за его пределами, чтобы получить «хвосты» в уравнении) мы рассчитываем P(Prop = X), P(Попадания = 14/20|Prop = X) и P(Prop = X |Попадания = 14/20), для каждого приращения на 1 % повторных покупателей в генеральной совокупности величина P(Попадания = 14/20) для всех одинакова и равна 8,56 % (см. табл. 10.1).
Значения в последнем столбце — вероятности данного процента повторных покупателей в их генеральной совокупности. Если суммировать накопленные значения в последнем столбце (складываем все предшествующие значения в строке), то выяснится, что итог составит около 5 %, когда процент повторных покупателей достигнет 79 %, и 95 %, когда этот процент будет равен 85 %. Это означает, что наш новый 90-процентный CI сократится до 79–85 %. Это не слишком большое сужение первоначального диапазона (75–90 %), но тем не менее достаточно информативное. Теперь, согласно накопленным значениям последнего столбца, вероятность того, что мы находимся ниже основного порога в 80 %, составляет 61 %. Эту электронную таблицу целиком можно найти на веб-сайте: www.howtomeasureanything.com
Похоже, что удержание покупателей у нас не на высоте. Но мы пересчитаем стоимость этой информации, и хотя она уменьшится, окажется, что провести дополнительные измерения все равно имеет смысл. Выберем еще 40 покупателей, и тогда в сумме их будет 60 человек. Из этих 60 только 39 скажут, что вернутся в наш магазин. Наш новый 90-процентный CI окажется равным 69–80 %. Теперь верхняя граница равняется нашему первоначальному критическому порогу 80 %, давая 95-процентную уверенность, что доля повторных покупателей низка настолько, что требует от нас серьезных, дорогостоящих изменений.
Расчеты оказались довольно сложными, но помните, что вы можете воспользоваться таблицами, приведенными на нашем вспомогательном сайте. И вполне возможно, что в данном случае сработал бы обсуждавшийся ранее субъективный байесовский метод, применяемый калиброванными экспертами. Возможно, опрос покупателей выявит такие качественные факторы, которые сумеют учесть наши калиброванные специалисты. Однако стоимость результатов этих важных измерений достаточно высока, чтобы оправдать наши дополнительные усилия.
Можно использовать рисунок, изображающий долю генеральной совокупности из главы 4[31] (хотя мы и искали бы интервал для покупателей, которые не захотели бы вернуться в магазин, так как численность подгрупп меньше половины размера выборки). Но с этим первоначальным диапазоном работать нельзя. Рисунок, приведенный в главе 9, был, между прочим, также составлен на основе байесовской инверсии, если не считать того, что я начал с максимально возможной неопределенности: равномерного распределения этой доли генеральной совокупности в диапазоне от 0 до 100 %. Используя такой широкий диапазон в примере из этой главы, мы получили бы более широкий интервал с еще более худшей нижней границей по сравнению с представленным здесь способом. В этом случае мы начали с того, что получение результатов, потенциально таких же плохих, как допущения в главе 9 (даже учитывая наши разочаровывающие результаты), маловероятно. Байесовский интервал, плох он или хорош, учитывает прежние знания. Однако с увеличением размера выборки влияние первоначального интервала уменьшается. Выбрав 60 или более объектов наблюдения, мы получим ответ, весьма близкий к результату параметрического метода определения доли генеральной совокупности.
Овладев такого рода анализом, вы сможете пойти дальше и узнать, как решаются подобные проблемы, когда первоначальное распределение не является нормальным. Например, распределение может быть равномерным или нормально усеченным и не предполагать, что повторными покупателями окажутся более 100 % (верхний хвост графика или нормального 90-процентного CI дает малую вероятность того, что это произойдет). С примерами таких распределений можно ознакомиться на нашем вспомогательном веб-сайте.
Многие задают вопрос: «Какой вывод я могу сделать из этого наблюдения?» Но Байес показал нам, что нередко полезнее задать вопрос: «Что я должен наблюдать, если будет соблюдаться условие X?» Ответ на последний вопрос позволяет разобраться с первым.
Xотя на первый взгляд байесовская инверсия может показаться весьма трудоемкой, она относится к наиболее эффективным из имеющихся в нашем распоряжении методам измерения. Если удастся сформулировать вопрос «Какова вероятность увидеть X, если справедливо Y?» и превратить его в «Какова вероятность того, что справедливо Y, если мы наблюдаем X?», то можно решить огромное число задач по измерению. В сущности, именно так мы и находим ответы на большинство научных вопросов. Если предложенная гипотеза верна, то что мы должны наблюдать?
Напротив, многие менеджеры, похоже, считают, что все измерения сводятся к поиску ответов на вопрос: «Какой я должен сделать вывод из того, что вижу?» Когда кажется, что совершена ошибка наблюдения, люди решают: на этом основании делать выводы нельзя, какой бы низкой ни была вероятность такой ошибки. Однако байесовский анализ показывает, что воображаемые менеджерами ошибки крайне маловероятны и что измерение все равно заметно снизило бы существующую неопределенность. Иными словами, отсутствие, по крайней мере, теоретического понимания байесовской инверсии приводит к переворачиванию вопроса и к формированию убеждения, что маловероятные ошибки сводят ценность измерений к нулю — то есть к самой неудачной разновидности «инверсии наблюдения».
Часть IV. Не только основы
Глава 11. Предпочтения и подходы: «мягкие» аспекты измерения
Пример расчета ущерба бренду в главе 10 относится к особой группе проблем субъективной оценки. Правда, термин «субъективная оценка», в сущности, избыточен — ведь что на самом деле означает прилагательное «объективная» применительно к цене или ценности? Может ли рыночная стоимость фунта золота считаться «объективной» только потому, что она рыночная? Вовсе нет! Ведь рыночная стоимость — сама по себе результат того, как множество людей делают свои субъективные оценки.
Нередко менеджеры компаний считают, что такие явления, как качество, имидж или ценность, не поддаются измерению. Иногда такое мнение связано с тем, что люди не видят того, что могло бы служить «объективным» показателем качества, имиджа и т. п. Но это говорит только об их недостаточной информированности. Решение любой задачи по оценке качества (мнения общественности, стоимости бренда и т. п.) предполагает определение человеческих предпочтений. В этом смысле предпочтения — единственный источник измерения. Если такое положение означает, что измерение субъективно, значит, субъективность — просто природа измерения, а не физическое свойство какого-то предмета. Субъективность — лишь способ определения предпочтений в отношении этого предмета. А как только мы согласимся с тем, что данная разновидность измерений — оценка человеческих предпочтений, у нас останется только один вопрос: как эти предпочтения себя проявляют?
Наблюдение за мнениями, ценностями и поиски счастья
В широкм понимании предпочтения людей обнаруживаются в том, что они говорят, и в том, что делают. Объявленные предпочтения — то, что, по их собственным словам, люди предпочитают. Выявленные предпочтения — предрасположенность, о которой свидетельствует их реальное поведение. Оба типа предпочтений позволяют значительно снизить неопределенность, но выявленные предпочтения, конечно, делают это более точно.
Спрашивая людей, о чем они думают, во что верят или что предпочитают, мы делаем наблюдение, которое обычно анализируем теми же статистическими методами, что и «объективные» физические свойства Вселенной (и результаты могут оказаться одинаково обманчивыми, ведь мы — люди; применяются только иные средства проверки). Мы просто выбираем группу респондентов и задаем им конкретные вопросы. По своей форме эти вопросы делятся на несколько основных категорий. Профессионалы в области проведения опросов пользуются более детальной классификацией, но начинающим вполне достаточно знать следующие категории.
• Вопросы, предполагающие использование шкалы Ликерта. Респондентов просят выбрать один из нескольких ответов, характеризующих их отношение к некоему объекту или явлению, при этом в качестве ответов обычно используются такие выражения, как «очень не нравится», «не нравится», «очень нравится», «абсолютно не согласен» или «совершенно согласен».
• Вопросы с многовариантным ответом. Респондентов просят выбрать один из нескольких взаимоисключающих вариантов ответов, например, если речь идет о политиках, то их просят выбрать республиканца, демократа или независимого кандидата.
• Вопросы ранжирования. Респондентов просят ранжировать что-либо в порядке убывания или возрастания. Пример: «Расположите в порядке приоритетности следующие восемь видов деятельности — от наименее предпочтительного (1) до наиболее предпочтительного (8)».
• Открытые вопросы. Респондентов просят дать ответ в произвольной форме. Пример открытого вопроса: «Есть у вас какие-либо претензии к нашей службе работы с потребителями?»
Специалисты по проведению опросов нередко называют их инструментом. Опросы разрабатываются так, чтобы минимизировать возможность систематической ошибки в ответах — специфического недостатка данного инструмента измерения.
Систематическая ошибка возникает в ответах, когда задания, намеренно или нет, сформулированы так, что респонденты дают ответы, не отражающие их истинное мнение. Иногда разработчик опроса делает это специально, если хочет получить вполне определенный ответ (пример такого вопроса: «Возмущает ли вас преступная небрежность губернатора N?»), но чаще это происходит случайно. Избежать систематической ошибки в ответах позволяет соблюдение следующих пяти простых правил.
1. Вопрос должен быть максимально точным и коротким. Многословные вопросы нередко приводят людей в замешательство.
2. Избегайте многозначных терминов. Многозначный термин — это слово с позитивной или негативной коннотацией (о которой разработчик опроса может и не догадываться), которая может влиять на ответы респондентов. Вопрос, поддерживают ли люди «либеральную» политику данного деятеля, где слово «либеральная» — пример многозначного термина, задавать не стоит. (Кстати, если суть этой политики не раскрывается, то такая формулировка является еще и примером неточного вопроса.)
3. Не задавайте наводящих вопросов. Наводящий вопрос сформулирован так, что заранее подсказывает респонденту, какого ответа от него ожидают. Пример наводящего вопроса: «Следует ли повысить зарплату низкооплачиваемым, перегруженным работой мусорщикам Кливленда?» Иногда эти вопросы задаются ненамеренно. Как и в случае многозначных терминов, простейшая защитная мера — попросить кого-то еще раз просмотреть ваш список вопросов. Когда я вижу, что наводящие вопросы используются нарочно, каждый раз удивляюсь, зачем вообще проводить такой опрос. Если заранее знать, какой ответ нужен, то какого «снижения неопределенности» можно при этом ожидать?
4. Избегайте составных вопросов. Пример: «Что вам больше нравится в машинах А и В: сиденье, рулевое колесо или приборная доска?» Респондент не поймет, ответа на какой вопрос от него ожидают. Разбейте задание на несколько вопросов с многовариантным ответом.
5. Меняйте вопросы так, чтобы избежать установки на однообразные ответы. Установка на выбор определенных ответов — это склонность людей отвечать на вопросы (ранжировать ответы) одинаково независимо от их содержания. Если у вас подготовлены наборы вопросов, связанных с баллами от 1 до 5, проследите за тем, чтобы «5» не всегда означало «положительный» ответ (или наоборот). Вы ведь хотите, чтобы респонденты прочитали и действительно ответили на все вопросы, а не автоматически проставили галочки в каждой клетке каждого столбца.
Конечно, узнать, что люди предпочитают, чего хотят и о чем думают, позволяет не только их прямой опрос. Немало информации об их предпочтениях дает наблюдение за тем, что они делают. На самом деле это даже более надежный способ выяснения их истинного мнения и тех моральных ценностей, которых они придерживаются.
Когда человек говорит, что охотнее пожертвует 20 дол. сиротам, чем потратит их на кино, но на самом деле в прошлом году многократно ходил в кинотеатры и ни разу ничего не пожертвовал сиротам, это означает, что его выявленные предпочтения не совпадают с объявленными. Понять, каковы истинные предпочтения человека, позволяют две вещи, ценимые людьми больше всего: время и деньги. Проанализировав, как люди тратят свое время и деньги, вы сразу увидите их истинные предпочтения.
Похоже, что когда респонденты говорят, например, что «совершенно согласны» с такими утверждениями, как: «Елочные украшения стали дорожать в магазинах слишком рано», мы уже не определяем «истинные» значения. Однако подход, предложенный в предыдущих главах, остался тем же. Вам по-прежнему неизвестно точное значение какой-то переменной (например, вы только предполагаете, что часть покупателей, считающих, что елочные украшения начинают дорожать слишком рано, составляет 50–90 %), и существует такое ее возможное значение, при котором вы измените свое решение (например, если более 70 % покупателей выразят свое абсолютное согласие с тем, что эти товары начинают расти в цене слишком рано, то магазин откажется от планов повышать их цену еще раньше). На основе данных сведений вы рассчитываете стоимость дополнительной информации и выбираете соответствующий ей метод выборки или какой-либо другой способ измерения.
Да, мы действительно отклонились от оценок, выражаемых в единицах измерения, как это было раньше. Когда мы точно определяли, почему нас интересует количество чего-то, обычно всегда можно было четко указать единицы измерения и шкала Ликерта не требовалась. Но есть еще один интересный прием: соотнесение результатов опросов потребителей с другими однозначными и намного более полезными величинами. Ведь раз возникло желание оценить удовлетворенность потребителей, значит, вы хотите сохранить свой бизнес, клиентов и добиться хорошей рекламы, распространяемой довольными покупателями.
На самом деле, субъективные ответы можно соотнести с объективными показателями, и такой анализ проводится постоянно. Кое-кто даже попытался таким образом измерить счастье (см. врезку «Как измерить счастье»). Сумев сопоставить одну вещь с другой, а затем найти корреляцию между одной из них и деньгами, вы сможете выразить и ту и другую в деньгах. А если это окажется слишком сложным, просто спросите человека напрямую: «Сколько вы готовы заплатить за это?»
КАК измерить счастье
Эндрю Освальд, профессор экономики университета в Варвике, придумал, как определить стоимость счастья[32]. Он не спрашивал у людей напрямую, сколько те готовы заплатить за свое счастье, а просил их указать свой доход, определить по шкале Ликерта, насколько они счастливы, и рассказать о важных событиях, которые произошли в их жизни недавно (рождении детей, смерти близких, свадьбах и т. д.).
Это позволило Освальду определить, какое влияние оказывают разные события на ощущение испытываемого человеком счастья. Он установил, насколько недавняя смерть родственника снижает это ощущение, а продвижение по службе — повышает. Более того, сопоставив влияние дохода на состояние счастья, он сумел рассчитать эквивалент дохода, соответствующий ощущению счастья, возникающему в результате определенных событий. Так, Освальд обнаружил, что продолжительный брак делает человека таким же счастливым, как если бы его доход ежегодно возрастал на 100 тыс. дол. (Поскольку мы с женой только что отметили 10-летнюю годовщину свадьбы, я почти так же счастлив, как если бы, будучи холостым, заработал за этот же период 1 млн дол. Конечно, это средние цифры, и многое зависит от характера человека. Поэтому я говорю своей жене, что для меня оценка Освальда наверняка занижена и наш брак еще долго будет оставаться счастливым.)
Готовность платить: определение стоимости через компромиссы
Повторим, что оценка в силу самой своей природы всегда субъективна. Даже рыночная стоимость акций или недвижимости — всего лишь результат субъективных суждений нескольких участников рынка. Чтобы получить «объективный» показатель при расчете чистого собственного капитала компании, экспертам приходится суммировать такие параметры, как рыночная стоимость недвижимости (то есть сумму, которую, по их мнению, за нее захотят заплатить на рынке), стоимость бренда (то, насколько больше потребители захотят заплатить за товар данной марки), стоимость используемого оборудования (сколько кто-то захочет за него заплатить) и т. п. Какими бы объективными они ни считали свои расчеты, основная используемая ими единица измерения (доллар) — мерило стоимости.
Вот почему, чтобы оценить большинство вещей, достаточно спросить людей, сколько они готовы за них заплатить, или же, что еще лучше, определить, сколько они уже за них заплатили, анализируя действия за прошедшие периоды. Использование метода WTP (willingness to pay — готовность платить) обычно предполагает проведение опросов случайно выбранных людей относительно того, сколько они готовы заплатить за конкретные вещи — обычно такие, которые невозможно оценить другим способом. Этот метод был использован, в частности, для определения стоимости предотвращения исчезновения редких видов животных, а также стоимости улучшения здравоохранения и состояния окружающей среды.
В 1988 г. я впервые участвовал в консалтинговом проекте компании Coopers & Lybrand. Мы оценивали результаты деятельности полиграфического подразделения одной финансовой компании, чтобы определить целесообразность расширения заказа сторонней типографии. Совет директоров финансовой компании считал сотрудничество с местным бизнесом очень ценным. К тому же у президента типографии были друзья в совете директоров. Он спросил: «Вот мы, например, не занимаемся оказанием финансовых услуг, так почему же вы занимаетесь полиграфией?», добиваясь того, чтобы заказ его фирме был увеличен.
Несколько скептически настроенных членов совета директоров пригласили специалистов Coopers & Lybrand, чтобы оценить экономические последствия такого шага. Я был младшим аналитиком и выполнял все расчеты по этому проекту. Выяснилось, что компании следует не расширять, а сокращать масштабы аутсорсинга. Финансовая компания была достаточно крупным предприятием, чтобы привлечь опытных полиграфистов, обеспечить высокую загрузку своего оборудования и заключать с поставщиками выгодные контракты. Она уже располагала обученным персоналом, хорошо разбиравшимся в типографском деле.
Возможно, полиграфия и не должна была стать основным направлением деятельности финансовой компании, но соотношение «затраты/выгода» явно говорило в пользу сохранения полиграфического подразделения в ее составе и даже расширения масштабов его деятельности. Не было сомнений в том, что компании гораздо дороже обойдется аутсорсинг, даже с учетом всех льгот работникам, расходов на ремонт оборудования, аренду помещения и т. п. Предложенный местной типографией вариант означал бы для компании потерю нескольких миллионов долларов в год, что существенно превышало расходы на работу собственного подразделения. Кроме того, появились опасения, что рост аутсорсинга приведет к снижению качества получаемых компанией услуг, поскольку персоналу типографии не придется беспокоиться о каких-либо предпочтениях своего клиента. Чистая приведенная стоимость данного плана аутсорсинга за пять лет превысила —15 млн дол.
В итоге компании пришлось решать, готова ли она заплатить 15 млн дол. за дружбу с типографией и желание поддержать местное сообщество. Будучи младшим аналитиком, я не счел возможным давать членам совета директоров какие-либо рекомендации по поводу суммы, которую стоило за это заплатить, а лишь честно сообщил, во что обойдется такое решение. Если бы руководители сочли, что дружба с общиной стоит 15 млн дол., то такие финансовые потери были бы приемлемыми. Если же они оценили бы ее в меньшую сумму, то данный вариант явно не годился. В конце концов было решено, что выгоды от этой дружбы и поддержки местного сообщества того не стоят. Они не увеличили объем передаваемых на сторону работ и даже решили его сократить.
В то время я называл такие проблемы задачами «покупать искусство». Вы можете думать, что определить стоимость «бесценного» произведения искусства невозможно, но если я назову вам его цену, то вы сами сумеете определить эту стоимость. Если кто-то определяет произведение Пикассо как «бесценное», но никто не заплатит за него больше 10 млн дол., то ясно, что стоимость данного предмета искусства не может быть больше этой суммы. Мы не пытались точно определить стоимость дружбы, но объяснили финансовой компании, сколько за нее придется заплатить, и она смогла сделать свой выбор.
Разновидностью WTP является метод VSL (value of statistical life — стоимость статистической жизни). При этом подходе людей не спрашивают напрямую, во сколько они оценивают свою жизнь, но просят их указать, сколько они готовы заплатить за незначительное снижение риска своей преждевременной смерти. Ведь, принимая свои решения, человек нередко фактически делает выбор между желанием сэкономить и возможностью хоть немного сократить вероятность умереть слишком рано. Вы могли потратить больше и купить чуть более безопасную машину. Допустим, что за 5000 дол. удалось бы на 20 % снизить вероятность погибнуть в автомобильной катастрофе, которая и так составляет всего 0,5 % (учитывая то, сколько времени вы проводите за рулем, где водите машину, каковы ваши навыки вождения и т. д.). Таким образом, в итоге вы снизили бы общую вероятность умереть преждевременно на одну десятую от 1 %. Отказавшись от этой возможности, вы фактически объявляете, что предпочитаете сохранить 5000 дол., а не снижать вероятность своей преждевременной смерти на 0,1 %. В этом случае вы оцениваете стоимость своей статистической жизни менее чем в 5000 дол./0,001 = 5 млн дол. (ведь вы отказались от необходимых расходов!). Можно потратить 1000 дол. на рентгеновское обследование и с вероятностью 1 % обнаружить у себя некое опасное заболевание на ранней стадии, когда своевременно принятые меры приведут к исцелению. В случае осуществления расходов на эту сумму для указанной цели ваша VSL составляет, по крайней мере, 1000 дол./0,001, или 100 000 дол. Можно продолжать анализ других ваших решений по приобретению разных товаров или услуг, повышающих безопасность, и делать дальнейшие предположения о том, во сколько вы оцениваете возможность снизить угрозы для своей жизни, а следовательно, и саму жизнь.
У данного подхода ряд недостатков. Во-первых, люди очень плохо оценивают риски, которые несут в разных ситуациях, поэтому их выбор не слишком информативен. Доктор Джеймс Хаммитт и специалисты Гарвардского центра анализа риска (Harvard Center for Risk Analysis) сделали следующие наблюдения.
Люди на удивление плохо понимают смысл вероятности, особенно незначительной и связанной с альтернативами в области здравоохранения. В одном общем опросе населения только 60 % респондентов правильно ответили на вопрос: «Какая вероятность больше — 5 из 100 000 или 1 из 10 000?» Эта неспособность к количественному мышлению не позволяет людям правильно формулировать свои предпочтения[33].
Если люди действительно настолько математически безграмотны, оценки, полученные путем опросов населения, не заслуживают доверия. Но Хаммитт не испугался неспособности к математике некоторых людей, а просто сделал на нее поправку. Ответы респондентов, правильно отвечающих на подобные вопросы, он оценивает отдельно от ответов тех, кто незнаком с такими простейшими понятиями, как «вероятность» и «риск».
Помимо математической безграмотности, по крайней мере отдельных респондентов, тем из нас, кому приходится оценивать такие вещи, часто приходится сталкиваться с неуместными проявлениями чувства праведного негодования. Многие исследования показывают, что около 25 % участников опросов, проводившихся с целью определения стоимости сохранения окружающей среды, отказались отвечать на том основании, что природа имеет безусловное право на защиту, какой бы ни была ее стоимость[34]. В результате люди, чьи ответы, наверное, повысили бы среднюю WTP за сохранение окружающей среды, воздержались от участия в опросе и итоговая оценка оказалась меньше, чем могла бы быть. Но мне кажется, что это чувство праведного гнева не более чем личина. Ведь такие люди могут прямо сейчас отказаться от всякой роскоши и сделать пожертвования на защиту окружающей среды. Или же они могут немедленно бросить свою работу и стать волонтерами Green Peace. Однако они этого не делают. Их поведение нередко идет вразрез с теми высокими моральными ценностями, которых они якобы придерживаются. Кое-кто также сопротивляется попыткам оценить в деньгах человеческую жизнь, но, опять-таки, вовсе не отказывается от удовольствий, чтобы сделать пожертвования на развитие общественного здравоохранения.
Наблюдаемое несоответствие между заявлениями о бесценности некоторых вещей и стремлением к роскоши, которое часто проявляется в выборе людей, может иметь свое объяснение. Как показали исследования Хаммитта (и многих других), на удивление большой процент населения настолько математически безграмотен, что противодействие этих людей определению денежной стоимости человеческой жизни может частично объясняться просто их нелюбовью к числам. Проявление праведного негодования может быть частью их защитного механизма. Вероятно, они думают, что их математическая безграмотность не будет так бросаться в глаза, если задачам количественной оценки вообще и количественной оценки таких нематериальных вещей в частности не придавать особого значения.
Особенно деликатна задача определения стоимости всего, что связано со счастьем, здоровьем и жизнью человека. Поиск в Интернете по фразе «свести все к голой цифре» дает тысячи совпадений, большинство которых — цитаты из возражений против проведения подобных измерений. Создавать математические модели — такая же уникальная способность человека, как писать стихи или рисовать картины, однако вы вряд ли услышите, чтобы кто-нибудь жаловался на «сведение к стихотворению» или «сведение к картине».
Мне не раз доводилось проводить анализ «риск/доходность» для инвестиционных проектов федерального правительства, направленных на улучшение общественного здравоохранения. Во всех случаях мы просто использовали широкие диапазоны значений из различных исследований WTP и VSL. И сколь бы широкими ни были эти диапазоны, обычно никаких дополнительных измерений для их уточнения не требовалось. А те, кому неприятна сама мысль об измерении подобных вещей деньгами, должны подумать о том, что в противном случае при анализе проекта игнорирование какого-либо важного фактора сведет его величину практически к нулю. Это приведет к неправильной расстановке приоритетов и необоснованной недооценке значения определенных мер, намеченных компанией. Из всех многочисленных случаев, когда я работал над анализом проектов, только в одном стоимость информации оказалась такой, что возникла необходимость дальнейшего уточнения интересующих нас переменных. В большинстве случаев основным неизвестным была, как ни странно, вовсе не стоимость общественной безопасности или общественного благосостояния. Первоначальные диапазоны при всей их широте оказывались достаточно точными, а основные измерения проводились для определения совершенно других неизвестных.
Между прочим, использовавшийся многими государственными организациями и заимствованный из различных исследований WTP и VSL интервал значений суммы, позволяющей избежать одной преждевременной смерти, составлял 2 млн—20 млн дол. Если вам кажется, что это слишком мало, то вспомните, сколько вы сами тратите на свою безопасность. Вспомните и о том, как вы расходуете деньги на предметы роскоши, пусть и немногочисленные, вместо того, чтобы больше жертвовать на борьбу со СПИДом или раком. Если бы вы действительно думали, что жизнь любого человека стоит намного больше этой суммы, то вели бы себя иначе. Анализ собственного поведения позволяет нам понять, что фразы типа «жизнь бесценна» произносят только лицемеры.
Ставим все на карту: количественное определение склонности к риску
Обычно такого рода компромиссы приходится делать, когда оцениваешь такую вещь, как склонность (толерантность, терпимость) к риску[35]. Никто не может за вас рассчитать, какой риск приемлем для вас или вашей фирмы, но вы имеете возможность его измерить. Как и в методе VSL, главное здесь — определить желательные для вас комбинации (реальные или гипотетические) различных уровней риска и доходности.
Именно этим и занимаются некоторые портфельные менеджеры в процессе управления финансовыми портфелями. В 1990 г. Нобелевская премия по экономике была присуждена Гарри Марковицу (Марковитцу), создавшему современную портфельную теорию (Modern Portfolio Theory, MPT)[36]. На этой теории, разработанной Марковицем еще в 1950-е годы, основано большинство современных методов оптимизации портфеля. Возможно, самая простая ее составляющая — кривая риска, на который инвесторы готовы пойти, чтобы получить данную доходность. Когда потенциальная доходность инвестиций высока, инвесторы обычно готовы смириться с более высоким риском. Если же инвестиции малорискованны, то чаще всего инвесторы соглашаются и на более низкую доходность. Это показывает кривая на графике, точки которой соответствуют максимально приемлемому риску и минимально приемлемой доходности. Рисунок 11.1 демонстрирует, как может выглядеть инвестиционная граница.
Наш рисунок несколько отличается от графика Марковица. Его ось риска на самом деле отражала прошлую волатильность доходности определенных акций (складывавшейся из приращения или обесценения капитала и дивидендов). Однако когда мы планируем инвестиции в информационные технологии или разработку нового продукта, «прошлой волатильности» у нас обычно нет, но есть другой вид риска — вероятность понести убытки.
Вы можете быстро построить инвестиционную границу для себя или для своей фирмы. Представьте, что собираетесь сделать крупные инвестиции. Что для вас «крупные» (но все же не необычно крупные) инвестиции: 1 млн или 100 млн дол.? Определите эту цифру, какой бы она ни была, и используйте ее далее в этом примере.
Предположим теперь, что с помощью метода Монте-Карло вы рассчитали доходность для тысяч сценариев. Среднее значение возможной доходности для всех сценариев — годовая доходность инвестиций, которая в течение ближайших пяти лет должна составить 50 %. Однако в связи с этой ROI существует некая неопределенность, и даже есть вероятность, скажем 10-процентная, того, что она будет отрицательной. Захотите ли вы сделать инвестиции с таким прогнозом? Если да, то давайте повысим риск до 20 %, а если нет, то понизим его до 5 %. В каком случае условия инвестирования приемлемы для вас? Будем и далее повышать или понижать риск до тех пор, пока он не окажется максимально приемлемым, а доходность — минимально приемлемой. Точка на графике, соответствующая данному риску и данной доходности, находится на вашей «инвестиционной границе». Повысим теперь ROI до 100 %. Каким должен быть риск, чтобы такая доходность стала минимально приемлемой? Так мы найдем еще одну точку на инвестиционной границе. Предположим, наконец, что вы можете сделать такие инвестиции, доходность которых никогда не будет отрицательной. На какую самую низкую среднюю доходность вы готовы согласиться, чтобы избежать риска, что она окажется отрицательной?
Все три точки расположены на вашей инвестиционной границе. При необходимости можно найти и другие точки, соответствующие более высокой или более низкой ROI. В какой-то момент вы увидите, что точки образовали кривую вполне определенной формы.
Несколько советов инвесторам, пользующимся методом MPT. Во-первых, инвестициям разных размеров должны соответствовать свои инвестиционные границы. Марковиц первоначально разрабатывал свою инвестиционную кривую для всего портфеля, а не для отдельных инвестиционных проектов. Но я строю всего три кривые (для мелких, средних и крупных оцениваемых мной инвестиций), а остальные можно получить путем интерполяции. (Я составил для себя простую электронную таблицу, позволяющую интерполировать нужную кривую, но вы практически с тем же успехом можете представить ее себе визуально.)
Я часто использую этот простой инструмент для оценки отдельных инвестиций по нескольким причинам. Инвестиционные возможности появляются в течение года в любой момент, в том числе и тогда, когда реализация других проектов еще не завершена. Оптимизировать портфель целиком обычно затруднительно, поскольку запустить или заморозить любой проект по желанию почти невозможно.
В 1997 и 1998 гг. я написал статьи для журналов «Information Week» и «CIO Magazine»[37], где описал свой метод инвестиционной границы, который использовал в прикладной информационной экономике. Я давал задание начертить инвестиционную границу многим менеджерам и получил десятки графиков, составленных для самых разных организаций. В каждом случае на построение инвестиционной границы с нуля уходило от 40 до 60 минут, кто бы ни выполнял эту работу: один человек или 20 членов инвестиционного комитета.
Из всех, кто когда-либо присутствовал на моих занятиях (а это обычно лица, определяющие политику организаций), не было ни одного человека, кому не удалось бы справиться с этим заданием достаточно быстро.
Но я заметил и еще кое-что: даже если задание выполняли общими усилиями 10 членов инвестиционного комитета, они легко достигали консенсуса. Какие бы разногласия ни возникали относительно приоритетности проектов, они быстро приходили к единому мнению по поводу того, насколько склонна к риску их компания.
Применяя инвестиционные границы для оценки инвестиционных проектов, мы обнаруживаем, что требуемая скорректированная на риск ROI должна быть значительно выше типичных «пороговых ставок» (требуемой минимальной доходности), используемых иногда руководителями, санкционирующими вложение средств в информационные технологии (нередко эти пороговые ставки составляют 15–30 %). С ростом объемов предполагаемых инвестиций этот эффект быстро усиливается. Доходность самых крупных проектов разработки программного обеспечения должна намного превышать 100 %. Риск замораживания проекта, неопределенность в связи с выгодами и риск возникновения неожиданных препятствий — все это увеличивает рискованность таких проектов, а значит, и их требуемую доходность. Для руководителей, санкционирующих инвестиции в информационные технологии, этот вывод важен по целому ряду причин.
Не будет преувеличением сказать, что инвестиции в разработку программного обеспечения обычно входят в число самых рискованных проектов вложения средств, которые реализуют компании. Например, вероятность того, что крупный проект такого рода будет заморожен, прямо пропорциональна продолжительности его осуществления. В 1990-х годах закончились ничем около четверти всех существовавших более двух лет проектов разработки программного обеспечения (для сравнения: показатель невыполнения обязательств по мусорным облигациям был ниже 25 %).
Тем не менее большинство организаций, применяющих анализ ROI, не принимают во внимание такие риски. Типичные пороговые ставки не корректируются на разные риски, связанные с ИТ-проектами, хотя именно риски должны в основном учитываться при принятии подобных решений. Если бы руководители компаний анализировали инвестиции в разработку программного обеспечения с точки зрения соотношения «риск/доходность», то наверняка принимали бы решения более обоснованные, чем сделанные только на основе фиксированных пороговых ставок.
Количественное определение субъективных компромиссов: решение проблемы нескольких взаимоисключающих предпочтений
Кривая инвестиционной границы — пример тех кривых полезности, с которыми будущие менеджеры компаний знакомятся на первом курсе университета. К сожалению, большинство из них, по-видимому, считают полученные знания чисто теоретическими и не имеющими никакого практического значения. Но кривые полезности — идеальный инструмент, позволяющий определять, какой частью одного стоит пожертвовать ради получения другого. Разнообразные виды кривых полезности помогают тем, кто принимает решения, детально выяснять, какой компромисс для них приемлем.
Один из самых распространенных компромиссов, которые приходится делать менеджеру, — это выбор между эффективностью и качеством. Он очень полезен при попытках оценить предпочтения и стоимость. Термины «эффективность» и «качество» толкуются настолько по-разному, что с уверенностью о них можно сказать только одно: высокая эффективность и высокое качество лучше, чем низкая эффективность и низкое качество. Но, как мы уже говорили, причин для такой неоднозначной трактовки не существует, и объяснить содержание этих слов так же легко, как и любых других «нематериальных» понятий.
Когда клиенты просят меня помочь им оценить эффективность, я всегда спрашиваю их: «А что вы подразумеваете под эффективностью?» В ответ они, как правило, предоставляют мне перечень разрозненных наблюдений, которые ассоциируются у них с эффективностью, например: «Этот человек всегда все делает вовремя» или «О ней заказчики всегда отзываются положительно». Могут упоминаться и такие факторы, как небольшое число допускаемых ошибок или высокая производительность труда, например: «За три месяца этот сотрудник сумел собрать целых три модуля без брака». Иными словами, проблема в том, что никто не представляет, как наблюдать эффективность. Один мой клиент высказался: «Я знаю, что должен искать, но как мне суммировать все это? Могу ли я считать, что тот, кто делает всю работу вовремя и почти без ошибок, работает эффективнее того, кто постоянно получает больше положительных отзывов клиентов?»
На самом деле это не проблема измерения, а вопрос документального оформления субъективных компромиссов. Это проблема отражения множества разнородных наблюдений в едином «индексе». И здесь, чтобы такое обобщение оказалось логичным, мы можем воспользоваться кривыми полезности. С их помощью достаточно просто показать, как сформулировать компромиссы по аналогии со следующими примерами:
• Кто работает эффективнее: программист, который 99 % заданий выполняет вовремя и в 95 % случаев безошибочно, или тот, кто только 92 % заданий выполняет вовремя, но в 99 % случаев безошибочно?
• Стало ли качество товара выше, если процент брака снизился на 15 %, а возврат товара покупателями увеличился на 10 %?
• Стала ли «стратегическая согласованность» полнее, если прибыль повысилась на 10 %, но «общий показатель качества» упал на 5 %?
Для каждого из этих случаев можно составить график, отражающий все возможные компромиссы, по аналогии с определением желаемого соотношения «риск/доходность». Точки на кривой представляют комбинации, одинаково ценные для лица, принимающего решение. В предыдущем примере с инвестиционной границей каждая точка на кривой имела нулевое значение и представляла такое сочетание риска и доходности, что тому, кто принимал решения, было безразлично, принять или отвергнуть данный инвестиционный проект (так как при данной доходности риск был не ниже самого высокого из приемлемых).
Мы могли бы начертить на том же графике и другие кривые полезности для инвестиционных проектов с ненулевой ценностью, каждая из которых соответствовала бы некоей полезности. Иногда экономисты называют эти графики кривыми изополезности, подразумевая, что полезность фиксированна, или постоянна. Поскольку человеку безразлично, какую из двух точек на такой кривой выбрать, экономисты также называют кривую полезности кривой безразличия[38]. Аналогично тому, как замкнутые линии на картах рельефа показывают точки, расположенные на одинаковой высоте, кривая полезности — геометрическое место точек, отражающих одинаково ценные комбинации.
Рисунок 11.2 представляет собой график с несколькими кривыми полезности. Он иллюстрирует гипотетический пример оценки руководством компромиссов между качеством работы и пунктуальностью выполнения заказов. Рисунок помогает внести ясность в требования, предъявляемые программисту, инженеру, редактору и т. д. Вы видите, что если бы сотрудники А и Б выполняли в срок одинаковое число заданий, но А допускал меньше ошибок, то его считали бы лучшим работником. Кривая обосновывает предпочтения, когда выбор не очевиден, например когда качество работы А выше, но Б более пунктуален.
Эти кривые построены таким образом, чтобы любые две точки на каждой из них отражали одинаково ценные комбинации параметров. Так, верхняя кривая показывает, что, по мнению топ-менеджмента, работник, выполняющий на 96 % правильно и на 96 % в срок порученные ему задания, имеет для компании ту же ценность, как тот, кто на 93 % правильно и на 100 % в срок делает свою работу. Не забудьте, что это только гипотетическая оценка какого-то конкретного менеджеpa, а не общепринятая фиксированная норма. Вполне возможно, что ваши предпочтения оказались бы несколько иными.
Было построено семейство аналогичных кривых таким образом, что любая точка на верхней кривой считается более предпочтительной, чем любая точка на нижней. Для сравнения достаточно начертить лишь несколько кривых, хотя на самом деле между приведенными на рисунке линиями существует бесчисленное множество линий. Просто менеджеры строят их ровно столько, сколько нужно для интерполяции.
Кривая полезности, обеспечиваемой любыми двумя факторами (например, качеством работы и ее своевременным выполнением или низким риском и высокой доходностью), позволяет упростить выражение ценности комбинации факторов, представленной точкой на графике. Поскольку каждую точку можно перемещать вдоль кривой так, что ее ценность не изменится, можно рассматривать все точки эквивалентными одной, расположенной на единой стандартизированной линии. В этом случае мы стандартизируем качество и выражаем сравнительную ценность любой точки на графике через коэффициент своевременности выполнения работ, скорректированный на качество. Заявив, что «сотрудник, выполняющий безошибочно Х% работ и завершающий в срок Y% заданий, не уступает тому, кто выполняет безошибочно 95 % заданий и в срок ___% заданий», мы фактически свернули две переменные в одну.
То же обычно делается с риском и доходностью. С помощью семейства кривых «риск/доходность» мы, взяв эти параметры любых инвестиционных проектов, можем выразить их как доходность, скорректированную на риск. Этот метод свертывания двух разных показателей в один применяют независимо от числа переменных. Если, например, я построил кривые полезности для факторов X и Y, а затем кривые полезности для факторов Y и Z, то каждый сможет построить на их основе кривую полезности для X и Z. Таким путем можно свернуть в единый стандартизированный показатель несколько разнородных факторов, влияющих на такие проблемы, как эффективность деятельности, оценка местоположения нового офиса, выбор линейки новых продуктов и т. п.
Более того, если в одной из комбинаций участвуют деньги, то все остальные факторы можно выразить в деньгах. Когда оценивают инвестиции разной степени рискованности (например, при возможности отрицательной доходности, низкой доходности в случае неблагоприятного развития событий и т. д.) и при этом используют разные показатели доходности (например, внутренняя норма доходности за семь лет, доходность за первый год и т. д.), то иногда полезно объединить все показатели в особый денежный эквивалент (certain monetary equivalent, CME). CME инвестиций — это фиксированная особая сумма в долларах, получить которую инвестор счел бы столь же выгодным, как сделать такое вложение.
Предположим, например, что я хочу приобрести вашу долю в капитале девелоперской компании. За эту долю я предлагаю вам пустующий участок в окрестностях Чикаго стоимостью 200 тыс. дол., с которым вы сможете сделать все, что захотите, или же 100 тыс. дол. наличными немедленно. Будь вам безразлично, какой из вариантов выбрать, стало бы ясно: вы считаете, что CME инвестиций в участок составляет 100 тыс. дол. Если же вы решите, что покупка участка по цене 200 тыс. дол. — очень выгодная сделка, значит, особый денежный эквивалент для этих инвестиций вы оцениваете, скажем, в 300 тыс. дол. Иными словами, вы убеждены, что вариант с покупкой участка выгоден не менее, чем немедленное получение 300 тыс. дол. Можно было строить десятки компромиссных сочетаний, чтобы прийти к такому выводу, но результат остался бы тем же. Сколько бы переменных у вас ни было и какие бы их сочетания ни рассматривались, вы всегда предпочтете 300-тысячный CME сотне тысяч наличными.
Именно так я помогаю многим своим клиентам определить приоритетность инвестиций в информационные технологии, когда существуют разные риски и возможны разные подходы к оценке доходности. Мы сводим все переменные в один CME, определяя желательное соотношение между каждой переменной и неким особым денежным эквивалентом. Это очень мощный инструмент, позволяющий, например, решить, как свернуть в единый денежный показатель 12 разных параметров качества. Хотя ваш выбор и субъективен, вы, тем не менее, получаете количественное представление о компромиссах между разными факторами.
Далее мы рассмотрим ситуации, в которых предпочтительные соотношения между факторами необязательно субъективно определяются лицами, принимающими решения.
Не забывать о главной цели: максимизация прибыли и субъективные компромиссы
Очень часто субъективное определение желаемого соотношения факторов не является обязательным. Иногда имеет смысл свести проблему к задаче максимизации прибыли или стоимости для акционеров. Грамотный аналитик должен уметь составлять статистически достоверную модель электронной таблицы, показывающей зависимость прибыли от процента допускаемых ошибок, пунктуальности и т. д. Все это сводится к одному аргументу: есть главная преференция — прибыль, и значение прочих факторов, таких как производительность труда и качество, целиком определяется тем, как они влияют на нее. При таком подходе необходимость в субъективном определении желаемого компромисса между такими параметрами, как эффективность и удовлетворенность потребителей, качество и количество или образ бренда и доход, полностью отпадает.
Это и есть суть обоснования любых проектов. В ходе процесса на основе нескольких переменных затрат и выгод рассчитывается некий окончательный показатель, например чистая приведенная стоимость или доходность инвестиций. Место для субъективного выбора по-прежнему остается, но сделать его теперь проще, поскольку он касается конечной цели, к достижению которой должна стремиться компания. Если вы придете к единому мнению по поводу этой конечной цели, то выбор желаемых соотношений между разными показателями деятельности (в данном случае качеством, стоимостью, эффективностью и т. д.) может оказаться и несубъективным. Например, факт, что снижение затрат на 1 млн дол. в одной области деятельности столь же предпочтительно, как сокращение издержек на 1 млн дол. в другой, не означает субъективности решения, поскольку и то и другое одинаково влияет на прибыль. Приведем еще три примера того, как специалисты из разных отраслей количественно оценивали вклад некоей формы «эффективности» в достижение конечной цели.
1. Том Бейкуэлл из Сент-Луиса, штат Миссури, — консультант по управлению, специализирующийся на оценке эффективности работы колледжей и университетов. Бейкуэлл замечает: «Люди десятилетиями говорили, что эффективность измерить невозможно». Он считает, что конечная цель работы учебного заведения — его финансовое благополучие или, по крайней мере, предотвращение финансового краха. Он рассчитывает финансовые коэффициенты для каждой программы, факультета или профессора, сравнивает результаты с коэффициентами других учебных заведений и таким образом их ранжирует. Кое-кто сказал бы, что этот расчет упускает из виду качественные аспекты эффективности труда преподавателей. Но Бейкуэлл считает, что его подход к измерению продиктован обстоятельствами: «Обычно меня зовут тогда, когда все другие возможности уже исчерпаны и колледж переживает финансовые трудности. Они объясняют мне, почему не могут измениться. Они экономят на всем, на чем можно, но не трогают основную статью расходов — затраты на оплату труда». Его прагматичный подход позволяет выяснить много интересного. Бейкуэлл замечает: «Как правило, люди знают, кто работает плохо, но иногда это становится для них сюрпризом».
2. Гуру менеджмента в области информационных технологий Пол Страссман рассчитывает «доходность управления» путем деления «стоимости, добавленной управлением», на зарплату, бонусы и льготы управляющих[39]. Стоимость, добавленную управлением, он определяет, вычитая из дохода затраты на закупки, налоги, привлечение капитала и другие расходы, не зависящие, по его мнению, от качества управления. Страссман утверждает, что стоимость, добавленная управлением, — это годовая сумма в долларах, величина которой напрямую зависит от политики менеджмента. Даже если не согласиться с тем, какие статьи расходов следует вычитать из дохода компании, чтобы получить данный показатель, этот подход кажется вполне логичным: качество руководства должно проявляться в финансовых показателях компании.
3. Билли Бин, менеджер бейсбольной команды Окленда, решил отказаться от традиционных показателей результативности игроков в бейсбол. Наиболее важным показателем нападающих стала просто вероятность не получить «аут». А показателем результативности игроков обороны стало «генерирование аутов» противника. Улучшение и тех и других показателей способствовало улучшению конечного показателя — вклада игрока в повышение вероятности выигрыша команды, соотнесенного с его зарплатой. На уровне всей команды данный показатель превращается просто в затраты на одну победу. Команда Окленда тратила на одну победу всего 500 тыс. дол., в то время как другие команды — более 3 млн дол.[40]
Во всех описанных случаях тем, кто принимал решение, пришлось изменить свое представление о смысле слова «эффективность». Методы, предложенные Бейкуэллом, Страссманом и Бином, наверное, натолкнулись на сопротивление всех, кто хотел, чтобы эффективность была более качественным показателем. Должно быть, их критики утверждали, что некоторые предложенные методы чересчур упрощены и упускают из виду слишком много важных факторов. Но что означает эффективность, как не поддающийся количественному определению вклад в достижение конечных целей организации? Как эффективность может быть высокой, если этот вклад по сравнению с затратами невелик? Мы уже неоднократно видели: ключ ко всему — уточнение объекта измерения. Поэтому, что бы вы ни имели в виду под «эффективностью», любая детализация ее истинного значения может, как и в этих трех примерах, подсказать нечто очень важное.
Глава 12. Решающий инструмент измерения: людские суждения
У человеческого разума действительно есть ряд замечательных преимуществ над обычными механическими инструментами измерения. Он обладает уникальной способностью оценивать сложные и неоднозначные ситуации, в которых другие средства бесполезны. Любой пятилетний ребенок справится с задачей распознавания лица или голоса человека в толпе, но разработчикам никак не удается научить этому программное обеспечение (хотя определенный прогресс в этом направлении уже и достигнут). И мы еще очень далеки от создания искусственного интеллекта, способного написать рецензию на кинофильм или бизнес-план. Человеческий разум — действительно непревзойденный инструмент истинно объективного измерения. Точнее, он был бы таковым, если бы не многочисленные допускаемые человеком систематические ошибки и заблуждения.
Не секрет, что человеческий мозг не просто машина для вычисления. Это сложная система, познающая окружающую среду и приспосабливающаяся к ней путем выработки разнообразных упрощающих правил. Практически все эти правила приносят правду в жертву простоте, а многие даже противоречат друг другу. Те, что не вполне обоснованны, но, тем не менее, полезны на практике, называются эвристикой. А те из них, что явно противоречат здравому смыслу, называются заблуждениями.
Если мы все же надеемся использовать человеческий разум в качестве инструмента измерения, то должны придумать, как усилить присущие ему преимущества и в то же время нейтрализовать погрешности. Последствия излишней самоуверенности экспертов устраняет калибровка вероятностей; другие характерные для людских суждений виды систематических ошибок и искажений устраняют специальные методы, особенно эффективные, когда необходимо высказать много мнений по аналогичным вопросам. Примерами могут служить оценка затрат на реализацию новых проектов по информационным технологиям, определение рыночного потенциала новых продуктов либо аттестация работников. Только человеческие суждения позволяют учесть все качественные факторы при проведении этих измерений, однако людям всегда нужна помощь.
Хомо абсурдус: странные мотивы наших решений
Читать бесплатно другие книги:
