Революция в аналитике. Как в эпоху Big Data улучшить ваш бизнес с помощью операционной аналитики Фрэнкс Билл

Когда организация готова приступить к превращению традиционной аналитики в операционную, она должна научиться сосредоточивать свои действия на нужных направлениях. Соблюдение нескольких ключевых правил поможет обеспечить распределение ресурсов в нужном направлении, чтобы не тратить время и деньги на реализацию ошибочных идей, основанных на ложных предположениях.

Задавайте правильные вопросы и делайте обоснованные предположения

Создаваемая аналитикой ценность зависит от того, как определена задача, какие вопросы заданы, как аналитическое решение разработано и как это решение реализуется. При этом выбор вопросов способен оказывать большее влияние на ценность, создаваемую результативным аналитическим процессом, чем детали этого процесса, разработанного для ответа на заданные вопросы.

Это имеет смысл. В конце концов, способен ли оказаться точным и полезным анализ, если решаемая им задача плохо определена или нужные вопросы не заданы? Ведь запросто можно идеально выполнить абсолютно неподходящий и ненужный анализ для решения неправильно поставленного вопроса. Хуже того, задав не тот вопрос, можно не выявить и ошибку. Если же вопрос кажется разумным и анализ ему соответствует, то в адекватности этого вопроса можно больше не сомневаться.

Когда потенциальные миллионы решений будут приниматься автоматически, даже небольшая ошибка при разработке аналитического процесса может привести к серьезным последствиям. Операционная аналитика требует как никогда внимательного подхода к определению анализа и разработке процесса. И по-прежнему необходимо учитывать разнообразные технические и практические факторы. Невозможно позволить себе внедрить полностью автоматизированный операционно-аналитический процесс в требуемом масштабе, если не доверяешь его надежности.

Не обрекайте анализ на неудачу с самого начала

Способ определения задачи, постановки вопросов и разработки анализа может оказать большее влияние на полученные результаты, чем вся нелегкая работа, которая за этим последует. Ничего не стоит разработать анализ, отвечающий на неправильно поставленный вопрос для решения неправильно определенной задачи.

Это подводит нас к необходимости внедрения подхода, который пока еще не стал, но должен стать привычным. В процесс разработки анализа должно входить тестирование сделанных предположений. Для этого можно использовать дисциплину, обычно используемую в инжиниринге, под названием «анализ чувствительности»{66}.

Любой аналитический процесс опирается на конкретные предположения. Это могут быть предположения о темпах роста продаж, увеличении на рынке доли конкурента или будущих затратах на сырье. Результат аналитического процесса окажется неправильным, если неточны исходные предположения. Однако по мере того как становятся известны фактические значения, оказывается, что они отличаются от предполагаемых (в лучшем случае ненамного). Важнейший вопрос: если истинные значения в той или иной степени отклоняются от наших предположений, как это влияет на результаты анализа?

Например, сотрудники могут расходиться во мнениях о том, каким будет уровень инфляции – 3, 4 или 5 %. Здесь им на помощь придет анализ чувствительности, который позволяет показать, как изменение темпов инфляции повлияет на результаты анализа. Если независимо от того, чей прогноз окажется точнее, результаты анализа приведут к одному и тому же ответу, тогда сотрудникам не придется приводить свои прогнозы к единому показателю. Достаточно определить вероятный диапазон, скажем от 3 до 5 %, поскольку при любом из этих значений анализ приведет к одинаковому решению.

Впервые я столкнулся с такой необходимостью при разработке моделей комплексного маркетинга, которые включали данные телерекламы. Мало того, что последние были предельно обобщены, так нам к тому же нужно было сделать множество предположений в отношении этих данных, чтобы подготовить их для включения в наши модели. Например, каким будет темп затухания впечатлений от рекламы? Темп затухания – очень простая концепция. Телереклама способна повысить продажи. Однако люди действуют под влиянием рекламы, т. е. активно покупают рекламируемый товар в магазине или онлайн, всего в течение нескольких дней. При первых показах телерекламы ее влияние на покупательское поведение максимально, а затем это влияние постепенно снижается. Такое сокращение и называется темпом затухания, оказывающим заметное влияние на результаты. На рис. 7.3 показаны примеры темпа затухания.

В свое время я получил рекомендацию, которой до сих пор следуют многие специалисты-аналитики: если выдаваемые моделью оценки параметров являются статистически значимыми и модель обладает мощной объяснительной силой, значит, предположения насчет темпа затухания верны и модель является работоспособной. Но, следуя такому подходу, я столкнулся с серьезной проблемой.

Однажды я создал хорошую модель с использованием стандартного темпа затухания. Однако мне пришло в голову посмотреть, что будет, если я изменю свои предположения насчет темпа затухания и запущу модель заново. Я был поражен, когда получил по-прежнему статистически значимые оценки параметров, а у модели по-прежнему доставало объяснительной силы. Но при этом новые оценки параметров расходились с предыдущими оценками больше, чем допускали пределы ошибки. Стало понятно, что наличия хорошей модели и статистически значимых параметров было недостаточно для доказательства правильности исходных предположений. И, мало того, мои предположения о темпе затухания влияли на результаты больше, чем сама модель. Мы с моей командой приложили массу усилий, чтобы окончательно определить максимально точные, на наш взгляд, предположения. Тем не менее мне и по сию пору становится не по себе от мысли о том, что предположения способны настолько радикально повлиять на результаты анализа.

Предположения увеличивают риски; оцените риски

При создании аналитического процесса делается много предположений, причем вероятность того, что все они будут абсолютно точными, крайне низка. Полезно оценивать, как изменяются результаты, по мере того как варьируются фактические значения под влиянием предположений в правдоподобном диапазоне. Это позволяет лучше понять сопряженные с анализом риски.

Далеко не всегда все разумные предположения будут приводить к одинаковому ответу. В некоторых ситуациях один набор разумных предположений даст положительный результат, тогда как другой набор – отрицательный. В таких случаях необходимо прийти к согласию относительно заключительного предположения и оценить риски, связанные с возможной ошибкой. Когда разные предположения ведут к разным ответам, разумно использовать для подстраховки наиболее консервативные предположения. Анализ чувствительности для оценки влияния предположений не устраняет риски, а просто позволяет измерить их количественно и лучше их осознать. Хорошим инструментом для такой оценки предположений служит моделирование по методу Монте-Карло.

Делайте ваши ставки!

Как мы увидели во второй главе, хотя затраты на сбор и хранение данных снизились, но по крайней мере столь же быстро растут объемы данных и аналитические потребности организаций. Сегодня существует такое широчайшее разнообразие аналитических возможностей, что порой это приводит в замешательство. Все решения о том, где следует сделать ставки, должны быть основаны на надежном суждении. Причем в отношении больших данных и операционной аналитики оно должно быть не менее надежным, чем в прошлом. Ведь чем больше появляется данных и во все более разнообразных сочетаниях, тем проще пойти по ложному пути. Или же можно наткнуться на ложные корреляции, которые не имеют никакого отношения к реальности.

Например, при построении статистических моделей можно угодить в стандартную ловушку ввиду того, что многие модели устанавливают меру доверия к своим оценкам значений параметров. Общепринятый стандарт требует по крайней мере 99 %-ного уровня доверия к тому, что эффект действительно существует, а не является чисто случайным совпадением. Когда тестируется всего несколько факторов, шансы на успех невелики и, вполне вероятно, что некая абсолютная фальшивка будет признана статистически значимой. Но подумайте о петабайтах сенсорных данных, генерируемых современным самолетом. Возможно, появятся тысячи или даже десятки тысяч метрик, способных коррелировать с такими событиями, как перегрев двигателя. Если при исследовании 20 000 факторов устанавливается уровень доверия в 99 %, то можно ожидать, что 200 совершенно ложных факторов будут признаны статистически значимыми.

Необходимо решить, какие метрики должны быть включены в анализ, чтобы оставить из них только разумные. Но даже после такой фильтрации может остаться множество метрик, которые будут приводить к выявлению ложных эффектов. После построения модели требуется осуществить дополнительный анализ для проверки реальности обнаруженных эффектов. Оценке должен подвергаться весь процесс.

Не спешите выносить приговор

Отличный пример, хорошо иллюстрирующий затронутые в этом разделе темы, связан с компанией Boeing и ее самолетом модели 787. В 2012 г. компания попала в новости из-за проблем с аккумуляторами на 787{67}. Это дорого обошлось ей и в финансовом плане, и с точки зрения ущерба репутации. Во время моего выступления на одной из конференций меня спросили, не считаю ли я, что Boeing облажалась, не сумев исправить проблему с аккумуляторами до выпуска самолета на рынок. Задавший этот вопрос человек считал, что, получив в ходе тестирования все сенсорные данные, компания должна была обнаружить дефект. Я ответил, что не совсем справедливо рассматривать ситуацию под таким углом, поскольку не все так просто. Я предпочитаю считать людей или компании невиновными до тех пор, пока их вина не доказана. Задним числом может казаться, что выявить проблему с аккумуляторами было несложно, но давайте рассмотрим несколько соображений, которые противоречат такой точке зрения.

Во-первых, вполне возможно, что Boeing не собирала таких данных, которые позволили бы выявить конкретную проблему с аккумуляторами. Во-вторых, даже если компания собирала нужные данные во время тестирования, то скорее всего и проанализировала их, но не обнаружила вызывающих тревогу шаблонов. Возможно, проблема возникла только тогда, когда самолет начал эксплуатироваться в реальных условиях. Более того, даже если данные содержали информацию, позволяющую выявить проблему, это вовсе не означает, что компания облажалась. Позвольте мне объяснить, в чем дело.

Не становитесь жертвой суждений задним числом

Когда нужно проанализировать столь много данных по самым разным направлениям, следует, применив здравый смысл, воспользоваться возможностями, способными оказать самое сильное воздействие. Задокументируйте принятие решения с указанием, на чем были сосредоточены усилия, чтобы впоследствии защитить свои действия от суждений задним числом. Найти иголку в стоге сена почти невозможно. Но, когда она обнаружена, ее почти невозможно упустить.

С учетом тех объемов данных, которые генерируются мириадами датчиков на Boeing 787, невозможно исследовать каждую деталь, способную сломаться. На это попросту не хватит времени с точки зрения как рабочей силы, так и вычислительных мощностей. Инженерам и специалистам-аналитикам компании пришлось, исходя из предположений, выбирать, где сосредоточить свои усилия. Безусловно, они изучили области высокого риска. В самолете имеются компоненты, чей отказ может привести к катастрофе, такие как двигатель и шасси. Я уверен, что компания приложила много сил для анализа в этих областях. В то же время не столь страшно, если во время полета перестанет работать кнопка вызова стюардов. Эту поломку легко устранить, и она не несет никакого реального риска для экипажа или пассажиров. Проблема с аккумуляторами находится где-то посередине между этими двумя крайностями. Вполне возможно, что аккумуляторы не были сочтены источником высокого риска, чтобы уделить им пристальное внимание, притом с учетом ограниченности ресурсов и прошлого опыта.

Разумеется, возможно, что Boeing анализировала данные с аккумуляторов, и эти данные позволяли выявить проблему, но компания ее проглядела. Возможно, что Boeing действительно облажалась. Но без дополнительных фактов мы не можем знать об этом наверняка.

Отсюда вытекает урок: по мере того как организация собирает все больше данных и создает все больше аналитических процессов, специалисты-аналитики должны документировать свои процессы принятия решений. Это означает документировать не только то, что анализируется, но и то, что не анализируется и почему не анализируется. Найти иголку в стоге сена будет невозможно, пока кто-нибудь не укажет вам на нее. Но, когда вы узнаете, где находится иголка, то четко ее разглядите. Подобным же образом, когда возникла проблема с аккумуляторами в самолете, было естественным вообразить, что ее следовало выявить заранее. Документирование выбора места для сосредоточения аналитических усилий позволяет смягчить подобную критику задним числом. Проблемы часто не бывают очевидными до тех пор… пока вдруг не станут очевидными просто потому, что они возникли.

Есть несколько различных способов создания аналитических процессов. Хотя на первый взгляд эти подходы могут казаться похожими, между ними существуют различия, которые важно осознать. Некоторые аналитические подходы часто понимаются неправильно и считаются намного менее логичными и высококлассными, чем они есть на самом деле. В этом разделе мы рассмотрим несколько основных подходов, призванных стать частью действий любой организации по внедрению операционной аналитики.

Обнаружение данных и подтверждающий анализ

В прошлом большая часть аналитики представляла собой то, что можно назвать «подтверждающим анализом». Он начинается с формулировки конкретной гипотезы или постановки конкретной цели. Далее выполняется анализ, чтобы подтвердить (или нет) гипотезу либо проложить путь к цели. Другими словами, анализ начинается с очень четкого определения направления и поля деятельности. Например, меня могли бы попросить ответить на вопрос, в какой степени информация о продуктах, просмотренных клиентом в сетевом журнале, повышает продвижение моделей, используемых для прогнозирования вероятности покупки. Когда поле деятельности было четко определено, я мог с самого начала уверенно оценить свои трудозатраты и назвать критерии, по которым будет оцениваться успешность моих действий. Это облегчало мою работу в рамках типичных корпоративных процессов обоснования проектов.

Мир больших данных все чаще ориентируется на то, что можно назвать исследовательской аналитикой. Такой анализ начинается не столько с постановки конкретной гипотезы или цели, сколько с попытки найти в данных ценность, которая может оказаться полезной при постановке более широких целей или набора гипотез. Наличие у специалистов-аналитиков лишь немногих заранее сложившихся идей вовсе не означает, что они изначально не имеют представления о том, что хотят узнать в ходе анализа. Это просто означает, что задачи изначально являются менее формализованными, не очень четко определенными и жестко поставленными.

Например, меня могут попросить проверить, можно ли использовать новый источник данных с целью повысить эффективность моделей, применяемых для прогнозирования вероятности покупки. Я волен сам выбирать лучшие метрики, лучшие способы тестирования этих метрик в рамках аналитического процесса и лучшие методики, которые следует использовать. Могу начать с целого ряда идей, но заранее не знаю наверняка, какие из них сработают, и не могу оценить свои трудозатраты и определить критерии успеха, пока не выполню анализ. В силу этих обстоятельств сотрудники поначалу могут испытывать дискомфорт. Между тем исследовательский анализ существует уже достаточно долгое время и всегда играл важную роль для крупных организаций. Сегодня этот тип анализа начинает приобретать все большую актуальность, поэтому на него начинает выделяться больше ресурсов, чем в прошлом. Исследовательский анализ также можно назвать пробным анализом.

Исследование данных не является случайным или бесцельным процессом

Иногда к исследовательскому анализу относятся скептически, считая, что специалисты-аналитики просто играют с данными в попытке найти нечто стоящее. Это не так. Просто исследование данных начинается с постановки более широкой цели и специалистам предоставляется больше времени для достижения этой цели.

По мере того как организации увеличивают использование аналитики и, следовательно, пул талантливых аналитиков и аналитические обрабатывающие мощности, им становится гораздо проще выделять пусть даже небольшую долю ресурсов на исследовательскую аналитику. Если команда аналитиков небольшая, возможно, будет трудно высвободить сотрудника, который будет заниматься конкретно такими исследованиями, поскольку команда едва справляется с потребностями организации в подтверждающей аналитике. Но если команда большая, то будет гораздо легче высвободить время и для исследовательских действий.

Исследовательский анализ начинается с постановки более широкой цели, но при этом на момент начала пректа остается неизвестным наилучший способ ее достижения. Здесь нет четко очерченного плана анализа в отличие от проекта с использованием подтверждающей аналитики. Например, подробный план по созданию нового механизма рекомендаций станет непременной частью подтверждающего анализа. А исследовательский анализ может начаться, когда задается только основное направление, например найти возможные способы улучшения действующего механизма рекомендаций. Специалисты будут экспериментировать, чтобы найти оптимальный вариант улучшения механизма. Команда станет исследовать различные источники данных и методологии, пока не найдет наилучший вариант. В этот момент может быть принят более жесткий план, с тем чтобы запустить в работу подтверждающий анализ.

Чтобы наглядно проиллюстрировать различия между подтверждающим и исследовательским анализом, можно провести параллель с ситуацией в энергетической отрасли. Нефтегазовые компании тратят массу денег на определение мест для бурения скважин. Эта деятельность сходна с исследовательским анализом, поскольку компании изучают широкий спектр нетестированных вариантов, чтобы выбрать из них наиболее подходящие для бурения. После того как находится площадка, обладающая потенциалом, приступают к бурению. Начинается этап с подтверждающего анализа. Компания знает точно, где бурить и что она ищет. В процессе бурения она либо находит нефть, либо нет. Другими словами, гипотеза о том, что в данном месте залегает нефть, либо подтверждается, либо нет.

Исследования и разработки или хакерство?

Люди часто ошибочно воспринимают исследовательский анализ как бездумное хакерство и бесполезное экспериментирование. Такое отношение абсолютно несправедливо, если исследовательский анализ осуществляется надлежащим образом. Исследовательскую аналитику следует рассматривать как один из видов исследований и разработок (НИОКР) с вытекающим отсюда намерением впоследствии монетизировать результаты. Разумеется, чтобы найти способы монетизации (или определить отсутствие таковых), могут потребоваться дополнительные эксперименты.

Крупные сети ресторанов и производители продуктов питания имеют специальные тест-кухни, где они экспериментируют с десятками или сотнями рецептов в поисках интересных новинок, которые можно включить в меню или производимый ассортимент. Сходным образом аналитической команде может потребоваться испытать ряд аналитических процессов, прежде чем она найдет заслуживающий его превращения в операционный.

Например, перед тест-кухней может быть поставлена такая неопределенная задача, как «создать новый рецепт сэндвича с курицей». Повара получают широкую свободу в изучении трендов и вкусов, популярных сегодня на рынке. Например, какие приправы входят в моду? Недавний тому пример – сэндвичи на фигурных булках (брецелях), появившиеся в 2013 г. Эта новинка стала настолько популярной, что многие сети быстрого питания включили брецель-сэндвичи в свое меню. Итак, тест-кухня получила некие общие указания. Хотя повара и понимали, что им нужно создать новый рецепт сэндвича с курицей, но каким именно должен быть окончательный рецепт, в указаниях не сообщалось. После того как повара узнали о том, что в моду вошел брецель, они сосредоточились на поиске рецепта вкусного брецеля и рецепта сэндвича, который приобретет вкус в сочетании с брецелем. Именно так и должен проходить исследовательский анализ, а рассматривать его следует как деятельность с широкой целью в рамках НИОКР.

Организация должна обеспечить в своей корпоративной культуре место для исследовательской аналитики, чтобы она расценивалась не как бесцельное хакерство, а как научное начинание. Такое небольшое изменение привычного образа мыслей может значительно ускорить поиск организацией новой аналитики, способной к превращению в операционную. Постановка более широких, но обоснованных задач позволяет сфокусировать внимание аналитической команды на реальных потребностях бизнеса, а не на любопытных идеях, не способных к воздействию. Специалисты-аналитики могут легко сбиться с пути, следуя интересным, но несущественным трендам, если они будут просто предаваться хакерству, а не начнут официально работать в рамках НИОКР. Каждая исследуемая ими идея должна оцениваться с точки зрения ее полезности для бизнеса. А хакерством они могут заняться в качестве хобби по выходным дням.

Как уже говорилось в шестой главе, даже на этапе НИОКР специалисты должны учитывать те ограничения, с которыми они столкнутся при внедрении процесса в производство. Например, тест-кухня не будет придумывать такой рецепт сэндвича, приготовление которого потребует нового дорогостоящего оборудования – разумеется, если только повара не сумеют доказать, что установка такого оборудования в каждом заведении сети для поддержки свежеиспеченного продукта окупит себя. Аналогичным образом учет ограничений в ходе НИОКР позволит аналитикам избежать путей, непригодных для превращения их в операционные. Например, все знают о знаменитом конкурсе Netflix Prize[5]. Однако многие победившие в нем решения так и не были претворены в жизнь, поскольку прирост точности прогнозов не оправдывал огромных затрат, требуемых для улучшения алгоритма фирмы Netflix{68}.

Укрепление процессов для внедрения в операционном масштабе

Есть аспект в операционной аналитике, с которым трудно смириться профессионалам. Он заключается в том, что при операционализации аналитики часто бывает необходимо отказаться от некоторой точности или сложности аналитических процессов. Операционная аналитика требует смириться с использованием хороших (а не идеальных) данных, с получением хороших (а не идеальных) результатов и с изменением критериев для оценки успеха. Теоретическая точность и продвижение аналитического процесса не так важны, как фактическое влияние генерируемых им решений и рекомендаций. Например, если водители будут игнорировать предлагаемые им оптимальные маршруты, то воздействие аналитических процессов будет нулевым независимо от того, насколько они хороши.

Как об этом говорилось в шестой главе, когда аналитика выполняется в качестве кастомизации или в индивидуальном порядке, процессам может быть присуща известная хрупкость. В такую «ручную работу» вполне можно добавить немного элегантности и усложненности, чтобы сделать анализ подлинно уникальным и максимально ценным, поскольку он будет использоваться в небольших масштабах.

Точно так же вы способны с легкостью украсить свой дом в соответствии с вашими потребностями и вкусами. Декор может включать множество очень красивых и хрупких вещей. Однако вы бы никогда не использовали их для украшения общественных мест, таких как торговый центр или офисное здание. В тех редких случаях, когда ценные и хрупкие вещи выставляются в общественных местах, например музеях, требуются дополнительные меры безопасности, включая толстые органические стекла и поглощающие вибрацию витрины. Подобно тому как необходимо применять разные стандарты оформления интерьера для дома и общественных мест, так же необходимо применять и разные стандарты для аналитических процессов, когда они переводятся из разряда «ручных» в разряд операционных.

Производство любого продукта в количестве миллионов штук за день в промышленном масштабе требует некоторых компромиссов. При разработке дизайна продукта производители вынуждены идти на компромиссы постоянно. Очень изысканный дизайн бокала для вина может сделать его слишком хрупким для частого использования, например, в ресторанах. В таком случае можно частично пожертвовать изысканностью дизайна ради обеспечения большей прочности.

Организации должны сосредоточиться на оптимизации общего воздействия своих операционно-аналитических процессов, а не на достижении изощренности или абсолютной точности каждого отдельного решения в рамках процессов. Иногда, немного пожертвовав изощренностью и точностью, можно превратить нулевое воздействие в очень значительное. От небольшого дополнительного повышения точности будет мало толку, если решение не может быть реализовано в операционном масштабе.

Оптимизируйте совокупное качество решений

В операционной аналитике цель – максимизировать не качество каждого отдельного решения, а совокупное воздействие процесса на все решения. Это может потребовать отказа от некоторой аналитической мощности, чтобы сделать процесс достаточно устойчивым для внедрения его в промышленном масштабе.

Не поймите меня неправильно! Я не ратую за отказ от всяких стандартов. Даже если при разработке продукта делались некоторые уступки, промышленная производственная линия всегда подчинена строжайшим процедурам контроля качества. Когда небольшое повышение точности аналитического процесса достигается за счет удвоения времени на его выполнение, это не сработает. Если применяемый аналитический метод высокочувствителен к выбросам данных, будет слишком рискованно применять его в окружении, где нет возможности осуществлять проверку данных перед их использованием. Остается надеяться, что абсолютно лучшее решение и решение, наиболее пригодное для операционного внедрения, не будут слишком сильно расходиться между собой. Тем не менее необходимо делать между ними различие.

Давайте на минутку обратимся к контрольным процессам на производственных линиях. Производители используют процедуры статистического контроля, выдающие постоянные сводки о работе производственного процесса. Статистический контроль процессов предоставляет информацию о том, находятся ли различные показатели в ожидаемом диапазоне и в каком направлении они изменяются. Когда какой-либо показатель выходит за пределы допустимого диапазона, применяется корректирующие действие. Например, если температура изделий по выходу из печи становится слишком высокой или слишком низкой, производственная линия может быть остановлена с целью регулировки печи.

Процедуры статистического контроля процессов могут применяться и к операционно-аналитическим процессам. Организация способна отслеживать решения, принимаемые аналитическим процессом, а также данные, на основе которых решения принимаются. Принимаются ли решения в тех же пропорциях, что и раньше? Показывают ли вводимые данные то же ожидаемое распределение, что и раньше? Когда один из показателей начинает отклоняться от установленных параметров, кто-то должен вмешаться, остановить процесс и устранить неполадку точно так же, как это происходит на производственных линиях. Для контроля за операционно-аналитическими процессами могут использоваться методы традиционной аналитики.

Успех операционной аналитики зависит не только от мощности и эффективности собственно аналитики, но и от того, как люди и организационные процессы фактически используют рекомендации и следуют решениям. Поведение сотрудников должно измениться под воздействием аналитики, иначе она не принесет искомой отдачи. Вот почему изменение организационной культуры является ключом к успеху операционной аналитики, о чем мы подробнее поговорим в девятой главе.

На протяжении всей книги я делаю акцент на том, что многие уроки прошлого применимы и в мире больших данных и операционной аналитики. Существуют классические аналитические концепции, от которых не следует отказываться, несмотря на шумные призывы к отказу. Давайте рассмотрим несколько областей, где шумиха могла затмить реальность.

Статистические методы по-прежнему актуальны

Сегодня можно наткнуться на мнение, кто классические методы статистики – это устаревшие концепции, предназначенные только для малых данных. Это абсолютно ошибочная точка зрения. Разумеется, аналитика развивается и добавляет все новые аналитические дисциплины, поэтому организации должны расширять свои аналитические компетенции за пределы классических методов статистики. Некоторые аналитические методы и алгоритмы, такие как алгоритмы поиска и обработки естественного языка, не основаны непосредственно на методах классической статистики. Это нормально. Однако подобно тому как добавление нереляционного окружения к реляционному не означает, что потребности в реляционной обработке канули в лету, так и добавление дополнительных аналитических дисциплин к классической статистике не говорит о том, что последняя потеряла свое значение{69}.

Независимо от того, насколько большим является источник данных, ему все равно присущи вариативность и неопределенность. Данные никогда не бывают идеальными, и в изучаемых нами совокупностях данных всегда будет присутствовать естественная вариативность. Сколько бы данных у нас ни имелось, невозможно с идеальной точностью предсказать поведение каждого конкретного человека или поломку каждого конкретного двигателя, поскольку нам всегда будет недоставать некоторой информации и всегда будут присутствовать неучтенные факторы{70}. Статистика позволяет количественно оценить и учесть риски, сопряженные с этими пробелами. Давайте рассмотрим следующий пример.

В последнее время большую популярность приобретает такой нестатистический метод, как пат-анализ (он же анализ троп). Как правило, он используется для идентификации серии действий каждого клиента и соотнесения путей, которыми он следует, с проявлениями его интереса. Эти действия могут включать снятие средств через банкомат, звонки в колл-центр, внесение средств на счет, клики на веб-страницах, твиты и любые другие, прямо или косвенно затрагивающие организацию. В путь могут быть включены десятки возможных действий. На протяжении многих лет пат-анализ применялся к веб-трафику, позволяя определять, как пользователи передвигаются по сайту и какие пути с наибольшей вероятностью ведут к продажам. Сегодня этот аналитический метод начинает выходить за рамки веб-трафика.

Статистика умерла… Да здравствует статистика!

Идея о том, что статистика потеряла свою актуальность, – заблуждение. Тогда как сегодня действительно существует необходимость выходить за рамки только классических статистических методов, сами по себе эти методы остаются крайне важным компонентом операционной аналитики.

Установление ключевых фактов о типичных путях позволяет повысить мощность прогностических моделей благодаря включению в них уникальной информации. Рассмотрим сценарий с четырьмя конкретными взаимодействиями: снятием средств через банкомат (А), звонком в колл-центр (B), визитом в филиал банка (C) и подачей жалобы (D). Свой путь я обозначу как ABCD: сначала снял деньги в банкомате, потом позвонил в колл-центр, далее нанес визит в филиал банка и, наконец, подал жалобу. После идентификации пути каждого клиента можно легко определить, какие из путей являются наиболее типичными и к каким, положительным или отрицательным, исходам относительно интересующих организацию метрик они ведут, например к открытию нового счета или закрытию существующего. Использование статистики может повысить точность пат-анализа и расширить его применение. Создав набор вспомогательных метрик, отражающих ключевые особенности каждого пути, можно более глубоко исследовать, какие аспекты путей влияют на интересующие организацию метрики. Резюме может включать следующие метрики:

• Повышает ли звонок в колл-центр риск ухода клиента в любой ситуации?

• Подача жалобы имеет значение только в том случае, если она является первой или последней в серии действий?

• Такие действия, как визит в филиал и подача жалобы, имеют значение только в сочетании, но не по отдельности?

• Подача жалобы после звонка клиента в колл-центр приобретает большее значение, чем когда предшествует звонку?

• Подача жалобы сразу по трем каналам коммуникации в любом сочетании существенно увеличивает риск ухода клиента?

На эти вопросы можно ответить, если маркировать путь каждого клиента при помощи серии числовых переменных, определяющих наличие или отсутствие ключевых характеристик пути. Например, одна переменная будет иметь значение 1, если путь включает комбинацию визита в филиал и звонка в колл-центр, и 0, если не включает. После создания широкого спектра переменных можно использовать классический корреляционный или регрессионный анализ для определения того, какие характеристики пути в наибольшей степени связаны с интересующей организацию метрикой. В рассматриваемом нами сценарии нестатистическая функция пути используется для поиска новой информации, которая затем может быть проанализирована строгими статистическими методами. Таким образом, статистика усиливает эффективность пат-анализа. Это еще один пример воздействия мультидисциплинарной аналитики, о чем мы уже говорили ранее в данной главе. Статистика живет и процветает.

Не пренебрегайте выборками

Концепция использования выборок в аналитических процессах родилась практически вместе с самой аналитикой{71}. В прошлом необходимость работы с выборками, а не со всей совокупностью данных диктовалась ограниченными возможностями обработки. В последние годы во многих случаях стало возможным собирать и анализировать всю совокупность интересующих нас данных, поэтому начались разговоры о том, что эпоха выборочных исследований подошла к концу.

Давайте начнем с признания того, что есть случаи, когда выборочный метод просто не будет работать. Если вам нужно найти 100 клиентов, обеспечивающих самые большие объемы продаж, это нельзя сделать на основе выборки. Вы должны рассмотреть каждого клиента, чтобы найти 100 лучших. Однако такие задачи, хотя и являются довольно типичными, не превалируют среди аналитических потребностей. Кроме того, существуют случаи, когда модель, даже если она построена на основе выборки, должна быть применена ко всей совокупности данных. Другими словами, когда дело доходит до практического применения модели, вариант с выборками отпадает.

Но давайте обратимся к типичной задаче, когда необходимо установить среднее значение или получить оценки параметров прогностической модели. С точки зрения статистики правильная выборка, которая адекватно отражает всю совокупность и имеет достаточный размер, даст такой же ответ, как и вся совокупность данных. В таких обычных ситуациях практически не будет разницы между ответом, полученным на выборке, и ответом, полученным на всей совокупности. Более высокая стоимость обработки массы дополнительных данных не принесет дополнительных доходов. Даже если модель в конечном итоге будет использована для обработки всех данных, нет смысла создавать модель на основе всей совокупности. Вместо этого необходимо разделить все данные на две части и использовать одну для построения, а другую для последующей валидации модели. Угадайте, что представляют собой наборы данных, предназначенные для построения и проверки модели? Это выборки! Таким образом, использования выборок данных во многих случаях попросту нельзя избежать.

Некоторые специалисты с пеной у рта утверждают, что в тех случаях, когда можно обойтись без выборки, нужно обходиться без нее. Другие считают, что использование более чем минимальной выборки – это пустая трата времени и ресурсов. Лично моя позиция такова: если некто выполняет для меня проект и хочет использовать выборку, я соглашаюсь при условии, что выборка является правильной и достаточного размера. Если же мне предлагают использовать всю совокупность данных, я соглашаюсь и на это при условии, что привлечение дополнительных ресурсов окажется незначительным. Я уверен, что получу такие же результаты, поэтому меня не беспокоит, какой именно путь будет избран. При разработке аналитического процесса существует масса спорных вопросов, поэтому не тратьте время на споры о том, использовать выборку или нет.

Не переусложняйте анализ

Впервые столкнувшись с этой проблемой, я был поражен: оказывается, чересчур изощренная аналитика иногда дает худший результат, чем простая. Это может быть верно даже в тех случаях, когда чисто теоретически более сложный метод должен работать лучше. Убежден, причина в том, что данные всегда содержат некоторую неопределенность, зачастую являются разреженными и никогда не бывают абсолютно полными. Когда аналитика усложняется, возникает риск увеличения в данных ошибок и неопределенностей наряду со снижением контроля и ухудшением их расчета. Вдобавок можно перестараться с настройкой модели, т. е. настолько ее усложнить, что она начнет отражать случайные вариации, присутствующие в конкретном наборе данных, на котором модель создавалась, а не реально существующие эффекты. Переусложненная настройка становится очевидной, когда модель плохо работает при применении к проверочной выборке.

Несколько лет назад моя команда разрабатывала модели прогнозирования продаж на уровне отдельных магазинов для крупного ретейлера. Анализ должен был охватывать сотни миллионов комбинаций магазин/товар. Многие виды товаров продавались часто и стабильно, что соответствовало предположениям, на которые опираются широко используемые алгоритмы для такого типа прогнозов. Однако также было много товаров, что не вписывались в стандартные шаблоны продаж. Клиент нанял мою команду, чтобы разработать индивидуальные решения, применимые к таким исключениям. Однако, с учетом масштабов организации, исключения все равно составляли миллионы комбинаций магазин/товар.

Не слишком изощряйтесь!

При создании аналитических процессов в операционном масштабе упрощенные решения могут оказаться лучше причудливых. Операционная аналитика часто работает с данными низкого качества, которые могут быть разреженными и неполными. Чрезмерная изощренность модели может привести к нарастанию в данных проблем, вместо того чтобы контролировать их.

Мы с самого начала знали, что клиент нанял еще одну консалтинговую фирму для реализации того же проекта и что команда, предложившая лучшее решение, будет выбрана для дальнейшей работы. Поскольку другая фирма бросила на проект больше людей, чем наша, победить за счет грубой силы мы не могли. У меня был опыт сотрудничества с этой фирмой в прошлом, и я знал, что ее сотрудники любят использовать наборы сложных алгоритмов для повышения точности прогностических моделей. Однако в этом конкретном случае существовала вероятность того, что такой подход не сработает в требуемом масштабе. Я попросил свою команду начать с простых алгоритмов и постепенно увеличивать их сложность, пока не будет достигнут такой порог, когда начнет страдать их масштабируемость.

Когда проект только начался, я предположил, что другая команда превзойдет нас в абсолютной прогностической точности, однако для масштабирования разработанного ею решения потребуются настолько значительные усилия, что это будет признано нецелесообразным. В то же время наши пусть и менее точные модели должны были лучше работать на практике. Я был приятно удивлен, когда оказалось, что наши модели оказались и более точными. Учитывая неполную и разреженную природу данных, изощренные многоступенчатые алгоритмы усиливали помехи, вместо того чтобы их контролировать. Моя команда думала, что мы отказываемся частично от аналитической мощности ради операционной масштабируемости (об этой концепции уже несколько раз говорилось в книге). Однако в итоге вышло так, что в данном случае простой подход сработал лучше и нам не пришлось ничем жертвовать. Вот почему не следует думать, что всегда лучше делать выбор в пользу изощренности. Пробуйте и простые варианты.

Операционная аналитика должна обеспечивать решения

В свете нашего разговора об аналитике легко впасть в заблуждение и решить, что сотрудников среднего звена в организациях интересует аналитика. Она их не интересует! Большинство сотрудников интересует возможность решения тех проблем, которые у них есть. Если аналитика может предложить такое решение, они ее принимают, но сама по себе она им неинтересна. Запомните: их интересует не аналитика, а решение проблемы!

Разумеется, во многих случаях мои заказчики проектов в определенной степени интересуются аналитикой. Например, сотрудники, отвечающие за базу маркетинговых данных, охотно обсуждают со мной аналитические тонкости и решения. Руководители подобных отделов понимают и приветствуют аналитику и, кроме того, часто имеют подготовку в этой области. Что же касается операционной аналитики, то многих моих клиентов заботит только решение проблемы. Это может быть снижение уровня мошенничества, повышение эффективности в цепочке поставок или сокращение затрат на техническое обслуживание, но за пределами воздействия на проблему аналитика их не интересует. Более того, основными пользователями операционной аналитики обычно выступают рядовые сотрудники, которые не имеют необходимого образования для понимания аналитики. Но они должны иметь возможность использовать аналитику, даже если не разбираются в ее деталях.

Вот почему я рекомендую делать акцент на решении проблемы. Покажите, что процесс работает, но не сосредоточивайтесь на самой аналитике при демонстрации ее результатов. Если ваши клиенты или непосредственные пользователи процессов не понимают нюансов и сложностей, лежащих в основе аналитических процессов, нет смысла перегружать их подробностями. Иначе они могут вообще отказаться от внедрения аналитических процессов. Просто продемонстрируйте, что процесс работает, опишите все преимущества и на этом остановитесь – если только вас не попросят о дополнительной информации.

Обеспечьте решения, а не лекции по теории аналитики

Многие заказчики и пользователи операционной аналитики не понимают аналитики или не испытывают к ней интереса. Их заботит только возможность решения проблемы. Убедите их в том, что аналитика поможет решить их проблему, но не углубляйтесь в технические подробности. Если же людей перегрузить информацией, они могут вообще отказаться от выполнения предложенного им решения.

Многие из нас не желают вникать в детали непонятного нам явления. Например, большинство людей не хотят вникать в то, как работает двигатель автомобиля и почему после нажатия на педаль газа топливо подается в карбюратор. Обычно человек просто хочет знать, что, если он нажмет на педаль газа, автомобиль поедет вперед. С операционной аналитикой дела обстоят точно так же, когда ее пользователями становятся люди, не желающие вникать в принципы ее работы.

Операционная аналитика просто должна быть частью предлагаемого вами решения проблемы. Если вы продемонстрируете, что найденное решение приносит нужные результаты, то уже осчастливите заказчиков и пользователей. Им не понадобится вникать в детали. А будут ли конечные пользователи полностью разбираться в стоящей за решением аналитике или принимать ее, это действительно не важно. Если вы помните, в первой главе мы рассматривали пример с логистической компанией, которая решила уменьшить ежедневный километраж для своих водителей службы доставки. Многие водители с пренебрежением отнеслись к компьютерным рекомендациям, поскольку оказалось, что при более вдумчивом подходе они смогли найти способы сократить километраж еще больше и превзойти компьютерную программу. Таким образом, рекомендации бросили вызов водителям – и заставили их изменить свое поведение. Даже если водители не поняли, что именно аналитика инициировала изменения, главное, что изменения произошли.

Если организация хочет поставить операционную аналитику себе на службу и получать от нее весомую отдачу, ей надо для этого подобрать нужных людей. Кроме того, надо правильно их организовать и обеспечить им условия для успешной работы. В большинстве случаев – за исключением разве что некоторых развитых в плане использования аналитики компаний – придется изменить и существующие организационные структуры. Тематику, связанную со специалистами-аналитиками и аналитическими командами, я рассмотрел в своей книге «Укрощение больших данных». В этой главе я хочу добавить еще несколько важных соображений и новую информацию. Итак, давайте рассмотрим некоторые ключевые действия по набору, организации и управлению аналитической командой, способной обеспечить успешное применение операционной аналитики.

Произошел серьезный сдвиг

Сегодня я с удивлением наблюдаю за тем, как расширяются карьерные возможности для профессиональных аналитиков. Более 20 лет назад, после окончания аспирантуры, я отчетливо понимал, что моя профессиональная судьба – оставаться «ботаником», обитающим в дальних закоулках офисов. Время от времени меня будут выпускать из подвала, но бльшую часть времени я буду сочинять в кулуарах умнейшие аналитические отчеты. Такова была участь специалистов по аналитике в те времена, и я с ней смирился.

С улыбкой вспоминаю, как на моей первой работе мне приходилось разговаривать с кем-то, кто мог поговорить с кем-то, кто мог поговорить с кем-то, кто принимал решения. Я находился на приличном удалении и от лиц, принимающих бизнес-решения, и от ИТ-отдела. Ввиду места, которое моя команда занимала в организации, и наших условий для работы наше влияние было весьма ограниченным. Например, разработанный мной анализ для прогнозирования ухода клиентов осуществлялся в режиме пакетной обработки и только для немногих конкретных точек принятия решений. Аналитика не была интегрированным компонентом деятельности организации (впрочем, как и я со своей командой) и тем более не была операционной.

Сегодня специалист по аналитике постоянно сидят за одним столом вместе с принимающими решения лицами. И, более того, зачастую сами являются такими лицами. Какая огромная перемена по сравнению со стартом моей карьеры! Я пришел в аналитику по одной простой причине: она мне нравилась. Хотелось бы заявить, что я с самого начала предвидел будущее, но не могу себе этого позволить. Мне просто повезло, что я выбрал одну из самых востребованных сегодня профессий.

Аналитика не только воскресла из небытия, но и впала в противоположную крайность. Такие авторитетные издания, как Harvard Business Review, CNNMoney и Forbes, сегодня пишут о профессии аналитика как не только о востребованной, но и привлекательной{72}. После того как годами я пытался объяснить людям на вечерниках, чем зарабатываю себе на жизнь, не особо пугая их подробностями, мне забавно, что меня, благодаря моему роду занятий, стали считать умным, пусть и непривлекательным.

Вследствие этой вновь обретенной (и, возможно, мимолетной) популярности появилось упражнение, которое я хотел бы порекомендовать моим коллегам. Вечером, перед тем как лечь в постель, остановитесь на мгновение перед зеркалом, посмотрите на себя и скажите: «Я специалист-аналитик, и я привлекателен». Впервые в вашей жизни другие люди могут согласиться с этим утверждением.

Еще совсем недавно, в 2012-м, когда мы обсуждали с организациями их аналитические стратегии, они обычно упирались в вопрос, а нужно ли им вообще нанимать специалистов-аналитиков. Это всегда обескураживало меня, поскольку мне как профессионалу хотелось, чтобы все остальные считали нашу профессию ценной и не ставили под сомнение необходимость нашего найма.

Аналитические организации никуда не денутся

В последние годы произошел серьезный сдвиг. Вместо того чтобы задавать вопрос, нужны ли им вообще аналитические таланты, сегодня организации озабочены тем, как из имеющихся у них талантов создать команды и расширить их влияние. Это говорит о том, что в настоящее время ценность профессиональных аналитиков осознана, а их роли расширяются.

С тех пор ситуация примечательным образом изменилась. Начиная с 2013 г. многие организации стали обращаться ко мне и спрашивать не о том, нужно ли им нанимать специалистов-аналитиков, а о том, как создать команду из имеющихся профессионалов. В этом виден большой прогресс, поскольку он отражает два важных факта. Во-первых, во многих компаниях сегодня достаточно много аналитических талантов, вследствие чего приходится задумываться о том, как их организовать. Во-вторых, и это столь же важно, упор на создание аналитических команд говорит о том, что они никуда уже не денутся. Вот в чем состоит серьезный сдвиг и воодушевляющая тенденция.

Аналитические команды теперь широко распространены. Если в вашей организации такой команды нет, вы должны ее создать. Если уже есть, вам нужно ее укомплектовать, сорганизовать и управлять ею правильно, если вы хотите добиться успеха в операционной аналитике. Именно этому и посвящена остальная часть данной главы.

Подбор и расстановка кадров

Сертификация аналитиков

Организация команды