Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет Сильвер Нейт

Вероятность и прогресс

Стоит отметить, насколько это утверждение напоминает слова Байеса, приведенные в трактате «Божественная доброта» («Divine Benevolence»), где утверждалось, что нам не стоит относить собственное несовершенство на ошибки Бога. Однако в философии Байеса, по сути, нет ничего религиозного{564}.

Нужно отметить, что самое точное математическое выражение того, что в наши дни считается теоремой Байеса, было разработано человеком, который с высокой долей вероятности был атеистом{565}, – французским математиком и астрономом Пьером-Симоном Лапласом.

Лаплас, как вы, возможно, помните из главы 4, был ярким представителем человека, стоящего на позициях научного детерминизма. Он считал, что мы могли бы идеально спрогнозировать нашу Вселенную, если бы знали положение каждой частицы в ней и могли бы достаточно быстро рассчитать ее движение. Так почему же Лаплас так увлекся теорией, основанной на вероятности?

Причина заключается в разрыве между совершенством природы и нашим человеческим несовершенством в измерении и понимании ее. Лапласа изрядно расстраивали астрономические наблюдения, свидетельствовавшие об аномалиях в орбитах Юпитера и Сатурн – по их предсказаниям, Юпитер должен был врезаться в Солнце, а Сатурн – вылететь за края Солнечной системы{566}.

Разумеется, эти предсказания были в корне неверными, Лаплас посвятил значительную часть своей жизни тому, чтобы более точно определить орбиты этих планет{567}. Уточнения, которые внес Лаплас, были основаны на вероятностных заключениях{568}, а не на результатах более точных измерений, поскольку инструменты того времени (например, телескопы) были достаточно грубыми. Лаплас начал рассматривать вероятность как срединную точку между невежеством и знанием. Ему казалось очевидным, что для достижения научного прогресса важно уделять вопросам вероятности значительно больше внимания{569}.

Таким образом, Байес и Лаплас уже в XVIII в. отлично понимали, что существует некая тонкая связь между вероятностью, предсказанием и научным прогрессом. И это было еще в тот период, когда человечество только начало сталкиваться с взрывообразным ростом объемов информации, ставшим возможным благодаря изобретению печатного пресса несколькими столетиями ранее и способствовавшим развитию устойчивого научного, технического и экономического прогресса. Эта связь крайне важна – как для предсказания орбит планет, так и для угадывания победителя в матче с участием Lakers. Как мы увидим ниже, наука зашла в тупик позже, когда в XX в. начала доминировать иная статистическая парадигма, лишившая предсказание былой значимости и пытавшаяся рассматривать неопределенность как результат несовершенства наших измерений, а не как ошибку наших суждений.

Простая математика теоремы Байеса

Если философская подоплека теоремы Байеса удивительно глубока, то ее математика потрясающе проста. В своей базовой форме это всего лишь алгебраическое выражение с тремя известными переменными и одной неизвестной. Однако эта простая формула способна привести к инсайтам в предсказаниях.

Теорема Байеса прямо связана с условной вероятностью. Иными словами, она позволяет рассчитать вероятность какой-либо теории или гипотезы, если произойдет какое-либо событие. Представьте себе, что вы живете с партнером и, вернувшись домой из командировки, обнаруживаете незнакомую пару нижнего белья в своем гардеробе. Возможно, вы зададитесь вопросом: какова вероятность того, что ваш партнер вас обманывает? Условие состоит в том, вы найдете белье; гипотеза состоит в том, что вы заинтересованы оценить вероятность того, что вас обманывают. Хотите – верьте, хотите – нет, но теорема Байеса способна дать вам ответ на вопрос такого рода – при условии того, что вы знаете (или хотите оценить) три качества.

• Прежде всего вы должны оценить вероятность появления белья как условие правильности гипотезы – то есть при условии того, что вам изменяют.

Для решения этой проблемы давайте предположим, что вы женщина, а ваш партнер – мужчина, а предметом спора выступает пара трусиков. Если он вам изменяет, то несложно представить себе, как в ваш гардероб могли попасть чужие трусики. Но, даже если (или даже особенно в том случае если) он вам изменяет, вы можете ожидать, что он ведет себя достаточно осторожно. Давайте скажем, что вероятность появления трусиков при условии того, что он вас обманывает, составляет 50 %.

• Во-вторых, вы должны оценить вероятность появления белья при условии того, что гипотеза неверна.

Если муж вам не изменяет, должны быть другие, более невинные объяснения появления трусиков в вашем гардеробе. Некоторые из них могут оказаться довольно неприятными (например, это могли бы быть его собственные трусики). Возможно, что его багаж был по ошибке перепутан с чужим. Возможно, что в его доме по каким-то причинам вполне невинно заночевала какая-то ваша подруга, которой вы доверяете. Трусики могли бы быть подарком вам, который он забыл упаковать. Ни одна из этих теорий не лишена изъянов, хотя порой объяснения в стиле «мое домашнее задание съела собака» действительно оказываются правдой. Вы оцениваете их совокупную вероятность в 5 %.

• Третье и самое важное, что вам нужно, – это то, что байесовцы называют априорной вероятностью (или просто априори). Как вы оценивали вероятность его измены до того, как нашли белье? Разумеется, вам сложно сохранять объективность оценки сейчас, после того как эти трусики появились в поле вашего зрения (в идеале вы оцениваете эту вероятность до того, как начинаете изучать свидетельства). Но иногда оценивать вероятность подобных событий можно эмпирически. Например, в ряде исследований было показано, что в течение любого случайным образом взятого года своим супругам изменяет около 4 % женатых партнеров{570}, так что мы возьмем эту цифру за априорную вероятность.

Если вы произвели оценку всех этих значений, то можете применить теорему Байеса для оценки апостериорной вероятности[107]. Именно в этой цифре мы и заинтересованы больше всего – насколько велика вероятность того, что нам изменяют, при условии что мы нашли чужое белье?

Расчет и простая алгебраическая формула, позволяющая его сделать, приведены в табл. 8.2.

Таблица 8.2. Пример расчета вероятности измены по теореме Байеса

Оказывается, что вероятность измены все равно достаточно мала – 29 %. Это может показаться нелогичным: разве трусики не являются достаточно весомой уликой? Возможно, такой результат связан с тем, что вы использовали слишком низкое априорное значение вероятности его измены.

Хотя у невиновного человека может быть значительно меньше вариантов разумных объяснений появления трусиков, чем у виновного, вы изначально посчитали его невиновным, и это оказало большое влияние на результат расчета по уравнению.

Когда мы априорно в чем-то уверены, мы можем проявить удивительную гибкость даже при появлении новых свидетельств. Одним из классических примеров таких ситуаций является выявление рака груди у женщин в возрасте старше 40 лет. К счастью, вероятность, что у женщины в возрасте после 40 лет разовьется рак груди, довольно невелика и составляет примерно 1,4 %{571}. Однако чему равна вероятность положительного результата на ее маммограмме?

Исследования показывают, что даже если у женщины нет рака, то маммограмма ошибочно покажет его наличие в 10 % случаев{572}. С другой стороны, если у нее есть рак, маммограмма выявит его примерно в 75 % случаев{573}. Увидев эту статистику, вы можете решить, что положительный результат маммограммы означает, что все очень плохо. Однако расчет по теореме Байеса с использованием этих цифр позволяет сделать иное заключение: вероятность наличия рака груди у женщины в возрасте за 40 при условии, что у нее положительная маммограмма, все еще составляет примерно 10 %. В данном случае такой результат расчета по уравнению обусловлен тем, что довольно немного молодых женщин имеют рак груди. Именно поэтому многие врачи рекомендуют женщинам не начинать регулярно делать маммограммы до 50-летнего возраста, после достижения которого априорная вероятность рака груди значительно увеличивается{574}.

Проблемы такого рода, вне всякого сомнения, сложны. Во время недавно проводимого исследования статистической грамотности американцев им приводили этот пример с раком груди. И оказалось, что всего 3 % из них смогли правильно рассчитать значения вероятности{575}. Иногда, немного замедлившись и попробовав визуализировать эту проблему (как показано на рис. 8.2), мы можем легко проверить реальностью свои неточные аппроксимации. Визуализация помогает нам легче увидеть общую картину – поскольку рак груди встречается у молодых женщин крайне редко, сам факт положительного результата маммограммы еще ни о чем не говорит.

Рис. 8.2. Графическое изображение исходных данных для теоремы Байеса на примере с маммограммой

Однако мы обычно склонны ориентироваться на самую новую или самую доступную информацию, и общая картина начинает теряться. Умные игроки вроде Боба Вулгариса научились умело пользоваться подобными недостатками нашего мышления. Вулгарис сделал выгодную ставку на Lakers отчасти потому, что букмекеры уделили слишком много внимания нескольким первым играм Lakers и изменили ставки на выигрыш командой титула с 4 к 1 до 65 к 1. Однако на самом деле команда играла ничуть не хуже, чем могла играть хорошая команда в случае травмы одного из ее звездных игроков. Теорема Байеса требует от нас более внимательно продумывать проблемы такого рода. Она может оказаться крайне полезной для выявления случаев, когда наши аппроксимации, основанные на чутье, оказываются слишком грубыми.

Но я не хочу сказать, что наши априорные ожидания всегда доминируют над новыми свидетельствами или что теорема Байеса всегда приводит к нелогичным, на первый взгляд, результатам. Иногда новые свидетельства оказываются настолько значимыми для нас, что перевешивают все остальное, и мы можем практически моментально изменить свое мнение и стать полностью уверенными в событии, вероятность которого считали почти нулевой.

Давайте рассмотрим более мрачный пример – атаки 11 сентября. Большинство из нас, проснувшись в тот день утром, присваивало практически нулевое значение вероятности того, что террористы примутся разбивать самолеты о небоскребы на Манхэттене. Однако мы признали очевидную возможность террористической атаки после того, как первый самолет врезался во Всемирный торговый центр. И у нас исчезли любые сомнения в том, что на нас было произведено нападение, после того как самолет врезался во вторую башню. Теорема Байеса способна отобразить этот результат.

Допустим, до столкновения первого самолета с башней наши расчеты вероятности террористической атаки на высотные здания Манхэттена составляли лишь 1 шанс из 20 тыс., или 0,005 %. Однако мы также должны были считать достаточно низкой вероятность ситуации, при которой самолет столкнулся бы с башней Всемирного торгового центра по ошибке. Эта цифра может быть рассчитана эмпирически. За период длительностью 25 тыс. дней до событий 11 сентября, в течение которых осуществлялись полеты над Манхэттеном, произошло всего два подобных случая{576}: столкновение с Эмпайр-стейт-билдинг в 1945 г. и с башней на Уолл-стрит, 40, в 1946 г. Следовательно, возможность подобного инцидента составляла примерно 1 шанс из 12 500 в любой случайный день. Если по этим цифрам сделать расчеты с использованием теоремы Байеса (табл. 8.3a), то вероятность террористической атаки повышалась с 0,005 до 38 % в момент столкновения первого самолета со зданием.

Таблица 8.3а. Пример расчета вероятности террористической атаки по теореме Байеса

Однако идея, заложенная в теорему Байеса, заключается в том, что мы не корректируем свои расчеты вероятности только один раз. Мы делаем это постоянно по мере появления новых свидетельств. Таким образом, наша апостериорная вероятность террористической атаки после столкновения первого самолета, равная 38 %, становится нашей априорной возможностью столкновения со вторым.

И если вы еще раз проведете расчеты после столкновения второго самолета с башней Всемирного торгового центра, то увидите, что вероятность террористической атаки 99,99 % сменяется почти полной уверенностью в этом событии. Один несчастный случай в яркий солнечный день в Нью-Йорке был крайне маловероятен, но второй практически не мог не произойти (табл. 8.3б), как мы внезапно и с огромным ужасом поняли.

Таблица 8.3б. Пример расчета вероятности террористической атаки по теореме Байеса

Я сознательно выбрал в качестве примеров довольно сложные случаи – террористические атаки, рак, супружеская измена, – поскольку хочу продемонстрировать масштаб проблем, к решению которых может быть применено байесовское мышление. Теорема Байеса – это не волшебная формула. В ее самой простой формуле, которую мы приводим в этой книге, используются простые арифметические действия по сложению, вычитанию, делению и умножению. Но для того, чтобы она дала нам полезный результат, мы должны снабдить ее информацией, в частности нашими расчетами априорных вероятностей.

Однако теорема Байеса заставляет нас думать о вероятности событий, происходящих в мире, даже когда речь заходит о вопросах, которые мы не хотели бы считать проявлением случайности. Она не требует, чтобы мы воспринимали мир как внутренне, метафизически неопределенный: Лаплас считал, что все, начиная от орбит планет и заканчивая движением мельчайших молекул, управляется упорядоченными ньютоновскими правилами. И тем не менее он сыграл важную роль в развитии теоремы Байеса. Скорее можно сказать, что эта теорема связана с эпистемологической неопределенностью – границами наших знаний.

Проблема ложноположительного срабатывания[108]

Когда мы не можем думать подобно истинным байесовцам, ложноположительное срабатывание начинает представлять собой проблему не только для маммографии, но и для всей науки. В введении я упомянул работу врача-исследователя Джона П. А. Иоаннидиса. В 2005 г. Иоаннидис опубликовал влиятельный труд под названием «Почему самые широко публикуемые выводы исследований неверны»{577}, в котором процитировал множество статистических и теоретических аргументов, подтверждавших, что (как и следует из названия) большинство гипотез, признанных истинными в медицине и большинстве других научных профессий, являются, по сути, ложными.

Гипотеза Иоаннидиса, как мы уже сказали, кажется одной из немногих истинных. Так, сотрудники компании Bayer Laboratories обнаружили, что не могут повторить в ходе собственных экспериментов до двух третей положительных заключений, опубликованных в медицинских журналах{578}. Еще один способ проверить правдивость выводов исследования состоит в том, чтобы понять, насколько точными являются результаты предсказаний в реальном мире, И, как мы видим на множестве примеров, приведенных в этой книге, часто выводы не выдерживают испытание реальностью. Судя по всему, частота появления неудачных предсказаний во множестве областей, от сейсмологии до политических наук, оказывается невероятно высокой.

«За последние 20 лет благодаря геометрическому росту доступной информации, развитию геномики и других технологий мы получили возможность измерять миллионы и миллионы потенциально интересных переменных, – рассказал мне Иоаннидис. – Можно ожидать, что мы сможем использовать эту информацию для того, чтобы заставить предсказания работать на нас. Я не говорю, что мы не достигли никакого прогресса. Принимая во внимание наличие миллионов научных работ, признать это было бы крайне стыдно. Однако совершенно очевидно, что мы не сделали миллионов открытий. Большинство работ не вносят реального вклада в развитие знания».

Вот почему наши предсказания могут оказаться более подверженными неудаче в эру Больших данных. С экспоненциальным ростом объема доступной информации по той же экспоненте растет и количество гипотез, требующих изучения. Например, правительство США в настоящее время публикует сведения о 45 тыс. экономических статистических показателей. Если вы захотите протестировать связи между всеми комбинациями из пар этих показателей – есть ли, допустим, причинно-следственная связь между ставкой банковского кредитования и уровнем безработицы в Алабаме? – то вам потребуется протестировать не меньше миллиарда гипотез[109]. Однако количество осмысленных связей в данных, говорящих о наличии причинно-следственной связи, а не о корреляции, и позволяющих протестировать то, каким образом мир работает по-настоящему, на много порядков ниже. Истина не растет теми же темпами, что и информация; по сути, в мире сейчас не больше истины, чем было до появления интернета или печатного пресса. Основная часть данных – всего лишь шум, так же как основная часть Вселенной заполнена вакуумом.

Тем не менее, как мы знаем из теоремы Байеса, в случаях, когда реальная вероятность возникновения какой-либо болезни в популяции низка (рак груди у молодых женщин; истина в море данных), ложноположительное срабатывание может доминировать в результатах, если только мы не будем достаточно внимательны и осторожны. На рис. 8.3 представлено графическое отображение этой картины. Так, 80 % истинных научных гипотез вполне справедливо признаются истинными, а около 90 % неверных гипотез совершенно справедливо отвергаются. Тем не менее, поскольку истинные открытия возникают крайне редко, оказывается, что около двух третей выводов, которые мы считаем правильными, на самом деле оказываются ложными!

Рис. 8.3. Графическое отображение ложноположительного срабатывания

К сожалению, как выяснил Иоаннидис, состояние опубликованных исследований в большинстве областей, по которым проводилось статистическое тестирование, напоминает ту картину, что можно увидеть на рис. 8.3[110].

Почему же доля ошибок так велика? До определенной степени вся данная книга представляет собой ответ на этот вопрос. Причин можно назвать много: отчасти они связаны с нашими психологическими предубеждениями, отчасти – с распространенными методологическими ошибками, а отчасти – с неправильно выстроенными стимулами.

Однако основная проблема лежит в том, что тип статистического мышления, который используют различные исследователи, является ошибочным по своей сути.

Когда статистика отклонилась от принципов Байеса

Английский статистик и биолог по имени Рональд Эймлер (Р. A.) Фишер был, возможно, основным интеллектуальным соперником Томаса Байеса, несмотря на то что он родился в 1890 г., почти через 120 лет после его смерти. Он проявил себя еще более яркой личностью, чем Байес, и таким же олицетворением английской интеллектуальной традиции своего времени, каким в наши дни стал Кристофер Хитченс. Он был миловидным, но неопрятно одетым человеком{579}, постоянно курил трубку или сигареты и вел непрекращающийся бой с реальными и вымышленными соперниками.

Посредственный лектор, но в то же время проницательный писатель, обладавший чутьем к драматическим сюжетам, он оставался отличным и востребованным собеседником за обедом. Интересы Фишера были невероятно широкими. Один из лучших биологов и генетиков своего времени, но при этом беззастенчивый сторонник элитизма, он искренне оплакивал тот факт, что у представителей бедных классов имелось значительно больше потомства, чем у интеллектуалов{580} (сам Фишер, следуя собственным убеждениям, с осознанием собственного долга дал жизнь восьмерым отпрыскам).

Возможно, Фишер в большей степени, чем кто-либо еще, отвечает за то, какими статистическими методами мы широко пользуемся в настоящее время. Он разработал терминологию проверки статистической значимости и значительную часть соответствующей методологии. Он не относился к числу больших поклонников Байеса и Лапласа, но именно он впервые использовал термин «байесовский» (Bayesian) в опубликованной статье, причем довольно уничижительным образом{581}, а в другой статье утверждал, что теория Байеса «должна быть полностью отвергнута»{582}.

Фишер и его современники не видели проблемы в формуле, называемой теоремой Байеса, как таковой, поскольку это обычное математическое выражение. Скорее, они беспокоились о том, как следует ее применять. В частности, у них вызывало вопросы понятие байесовского априорного значения{583}. Оно казалось им слишком субъективным: мы должны заранее предусмотреть, насколько вероятным мы считаем какое-то событие, прежде чем пуститься в эксперименты? Не противоречит ли это понятиям объективной науки?

Поэтому Фишер и его современники решили разработать набор статистических методов, которые, как они надеялись, освободят нас от любого возможного негативного влияния предубеждений и искажений. Это направление статистики обычно называется «фреквентизм» (frequentism), хотя также его называют «фишеровской статистикой» (в противовес байесовской){584}.

Идея фреквентизма состоит в том, что неопределенность в статистической проблеме возникает исключительно из-за того, что сбор данных производится на выборке, а не на всей популяции. Это имеет вполне разумные основания, когда мы изучаем, допустим, результаты политических опросов. Например, при проведении опросов в Калифорнии выборка составляет всего 800 человек, а не 8 млн, которые придут голосовать на очередных выборах, в результате возникает так называемая ошибка выборки. Величина ошибки, которую вы видите в описании политических опросов, измеряет именно это – насколько велика вероятность ошибки из-за того, что вы опрашиваете 800 представителей популяции из 8 млн? Методы фреквентистов как раз и призваны дать этому параметру количественную оценку.

Однако даже в контексте политических выборов ошибки выборки не всегда позволяют рассказать всю историю. В течение короткого интервала между конференцией демократической партии в Айове и первичными выборами демократической партии в Нью-Гемпшире в 2008 г. в последнем штате было опрошено около 15 тыс. человек{585} – невероятно много для столь небольшого штата, притом что предел погрешности теоретически составлял ±0,8 %. Однако реальная ошибка оказалась в 10 раз выше: Хиллари Клинтон выиграла выборы в штате с перевесом в 3 %, хотя, по данным опросов, уступала Бараку Обаме 8 %. Ошибка выборки – единственный тип ошибки, которому фреквентисты дают право на существование, – была, пожалуй, меньшей из проблем, возникшей при проведении опросов в Нью-Гемпшире.

Кроме того, некоторые организации, занимающиеся опросами, стабильно демонстрируют искажение в сторону той или иной партии{586}. С тем же успехом они могли бы опросить все 200 млн взрослых американцев и все равно получить неверные результаты. Байес разобрался с этими проблемами уже 250 лет назад. Если вы используете искаженный инструмент, то не важно, как много измерений вы произведете, вы неправильно сформулировали цель.

По сути, фреквентистский подход к статистике пытается изо всех сил утвердиться в мысли о том, что частая причина неверных предсказаний – это человеческая ошибка. Этот подход рассматривает неопределенность как нечто, присущее эксперименту, а не нашей способности понимать реальный мир. Фреквентистский метод также предполагает, что чем больше данных мы собираем, тем меньше становится ошибка. Со временем она приблизится к нулю. Таким образом, наличие данных считается необходимым и достаточным для решения любой проблемы. Многие из куда более проблемных вопросов предсказания, описанных в этой книге, связаны с областями, в которых полезные данные встречаются крайне редко, и порой их сбор действительно является важным и ценным делом. Однако неправильное использование этого метода вряд ли поставит вас на верный путь к статистическому совершенству. Как заметил Иоаннидис, эра Больших данных лишь ухудшает проблемы ложных позитивных выводов в исследовательской литературе.

Фреквентистский метод нельзя считать особенно объективным ни в теории, ни на практике. Напротив, он полагается на целый ряд предположений. Например, обычно предполагается, что неопределенность в измерении следует колоколообразной кривой или нормальному распределению. Часто это предположение достаточно хорошо описывает ситуацию, но не в случае таких вещей, как колебания на фондовом рынке. Фреквентистский подход требует определения выборки, которая будет выглядеть достаточно прямолинейно, когда дело касается политического опроса, но довольно неоднородно во многих других областях практического применения.

Какую «выборку из популяции» можно было бы выбрать в случае атаки 11 сентября?

Однако еще большая проблема состоит в том, что фреквентистские методы – в своем стремлении создать безупречные статистические процедуры, которые не могут быть испорчены предубеждениями самого исследователя, – вынуждают его герметично закрываться от реального мра. Эти методы не позволяют такому исследователю изучить глубокий контекст или ущербные черты своей гипотезы, то есть то, чего требует байесовский метод в форме априорной вероятности. В результате можно увидеть, на первый взгляд, серьезные научные работы о том, как жабы могут предсказывать землетрясения{587}, или о том, как оптовые магазины типа Target стимулируют создание нетерпимости в обществе{588}. В подобных исследованиях фреквентистские тесты применяются для создания «статистически значимых» (однако, по сути, бессмысленных и даже возмутительных) выводов.

Данные без контекста бесполезны

Ближе к концу своей карьеры Фишер смягчился и даже время от времени хвалил Байеса{589}. Некоторые из методов, разработанных им за долгие годы (хотя и не самые популярные в наши дни), представляли собой, по сути, компромиссы между байесовским и фреквентистским подходами. Однако в последние годы своей жизни Фишер допустил крайне серьезный просчет, который продемонстрировал ограничения этого подхода.

Вопрос касался курения сигарет и рака легких. В 1950е гг. в значительном количестве исследований (в некоторых из них использовались стандартные статистические методы, а в других – байесовские){590} утверждалось, что между ними существует связь, что в наши дни никого уже не удивляет.

Фишер провел последние годы своей жизни, выступая против этих выводов. Он публиковал письма в престижных изданиях типа British Medical Journal и Nature{591}, не отрицая, впрочем, что в результатах этих исследований прослеживается довольно сильная статистическая зависимость между курением и раком легких. Однако он утверждал, что в данном случае произошла путаница между корреляцией и причинно-следственными связями, сравнивая эту ситуацию с исторической корреляцией между объемами импорта яблок и количеством браков в Англии{592}. В какой-то момент он даже утверждал, что рак легких приводит к курению, а не наоборот{593}, – по всей видимости, предполагая, что люди курят, чтобы облегчить боль в легких.

Многие научные выводы, которые в наши дни ни у кого не вызывают сомнения, когда-то могли восприниматься с большим недоверием. Иногда это было вызвано существовавшими культурными табу (как в случае заявления Галилея о том, что Земля вращается вокруг Солнца), а довольно часто тем, что просто отсутствовали данные, требующиеся для анализа проблемы. Мы, может быть, и позволили бы Фишеру сорваться с крючка, если бы к 1950 г. уже не было достаточного количества убедительных свидетельств существования связи между курением сигаретам и раком легких. Ученые, изучившие данные и свидетельства из прошлого, пришли к выводу, что на тот момент уже было множество статистических и клинических тестов, проводившихся большим количеством исследователей в разных контекстах, которые наглядно показывали причинно-следственную связь{594}. Идея быстро стала научным консенсусом.

Так почему же Фишер отвергал эту теорию? Одна из причин могла быть связана с тем, что он консультировал производителей сигарет за деньги{595}. Другая – с тем, что он сам курил всю жизнь. Фишеру нравилось казаться противоречивым и демонстрировать, что он не любит все, имеющее привкус пуританства. Короче говоря, он сам был подвержен огромному количеству «искажений».

Возможно, однако, что более значимая проблема заключается в том, как статистическая философия Фишера воспринимает мир. Она уделяет особое внимание объективной чистоте эксперимента: каждая гипотеза может быть доведена до идеального заключения, если только был собран достаточный объем данных. Однако в процессе достижения такого уровня чистоты эта теория отвергает необходимость байесовских априорных значений или любого другого вида беспорядка в контексте реального мира. Этот метод не требует и не побуждает нас задуматься о некорректности нашей гипотезы – идея о том, что сигареты вызывают рак легких, ничем не отличается от предположения о том, что жабы способны предсказывать землетрясения. Но мне кажется, что стоит сказать Фишеру спасибо за то, что он признал тот факт, что корреляция не всегда предполагает наличие причинно-следственной связи.

Однако фишеровские статистические методы никоим образом не помогают нам понять, какая корреляция предполагает наличие причинно-следственных связей, а какая нет. Так что не приходится удивляться тому, что после того, как Фишер всю жизнь думал определенным образом, он утратил способность рассказать о различии между ними.

Боб – байесовец

В байесовской картине мира предсказание представляет собой критерий, с помощью которого мы оцениваем степень прогресса. Возможно, мы никогда и не будем уверены, что знаем истину на все 100 %, однако создание корректных прогнозов представляет собой отличный способ понять, приближаемся ли мы к ней.

Сторонники взглядов Байеса особенно ценят тех, кто играет в азартные игры{596}. Байес и Лаплас, да и другие теоретики, разрабатывавшие теорию вероятности на ее раннем этапе, очень любили приводить примеры из азартных игр, чтобы пояснить свои идеи. (Хотя Байес, по всей видимости, сам не увлекался этим занятием{597}, он вращался в кругах, где часто играли на деньги в карты и бильярд.) Игрок делает предсказания (хорошо), и он делает предсказания, предполагающие расчет вероятностей (отлично), а когда он готов поставить деньги на свои предсказания (еще лучше), он делится своими убеждениями о мире с остальными. Наиболее практичное определение байесовского априори может представлять собой вероятность события, на которые вы хотите сделать свою ставку[111].

Боб Вулгарис представляет собой особенно ярко выраженный байесовский тип азартного игрока. Ему нравятся ставки на баскетбол как раз потому, что они дают ему возможность протестировать самого себя и правильность своих теорий. «Представьте себе, что вы управляете спортивной командой и набираете себе игроков, – сказал он мне ближе к концу интервью. – Вы не всегда понимаете, было ли ваше решение правильным или нет. В моем же случае я знаю – в конце дня или в конце сезона, – оказался ли я прав или нет, поскольку я либо теряю деньги, либо их выигрываю. Это довольно хорошее подтверждение теории». Вулгарис впитывает так много информации о баскетболе, как только может, поскольку практически любой факт способен изменить его расчеты вероятности. Профессиональный игрок на спортивных событиях такого типа, как Вулгарис, будет размещать ставки только в том случае, если считает, что вероятность выигрыша не меньше 54 %. Этого вполне достаточно для покрытия комиссионных, которые букмекеры взимают с выигрышных ставок, и риска, связанного с этим действием. При всех своих навыках и упорном труде – Вулгарис считается одним из лучших азартных игроков в мире в наши дни – он угадывает результаты правильно лишь примерно в 57 % случаев. Добиться более высокого результата исключительно сложно.

Таким образом, вся разница связана с незначительным объемом информации, позволяющим Вулгарису увеличить вероятность с 53 до 56 %. Именно на эту небольшую прибыль и живут игроки, проводящие время как за покерным столом, так и на фондовом рынке. Предложенное Фишером понятие статистической значимости, слишком вольно отсекающее те или иные факты вне зависимости от контекста[112] для определения уровня «значительности»{598}, несколько грубовато для людей, делающих ставки на спорт.

Это не значит, что Вулгарис избегает создавать гипотезы/em> на основе данных, которые показывает ему статистика (проблема подхода Фишера к тестированию гипотез состоит не в их существовании, а в том, как Фишер рекомендует их тестировать){599}. В сущности, это критически важно для того, что делает Вулгарис. Статистические закономерности видны во всем, и рано или поздно они отражаются на ставках. Вопрос состоит в том, представляют ли они собой сигнал или шум. Гипотезы Вулгариса сформированы с учетом его знаний о баскетболе, поэтому он может увидеть разницу быстрее и точнее.

Подход Вулгариса к ставкам на баскетбол представляет собой один из чистейших примеров научного метода, который только можно найти (табл. 8.4). Он изучает мир и задает вопросы: почему команда Cleveland Cavaliers так часто получает больше очков, чем предполагалось? Затем он собирает информацию о проблеме и формулирует гипотезу: команда делает это потому, что у Рики Дэвиса заканчивается контракт и он хочет играть в быстром темпе, чтобы его личная статистика стала выглядеть лучше. Четкая граница между тем, что делает Вулгарис, и тем, что делают физики или биологи, состоит в том, что он делает ставки на результат собственных предсказаний, а ученые надеются на подтверждение своих предсказаний путем экспериментов.

Если Вулгарису удается создать достаточно сильную гипотезу о том, что он видит в данных, он делает более агрессивные ставки. Предположим, например, что Вулгарис обращает внимание на ремарку тренера команды Denver Nuggets о том, что он хочет «устроить хорошее шоу» для фанатов. Возможно, это досужая болтовня, но не исключено, что команда будет играть в более быстром темпе, чтобы повысить зрелищность и заставить аудиторию покупать больше билетов на матчи. Если эта гипотеза верна, то Вулгарис может ожидать, что Nuggets будет выигрывать 70 % времени, в отличие от статистических 50 %. Как следует из теоремы Байеса, чем выше убежденность Вулгариса в правильности его гипотезы, тем быстрее он может начинать делать прибыльные ставки на игры Nuggets. Он может начать это делать, изучив, как проходили пары игр с участием команды, и поняв, выдерживает ли его теория испытание практикой. Причем он начнет делать это раньше, чем на данную закономерность обратят внимание букмекеры в Лас-Вегасе и изменят ставки. И, напротив, он позволяет себе не отвлекаться на статистические закономерности, такие как медленный старт Lakers в 1999 г., в котором нет никакого глубокого смысла, но который другие игроки могут ошибочно принять за сигнал.

Таблица 8.4. Научный метод, используемый Вулгарисом{600}

Байесовский путь к снижению неправоты

Но какими можно считать расчеты вероятностей, которые делает Боб, – субъективными или объективными? Это довольно хитрый вопрос.

С эмпирической точки зрения, мы все имеем убеждения и предубеждения, основанные на комбинации нашего опыта, ценностей, знаний и, возможно, политических или профессиональных взглядов. Одна из полезных характеристик байесовской точки зрения состоит в том, что если мы явным образом признаем, что у нас имеются априорные убеждения (влияющие на то, как мы интерпретируем новые свидетельства), то сможем достаточно хорошо описать нашу реакцию на изменения в своем мире. Например, если, согласно априорному убеждению Фишера, вероятность, что курильщики заболеют раком легких, составляют всего 0,00001 %, это объясняет, почему его не могли убедить никакие свидетельства обратного. В сущности, согласно теореме Байеса, ничто не мешает вам оставаться убежденным в чем-то, что вы считаете совершенно правильным. Если, по вашему мнению, вероятность существования Бога – 100 % (или же, напротив, 0 %), то, согласно теореме Байеса, никакое количество доказательств не убедит вас в обратном.

Я не собираюсь ничего говорить о том, существует или нет что-то, во что вы можете верить с абсолютной и беспрекословной уверенностью[113]. Однако возможно, что нам нужно честно говорить об этом. Спор человека, считающего, что вероятность какого-то события составляет 0 %, с человеком, уверенным на 100 % в том, что оно произойдет, – дело бесполезное. Возможно, что именно из-за таких споров и возникало множество конфликтов, таких как религиозные войны в Европе в первые годы после появления печатного пресса.

Но у нас нет оснований предполагать, что все априорные убеждения в равной степени правильны. Однако я склонен считать, что наши убеждения никогда не будут идеально объективны, рациональны или истинны. Вместо этого мы стараемся быть менее субъективными, менее иррациональными и менее неправыми. Создание предсказаний, основанных на наших убеждениях, представляет собой лучший (а возможно, и единственный) способ протестировать самих себя. Если объективность предполагает выявление истины, вне зависимости от наших личных обстоятельств, а предсказание представляет собой лучший способ изучения того, насколько тесно связано наше личное восприятие с великой истиной, то самыми объективными из нас будут считаться те, кто выступает с самыми точными предсказаниями. Статистический метод Фишера, согласно которому объективность была возможна лишь в замкнутых рамках лабораторного эксперимента, пригоден для решения таких задач куда меньше, чем байесовский.

Фактически одно из свойств теоремы Байеса состоит в том, что наши убеждения должны сближаться друг с другом – и приближаться к истине – по мере того, как нам со временем предоставляется все больше свидетельств. На рис. 8.4 я показал в качестве примера, как три инвестора пытаются определить, находятся ли они на «бычьем» или «медвежьем» рынке.