Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет Сильвер Нейт

Для многих людей выражение «политический прогноз» практически стало синонимом телевизионной программы McLaughlin Group, политического круглого стола, транслируемого по воскресеньям с 1982 г. (и примерно с того же времени пародируемого в юмористическом шоу Saturday Night Live). Ведет эту программу Джон Маклафлин, сварливый восьмидесятилетний человек, предпринимавший в 1970 г. неудачную попытку стать сенатором США. Он воспринимает политические прогнозы как своего рода спорт. В течение получаса в передаче обсуждаются четыре-пять тем, при этом сам Маклафлин настойчиво требует, чтобы участники программы отвечали на совершенно различные вопросы – от политики Австралии до перспектив поиска внеземного разума.

В конце каждого выпуска McLaughlin Group наступает время рубрики «Прогнозы», в которой каждому участнику дается несколько секунд, чтобы выразить мнение по тому или иному актуальному вопросу. Иногда они имеют возможность выбрать тему самостоятельно и поделиться своим мнением о чем-то, весьма далеком от политики. В других же случаях Маклафлин устраивает им своего рода неожиданный экзамен, на котором участники должны дать так называемые вынужденные прогнозы и ответить на один конкретный вопрос.

На некоторые вопросы Маклафлина – например, назвать следующего претендента на место в Верховном суде из нескольких достойных кандидатов – сложно ответить. На другие намного проще. Например, в выходные перед президентскими выборами 2008 г. Маклафлин спросил у участников, кто одержит верх – Джон Маккейн или Барак Обама?{147}.

Казалось, что ответ на этот вопрос не заслуживает длительного размышления. Барак Обама опережал Джона Маккейна практически в каждом национальном опросе, проводимом после 15 сентября 2008 г., когда банкротство Lehman Brothers привело к одному из самых сильных спадов в экономике со времен Великой депрессии. Также Обама вел по результатам опросов почти в каждом колеблющемся штате: Огайо, Флориде, Пенсильвании и Нью-Гемпшире – и даже в тех нескольких штатах, где демократы обычно не выигрывают, таких как Колорадо и Виргиния. Статистические модели, наподобие той, что я разработал для FiveThirtyEight, показывали, что шансы Обамы на победу в выборах превышают 95 %. Букмекерские конторы были менее конкретны, однако все равно оценивали шансы Обамы как 7 против 1{148}.

Однако первый участник дискуссии, Пэт Бьюкенен, уклонился от ответа. «В этот уик-энд свое слово скажут неопределившиеся», – заметил он, вызвав смех остальных участников круглого стола. Другой гость, Кларенс Пейдж из газеты Chicago Tribune, сказал, что данные кандидатов слишком «близки друг к другу, чтобы делать ставки». Моника Кроули из Fox News была упрямее и заявила, что Маккейн выиграет с перевесом «в пол-очка». И лишь Элеанор Клифт из Newsweek констатировала очевидное мнение и предсказала победу Обамы и Байдена.

В следующий вторник Обама стал избранным президентом. Он получил 365 голосов выборщиков против 173, отданных за Джона Маккейна, – результат, практически совпавший с предсказанным на основании опросов и статистических моделей. Хотя это и не убедительная историческая победа, все равно это был не тот случай, когда трудно предсказать результаты выборов – Обама обогнал Джона Маккейна почти на десять миллионов голосов. И казалось бы, что всем, кто делал противоположные прогнозы, следует объясниться.

Однако через неделю, когда те же участники McLaughlin Group собрались снова{149}, ничего подобного не произошло. Они обсуждали статистические нюансы победы Обамы, его выбор Рама Эмануэля в качестве главы администрации и его отношения с президентом России Дмитрием Медведевым. Никто не упомянул о неудачных прогнозах, сделанных на национальном телевидении, невзирая на массу свидетельств обратного. Скорее, участники передачи попытались сделать вид, что исход был полностью непредсказуемым. Кроули сказала, что это был «необычный год» и что Маккейн провел ужасную предвыборную кампанию, забыв упомянуть, что сама хотела сделать ставку на этого кандидата неделей ранее.

Специалистов по прогнозированию редко стоит судить по одному-единственному прогнозу, но в данном случае можно сделать исключение. За неделю до выборов единственная правдоподобная гипотеза, озволявшая поверить в победу Маккейна на выборах, заключалась в массивном всплеске расовой враждебности по отношению к Обаме, почему-то не замеченной в ходе опросов{150}. Однако подобную гипотезу не высказал ни один из экспертов. Вместо этого они, казалось, существовали в альтернативной вселенной, в которой не проводятся опросы, отсутствует коллапс экономики, а президент Буш все еще более популярен, чем Маккейн, рейтинг которого стремительно падает.

Тем не менее я решил проверить, не был ли данный случай аномальным. Насколько вообще умеют предсказывать участники дискуссии McLaughlin Group – люди, получающие деньги за свои разговоры о политике?

Я оценил достоверность примерно 1000 прогнозов, сделанных в последней рубрике шоу как самим Маклафлином, так и участниками его передачи. Около четверти из них или были слишком расплывчатыми, что не позволяло их анализировать, или касались событий в отдаленном будущем. Все остальные я оценивал по пятибалльной шкале, варьировавшейся в диапазоне от абсолютно ошибочных до полностью точных.

С таким же успехом участники шоу могли бы подбрасывать монетку. 338 их прогнозов были неточными – либо полностью, либо в значительной степени. Точно такое же количество – 338 – оказалось верными полностью или в значительной степени{151} (табл. 2.1).

Таблица 2.1. Анализ прогнозов, высказанных в телевизионной программе McLaughlin Group{152}

Кроме этого, ни одного из участников дискуссии – даже Клифта с его точным прогнозом итогов выборов 2008 г. – нельзя было выделить как лучшего среди остальных. Я рассчитал для каждого участника показатель, отражавший долю их личных верных индивидуальных прогнозов. Наиболее часто принимающие участие в обсуждении – Клифт, Бьюкенен, покойный Тони Блэнкли и сам Маклафлин – получили почти одинаковую оценку от 49 до 52 %, что означало, что они могли с равным успехом дать как верный, так и неверный прогноз{153}. Иными словами, их политическое чутье оказалось на уровне любительского джазового квартета, состоящего из парикмахеров.

Разумеется, программа McLaughlin Group в большей или меньшей степени задумана как своеобразное фарсовое развлечение для политических наркоманов. Это – своего рода пережиток прежней эры, такой же как программа Crossfire на канале CNN, в которой либералы и консерваторы бесконечно ругались друг с другом. Нынешняя, камерная эра не особо отличается от прежней, за исключением лишь того, что либералы и консерваторы вещают на своих кабельных каналах, а в качестве демилитаризованной демаркационной зоны между ними находятся Food Network или Golf Channel[21]. Подобная расстановка сил повышает рейтинги, однако далеко не всегда обеспечивает более надежный анализ.

Но что можно сказать о тех, кому платят за правильность и тщательность исследований, а не просто за количество высказываемых мнений? Можно ли считать, что качество прогнозов политологов или аналитиков из вашингтонских мозговых центров выше?

Действительно ли политологи лучше «экспертов»?

Распад Советского Союза и некоторых других стран Восточного блока происходил невероятно высокими темпами и, учитывая все обстоятельства, довольно упорядоченным образом[22].

12 июня 1987 г. Рональд Рейган, стоявший перед Бранденбургскими воротами, призвал Михаила Горбачева разрушить Берлинскую стену. И тогда его слова казались не менее дерзкими, чем обязательство Джона Ф. Кеннеди отправить человека на Луну. Рейган оказался лучшим пророком: стена рухнула менее чем через два года.

16 ноября 1988 г. парламент республики Эстония, государства размером со штат Мэн, заявил о суверенитете Эстонии, то есть о ее независимости от всемогущего СССР. Менее чем через три года Горбачеву удалось отразить попытку переворота со стороны сторонников жесткой линии в Москве, а затем советский флаг был в последний раз спущен перед Кремлем; Эстония и другие советские республики вскоре стали независимыми государствами.

Если постфактум падение советской империи и кажется вполне предсказуемым, то предвидеть его не мог практически ни один ведущий политолог. Те немногие, кто говорил о возможности распада этого государства, подвергались насмешкам{154}. Но если политологи не могли предсказать падение Советского Союза – возможно, самого важного события в истории конца XX в., – то какой вообще от них прок?

Филип Тэтлок, преподаватель психологии и политологии, работавший в то время в Калифорнийском университете в Беркли{155}, задавал себе именно такие вопросы. В период распада СССР он организовал амбициозный и беспрецедентный проект. Начиная с 1987 г. Тэтлок принялся собирать прогнозы, сделанные обширной группой экспертов из научных кругов и правительства по широкому кругу вопросов внутренней политики, экономики и международных отношений{156}.

Тэтлок обнаружил, что политическим экспертам было довольно сложно предвидеть развал СССР, поскольку для понимания происходившего в стране нужно было связать воедино различные наборы аргументов. Сами эти идеи и аргументы не содержали ничего особенно противоречивого, однако они исходили от представителей разных политических направлений{157}, и ученые, бывшие сторонниками одного идеологического лагеря, вряд ли могли так легко пользоваться аргументацией оппонентов.

С одной стороны, непосредственно от Горбачева зависело довольно много, и его желание реформ было искренним. Если бы вместо того, чтобы заняться политикой, он предпочел стать бухгалтером или поэтом, то Советский Союз мог бы просуществовать еще несколько лет. Либералы симпатизировали Горбачеву. Консерваторы же мало верили ему, а некоторые из них считали его разговоры о гласности простым позерством.

С другой стороны, критика коммунизма консерваторами была скорее инстинктивной. Они раньше остальных поняли, что экономика СССР разваливается, а жизнь среднего гражданина становится все более сложной. Уже в 1990 г. ЦРУ рассчитало – причем неверно{158}, – что ВВП Советского Союза примерно в два раза меньше, чем в США{159} (в расчете на душу населения, что сопоставимо с уровнем демократических в настоящее время государств типа Южной Кореи и Португалии). Однако недавно проведенные исследования показали, что советская экономика, ослабленная длительной войной в Афганистане и невниманием центрального правительства к целому ряду социальных проблем, была примерно на 1 трлн долл. беднее, чем думало ЦРУ, и сворачивалась почти на 5 % в год с инфляцией, темпы которой описывались двузначными цифрами.

Если связать эти два фактора воедино, то коллапс Советского Союза было бы легко предвидеть. Обеспечив гласность прессы, открыв рынки и дав гражданам больше демократических прав, Горбачев, по сути, наделил их механизмом, катализирующим смену режима. А благодаря обветшавшему состоянию экономики страны люди с радостью воспользовались представленной возможностью. Центр оказался слишком слаб, чтобы удержать контроль, и дело было не в том, что эстонцы к тому времени устали от русских. Русские и сами устали от эстонцев, поскольку республики-сателлиты вносили в развитие советской экономики значительно меньше, чем получали из Москвы в виде субсидий{160}.

Как только к концу 1989 г. в Восточной Европе начали сыпаться костяшки домино – Чехословакия, Польша, Румыния, Болгария, Венгрия и Восточная Германия, – Горбачев, да и кто-либо еще вряд ли смогли бы что-то сделать, чтобы предотвратить этот процесс. Многие советские ученые осознавали отдельные части проблемы, однако мало кто из экспертов мог собрать все кусочки головоломки воедино, и практически никто не был способен предсказать внезапный коллапс СССР.

Тэтлок, вдохновленный примером с Советским Союзом, начал проводить опросы экспертов и в других областях. Например, он просил их поделиться мнением и дать прогнозы, касающиеся Войны в Заливе, пузыря на рынке недвижимости в Японии, потенциального отделения Квебека от Канады и практически каждого из других важных событий 1980х и 1990х гг.

Была ли неспособность предсказать коллапс Советского Союза исключением, и заслуживает ли своих лавров «экспертный» политический анализ? Исследования Филипа Тэтлока, проводившиеся свыше 15 лет, были опубликованы в 2005 г. в книге «Знания экспертов: Насколько мы можем им верить?» (Philip E. Tetlock «Expert Political Judgement: How good is it?»).

Выводы Тэтлока оказались убийственными. Эксперты в рамках его опросов – вне зависимости от их рода занятий, опыта или отрасли знаний – демонстрировали ничуть не лучшие результаты, чем можно получить при обычном гадании. Более того, они предсказывали будущие политические события хуже, чем даже рудиментарные статистические методы. Они были слишком самоуверенны, оценивая их вероятность: около 15 % событий, которые, по их мнению, не имели ни малейшего шанса на возникновение, все же реализовывались, а еще 25 % событий, в возникновении которых эксперты были полностью уверены, так и не произошли{161}. И не имело значения, какие это были события: касались ли они экономики, внутренней политики или международных дел, суждения экспертов оказались одинаково ошибочными по всем вопросам.

Чтобы делать более верные прогнозы, нужно стать лисой

Хотя в среднем результаты экспертов оказались довольно плохими, Тэтлок обнаружил, что некоторым из них эта работа удавалась лучше, чем остальным. Среди проигравших оказались те эксперты, чьи предсказания чаще всего цитировались в СМИ. Тэтлок установил, что чем больше интервью прессе давал эксперт, тем хуже были его предсказания.

Другая же подгруппа экспертов показывала сравнительно более хорошие результаты. Тэтлок, получивший образование психолога, очень интересовался когнитивным стилем экспертов – тем, как они размышляют о мире. Поэтому он видоизменил несколько вопросов в личностных тестах и задал их всем экспертам.

Основываясь на полученных ответах, Тэтлок смог классифицировать всех экспертов в соответствии с определенной шкалой, распределив их между так называемыми ежами и лисами. Разделение на эти две группы напрямую связано с названием эссе Исайи Берлина о русском писателе Льве Толстом. Берлин, в свою очередь, позаимствовал его из строки, приписываемой греческому поэту Архилоху: «Лис знает много секретов, а еж – один, но самый главный».

Если вы не фанат Толстого или цветистой прозы, то вам совершенно не обязательно читать эссе Берлина. Однако основная его идея заключается в том, что писателей и мыслителей можно разделить на две большие категории.

• «Ежи» – это те люди, которые верят в Большие Идеи или управляющие миром принципы. «Ежи» приравнивают их к законам физики, универсальным для каждого вида взаимоотношений в обществе. Можно вспомнить Карла Маркса и идею классовой борьбы или Зигмунда Фрейда и идею бессознательного. Или же Малкольма Гладуэлла и теорию «переломного момента».

• «Лисы» же, напротив, верят во множество мелких идей и предлагают разнообразные подходы к решению проблем. Они более терпимы к нюансам, неопределенности, сложности и противоречивым мнениям. Если «ежи» – это охотники, всегда ищущие большую добычу, то «лисы» – это собиратели.

«Лисы», как обнаружил Тэтлок, умеют предсказывать значительно лучше, чем «ежи». Например, они гораздо лучше оценили перспективы Советского Союза. Вместо того чтобы воспринимать СССР исключительно в идеологических понятиях, как «империю зла» или как сравнительно успешный (и, возможно, даже выступающий образцом для подражания) пример марксистской экономической системы, они видели то, что было на самом деле, – все более дисфункционализирующую страну, стоявшую на грани распада. Если прогнозы «ежей» были немногим лучше, чем вероятностный шанс, то прогнозы «лис» показывали, что у них есть определенные способности к предсказаниям (табл. 2.2).

Таблица 2.2. Различия между «лисами» и «ежами»

Почему из «ежей» получаются хорошие гости телешоу

Я встретился с Тэтлоком за обедом в гостинице «Дюран», приятном и освещенном зимним солнцем заведении, расположенном рядом с общежитием Беркли. Вполне естественно, Тэтлок напоминал типичную «лису»: он говорил мягким голосом и часто замолкал на 20 или 30 секунд перед тем, как дать на мои вопросы максимально выверенный ответ.

«Что стимулирует людей, демонстрирующих свой интеллект на публике? – спросил меня Тэтлок. – Есть целый ряд ученых, предпочитающих сохранять анонимность. Но есть и другие, желающие выступать на публике, высказывать смелые теории и оценивать значительные события в понятиях вероятности. Разумеется, такой подход естественным образом привлекает к ним внимание».

Иными словами, смелые предсказания в стиле «ежа» с большей вероятностью приведут вас на телевидение. Возьмем пример Дика Морриса, бывшего советника Билла Клинтона, работающего в настоящее время комментатором на канале Fox News. Моррис – это классический «еж», и, по всей видимости, его стратегия состоит в том, чтобы при любом удобном случае выступать с шумным предсказанием. В 2005 г. Моррис заявил, что действия Джорджа У. Буша по преодолению последствий урагана «Катрина» помогут ему обрести прежние позиции во взаимоотношениях с общественностью{162}. Накануне выборов 2008 г. он предсказал, что Барак Обама выиграет в Теннесси и Арканзасе{163}. В 2010 г. Моррис предсказал, что республиканцы легко получат сотню мест в Палате представителей США{164}. В 2011 г. он заявил, что Дональду Трампу стоит выдвинуть свою кандидатуру на президентских выборах от республиканской партии и что у него «чертовски высокие» шансы на выигрыш{165}.

Все эти предсказания оказались абсолютно неверными. «Катрина» стала началом конца Буша, а не его возрождения. Обама проиграл в Теннесси и Арканзасе с разгромным счетом – фактически это были единственные штаты, в которых его результаты были хуже, чем у Джона Керри четырьмя годами ранее. Республиканцам повезло в ноябре 2010 г., однако они получили 69 мест, а не 100. Трамп официально отказался от президентских амбиций всего через две недели после настойчивых призывов Морриса.

Однако Моррис умеет быстро вставать на ноги и снова продолжает заниматься маркетингом самого себя – он, как и прежде, регулярно появляется в программах Fox News и даже смог продать свою книгу сотням тысяч людей.

«Лисам» же порой бывает непросто вписаться в отдельные типы культур, таких как телевидение, бизнес и политика. Их убеждение в том, что многие проблемы сложно предсказать и что мы должны принимать во внимание большую степень неопределенности в жизни, может ошибочно приниматься за отсутствие у них уверенности в себе. Их плюралистический подход может быть столь же ошибочно принят за отсутствие убежденности. Широко известна фраза Гарри Трумэна, потребовавшего представить ему «сделанного одной рукой экономиста»[23], после того как «лисы» в его администрации никак не могли дать ему однозначный ответ на вопрос.

При этом оказывается, что «лисы» могут делать более качественные предсказания. Они быстрее других понимают, насколько данные могут быть искажены шумом, и они в меньшей степени склонны гоняться за фальшивыми сигналами. Они больше знают о том, что они не знают.

Если вам нужен врач, способный оценить ваше физическое остояние, или инвестиционный консультант, помогающий максимизировать величину пенсионных накоплений, то вам стоит довериться «лисе». Возможно, он даст менее радужные прогнозы относительно своих способностей, но уж точно будет лучше понимать, что происходит на самом деле.

Почему политические предсказания обычно оказываются неудачными

«Лисье» восприятие происходящего может оказаться особенно важным, когда речь заходит о предсказаниях в области политики. Существует целый ряд ловушек, в которые чаще всего попадают «ежи», а «лисы» с присущей им осторожностью – нет.

Одна из них – партийная идеология. Моррис, несмотря на то что ранее был советником Билла Клинтона, позиционирует себя как республиканец и занимается сбором средств для кандидатов от этой партии. И его консервативные взгляды вполне соответствуют взглядам его работодателя, Fox News. Однако и у либералов нет иммунитета против того, чтобы стать «ежами». Изучая правильность прогнозов, сделанных участниками McLaughlin Group, я обнаружил, что Элеанор Клифт, обычно выступающая как самый либеральный участник этого шоу, почти никогда не выдвигала предположений о более предпочтительном для республиканцев варианте. Возможно, это и помогло ей в предсказании результата выборов 2008 г., но в долгосрочной перспективе она не была более точной, чем ее консервативные оппоненты.

Научные эксперты, деятельность которых изучал Тэтлок, могут страдать от той же проблемы. В сущности, неполные знания могут стать опасной вещью в руках «ежа» с докторской степенью. Один из самых примечательных выводов Тэтлока звучал так: если с приобретением нового опыта у «лис» улучшаются способности к предсказанию, то для «ежей» справедливо обратное – по мере приобретения дополнительных знаний результативность их прогнозов, скорее, ухудшается. Тэтлок верит, что чем больше фактов узнают «ежи», тем больше у них появляется возможностей манипулировать с этими фактами с целью подтверждения их предубеждений. Это чем-то напоминает ситуацию, когда вы помещаете ипохондрика в темную комнату с доступом в интернет. Чем больше времени вы ему дадите, тем больше информации будет у него в распоряжении и тем более страшный диагноз он себе поставит (в подобных ситуациях ему будет легко принять обычную простуду за бубонную чуму).

Но, хотя Тэтлок и обнаружил, что самые плохие предсказания исходили от «ежей» с правого и левого флангов, он также заметил, что «лисы» из разных политических групп были менее подвержены подобным проявлениям{166}. «Лисы» могут иметь свои идеальные представления о том, каким должен быть мир. Однако они в большей степени способны при анализе отделить свои представления о том, как мир может выглядеть в ближайшем будущем, от того, как выглядит мир в реальности.

Напротив, «ежам» сложнее отстраниться от своих глубинных интересов при проведении анализа. По словам Тэтлока, вместо этого они создают «расплывчатую смесь из сваленных в одну кучу фактов и значений параметров». Они с большим предубеждением относятся к свидетельствам, обращая внимание лишь на то, что хотят увидеть, а не то, что есть в реальности.

Вы можете использовать тест Тэтлока для диагностики того, относитесь ли вы к «ежам». Иными словами, улучшаются ли ваши прогнозы, если у вас появляется доступ к большей информации? Теоретически дополнительная информация должна служить попутным ветром, когда вы делаете предсказания, – вы можете всегда игнорировать информацию, если она кажется вам не особенно полезной. Однако «ежи» часто загоняют себя в угол собственными действиями.

Рассмотрим, что показали результаты опроса группы политических инсайдеров, проведенного журналом National Journal, в котором выяснялось мнение примерно 180 политиков, политических консультантов, социологов и других ученых. Опрос проводился отдельно для представителей демократической и республиканской партий, однако обеим группам задавались одни и те же вопросы. Можно сказать, что участники этой группы, вне зависимости от политических пристрастий, – подлинные «ежи». Политические деятели гордятся своими боевыми шрамами и видят себя участниками вечной битвы с оппонентами на коктейльной вечеринке.

За несколько дней до промежуточных выборов 2010 г. National Journal спросил участников группы о том, удастся ли демократам сохранить контроль и над Конгрессом, и над Сенатом{167}. По обоим вопросам имелось почти стопроцентное согласие – демократы могли сохранить Сенат, однако республиканцам было вполне по силам взять контроль над Конгрессом (участники опроса оказались правы в обоих предположениях). Как демократические, так и республиканские инсайдеры пришли к почти полному согласию в вопросе о том, сколько дополнительных мест получат республиканцы в Конгрессе; эксперты демократов говорили о 47, а республиканцы предсказывали 53. Разницу можно считать относительно незначительной с учетом того, что в Конгрессе 435 мест.

Однако кроме этого National Journal попросил участников опроса предсказать исход одиннадцати отдельных событий: выборов в Сенат, Конгресс и на пост губернатора. И здесь выявились куда более значительные различия. Мнения разделились по вопросам результатов выборов в Сенат в Неваде, Иллинойсе и Пенсильвании, выборов губернатора во Флориде и крайне важных выборов в Конгресс в Айове. В целом участники опроса – республиканцы – ожидали, что демократы выиграют в 1 из 11 гонок, а демократы – что выиграют в 6 из 11 (реальный исход достаточно предсказуемым образом оказался посередине – демократы выиграли 3 из 11 кампаний, о которых спрашивал National Journal){168}.

Очевидно, что свою роль здесь сыграла партийная принадлежность: демократы и республиканцы поддерживали своих. Однако только этого недостаточно, чтобы объяснить необычные расхождения в том, как участники опроса отвечали на различные типы вопросов. Когда их, к примеру, спрашивали о шансах республиканцев в общем, то между полученными ответами почти не было различий. Однако они проявлялись, когда задавались вопросы о конкретных выборах – и такие вопросы заставляли партийные различия выплыть на поверхность{169}.

Чрезмерный объем информации в руках «ежа» может оказаться для него злом. Вопрос о том, как много мест могли бы отобрать республиканцы у демократов, выглядит общим (пока вы не принимаетесь изучать детали всех 435 выборных кампаний). Напротив, когда участников опроса спрашивали о конкретной кампании, например о выборах в Сенат в Неваде, то оказывалось, что они располагают разной информацией о ней (и результаты опросов, и новости о ходе кампании, и слухи, и собственные мысли о кандидатах). Иногда они даже знали лично или самих кандидатов, или людей, работавших на них.

«Ежи», имеющие в своем распоряжении много информации, начинают выстраивать сюжеты более приглаженные и идеальные, чем реальный мир. В придуманных ими историях имеются союзники и враги, победители и проигравшие, победы и поражения в жестоких битвах – и обычно хеппи-энд для команды, к которой принадлежит «еж». Черт побери, наш кандидат, отстающий от своего соперника на 10 %, все равно выиграет, поскольку я знаю и его, и избирателей в его штате. А еще я слышал, как пресс-секретарь кандидата говорил о том, что разрыв сокращается, и видел его новый прекрасный рекламный ролик…

Создавая такие сюжеты, мы можем утратить способность к критическому осмыслению имеющихся фактов. Обычно выборы представляют собой конкуренцию различных повествований. Что бы вы ни думали в 2008 г. о Бараке Обаме, Саре Пейлин, Джоне Маккейне или Хиллари Клинтон, у каждого из них имелась убедительная история жизни – повествования о ходе кампании (типа «Game Change») читаются как отлично написанные бестселлеры. Кандидаты кампании 2012 г. были менее привлекательными, однако все равно смогли представить аудитории обычный ансамбль драматических клише от трагедии (Герман Кейн?) до фарса (Рик Перри).

Порой в таких повествованиях можно запутаться. Политика может быть особенно уязвимой к плохим предсказаниям из-за присущих ей человеческих элементов: наличие качественного выбора заставляет нас включать сильные чувства. Это не значит, что хорошее предсказание политического события требует от вас полной бесстрастности. Но это не значит и то, что отстраненный подход «лис» всегда будет приносить свои дивиденды.

«Лисий» подход к прогнозированию

Идея FiveThirtyEight[24] возникла у меня в зале ожидания международного аэропорта имени Луи Армстронга в Новом Орлеане в феврале 2008 г., где я ждал объявления на посадку на задержанный рейс. По какой-то причине, возможно, свою роль в этом сыграла порция мартини, мне вдруг показалось очевидным, что кто-то должен создать сайт, на котором оценивались бы шансы Хиллари Клинтон и Барака Обамы (жестко конкурировавших на тот момент в борьбе за пост кандидата от демократической партии) против Джона Маккейна.

При этом мой интерес к электоральной политике возник несколько раньше – и был скорее результатом разочарования, а не привязанности к политическому процессу. В 2006 г. я тщательно наблюдал за попыткой Конгресса запретить интернет-покер (бывший на тот момент одним из основных источников моего дохода). Я нашел анализ политических событий даже более интересным, чем анализ спорта (качество которого значительно улучшилось благодаря так называемой «Революции Moneyball»).

Во время подготовки к предварительным выборам я обнаружил, что все чаще и чаще смотрю политические телевизионные программы, в основном на каналах MSNBC, CNN и Fox News. Как правило, освещение событий было довольно скучным и бессодержательным. Несмотря на то что выборы должны были состояться через несколько месяцев, многие комментаторы говорили о неизбежности победы Клинтон и игнорировали неопределенность, присущую подобным ранним этапам выборной кампании. Слишком много внимания уделялось полу Клинтон и расе Обамы{170}. Некоторые комментаторы пытались навязчиво определить, удалось ли тому или иному кандидату «выиграть день», произнеся успешную фразу на пресс-конференции или переманив на свою сторону одного из не особо известных сенаторов (притом что это не волновало 99 % избирателей).

Политические новости, и особенно важные и действительно влияющие на кампанию, появляются нерегулярно. Однако новости создаются каждый день. Зачастую это всего лишь «наполнитель», упакованный в форме историй, призванных скрыть незначительность информации[25]. Часто это приводит не только к утрате сигнала, но и к усилению шума. Если в каком-то штате проводится некое количество опросов, показывающих верховенство республиканцев, то нет ничего интересного в том, что вы скажете то же самое, что говорят все остальные. Если же результаты вашего опроса покажут, что верх начинают брать демократы, вам обеспечено место в заголовках новостей – несмотря на то что ваш опрос представляет собой всего лишь информационный выброс и не может предсказать исход с должной степенью точности.

Иными словами, планка, установленная в конкурентной борьбе, казалась достаточно низкой. Любой человек мог произвести впечатление гения, занявшись самыми простыми базовыми исследованиями того, что действительно обладает предсказуемостной способностью в политической кампании. Поэтому я начал вести блог на сайте Daily Kos, рассказывая о детальном и управляемом данными анализе таких вопросов, как опросы или данные по сбору средств кандидатами. Я выяснил, какие опросы показывали в прошлом самые точные результаты и насколько победа в одном штате – к примеру, Айове – могла привести к изменению расстановки сил в другом. Мои статьи быстро стали популярными, хотя чаще всего комментарии читателей сайтов, подобных Daily Kos, носят качественный (и довольно предвзятый) характер. В марте 2008 г. я начал выставлять аналитические данные на собственном сайте (FiveThirtyEight), где размещались прогнозы, касающиеся различных выборных кампаний.

Поначалу модель прогнозирования FiveThirtyEight была довольно простой – по сути, она брала среднее значение из результатов всех опросов и рассчитывала вес каждого опроса в зависимости от его соответствия последующим событиям. Затем она стала более изощренной, однако при этом всегда соблюдались три довольно широких принципа (которые можно назвать «лисьими»).

Принцип 1. Учитывайте вероятностность события

Почти все публикуемые мной прогнозы, как в политике, так и в других областях, являются вероятностными.

Вместо того чтобы «выплеснуть» одну цифру и утверждать, что я точно знаю, что произойдет далее, я показываю диапазон возможных результатов. Например, 2 ноября 2010 г. мой прогноз о возможном количестве мест республиканцев в Конгрессе США выглядел так, как показано на рис. 2.1.

Предполагалось, что наиболее вероятное количество мест, которое наберут республиканцы, находилось в диапазоне, перекрывающем почти половину всех возможных вариантов, – от 45 до 65 (в реальности они получили 63 места). Однако также имелась возможность выигрыша республиканцами 70 или 80 мест – но уж точно не предсказанной Диком Моррисом сотни. И существовала вероятность того, что демократы удержат достаточно мест для сохранения контроля над Конгрессом.

Рис. 2.1. Прогноз количества мест республиканцев в Конгрессе США на 2 ноября 2010 г. от FiveThirtyEight

Широкий разброс исходов выборов отражал неопределенность, присущую реальному миру. Прогноз был создан на основе индивидуальных прогнозов для каждого из 435 мест в Конгрессе – и в большинстве кампаний разрыв межу конкурировавшими кандидатами был минимальным. В результате судьба 77 мест в Конгрессе определялась разрывом голосов менее чем в 10 %{171}. Если бы демократы обогнали собственные прогнозы в самых конкурентных регионах всего на пару процентов, то смогли бы легко удержать за собой Конгресс. Если бы то же самое смогли сделать республиканцы, то превратили бы свою победу в невероятный триумф. Небольшие колебания политических течений могли бы привести к существенно иному результату; поэтому было бы глупо сводить описание происходящего к точной цифре.

Этот вероятностный принцип также сохраняется в случаях, когда я прогнозирую, чем завершатся отдельные кампании. Например, насколько велика вероятность выигрыша кандидата, если он, по итогам опросов, опережает конкурента на пять пунктов? Именно такие вопросы и призваны решать модели типа FiveThirtyEight.

Ответ на подобный вопрос в значительной степени зависит от типа гонки, в которую вовлечен кандидат. Чем ниже уровень выборов, тем более волатильными становятся результаты: данные опросов на предвыборной гонке в Конгресс менее точны, чем данные опросов при выборах в Сенат, а те, в свою очередь, менее точны, чем опросы перед выборами президента. Также считается, что, в целом опросы в ходе предварительных партийных выборов (праймериз) значительно менее точны, чем опросы в ходе общих выборов. Во время праймериз Демократической партии в 2008 г. средняя величина ошибки в данных опроса составляла около восьми пунктов – значительно больше, чем подразумевается при оценке ее погрешности. Проблема опросов в ходе республиканских праймериз 2012 г. была еще масштабнее{172}. Фактически во многих важных штатах – включая Айову, Южную Каролину, Флориду, Мичиган, Вашингтон, Колорадо, Огайо, Алабаму и Миссисипи – кандидат, лидировавший в ходе опросов за неделю до выборов, проигрывал гонку.

Однако опросы становятся более точными по мере приближения дня выборов. В табл. 2.3 представлены некоторые результаты, полученные с использованием упрощенной версии модели прогнозирования FiveThirtyEight для выборов в Сенат, использовавшей данные за период с 1998 по 2008 г. В модели рассчитывалась вероятность выигрыша кандидата на основе значения средней величины его опережения в ходе опросов. Допустим, кандидат в Сенат, имевший пятипроцентное опережение, выигрывал гонку в 95 % случаев – это было почти гарантировано, хотя пресса часто называла предвыборную гонку «непредсказуемой». Напротив, в случае преимущества в пять пунктов за год до выборов, шансы на победу составляют лишь 59 % – чуть лучше, чем при гадании с помощью подбрасывания монетки.

В подобных условиях ценность моделей типа FiveThirtyEight становится очевидной. Нет никаких проблем с тем, чтобы посмотреть на цифры, увидеть, что некий кандидат ведет по данным некоторых или всех опросов, и понять, что он является фаворитом (за некоторыми исключениями это предположение будет правильным). Гораздо сложнее понять, в какой мере он выступает фаворитом. Наши мозги, приученные находить закономерности, всегда пытаются найти в данных сигнал, хотя, на самом деле, вместо этого нам следует оценивать степень шума.

Таблица 2.3. Вероятность победы кандидата на выборах в Сенат, основанная на среднем показателе опережения в ходе опросов

Я привык именно к такому стилю мышления, а предпосылкой для него является опыт, приобретенный, когда я имел дело с двумя дисциплинами – спортом и покером, в которых вы, так или иначе, сталкиваетесь со всеми вариантами развития событий. Сыграв достаточное количество партий в покер, вы получаете некоторое количество комбинаций ройял-флэш. Стоит вам сыграть еще, и вы окажетесь в ситуации, когда у вас на руках будет фулл-хаус, а ройял-флэш придет вашему сопернику. В спорте, особенно бейсболе, также возникают события с низкой вероятностью. Так, команда Boston Red Sox не смогла выйти в плей-офф в 2011 г., несмотря на то что в какой-то момент ее шансы на это составляли 99,7 %{173}, – хотя лично я не стал бы спорить с человеком, считающим, что в случае Red Sox или Chicago Cubs обычные законы вероятности просто не работают.

Такое отсутствие определенности часто расстраивает политиков и политических обозревателей. В 2010 г. один конгрессмен-демократ позвонил мне за несколько недель до выборов. Он представлял довольно благополучный для демократической партии район на западном побережье.

Тем не менее, принимая во внимание, насколько хорошо шли в том году дела у республиканцев, он беспокоился, что может потерять свое место. Он хотел знать, насколько велика доля неопределенности в нашем прогнозе. При округлении наши цифры говорили ему о том, что вероятность его победы составляет 100 %… Однако что значили эти 100 % на самом деле – 99 % или 99,99 %, или же 99,9999 %? В первом случае, когда шансы проигрыша оценивались как 1 к 100 000, он был готов пожертвовать собранными на его кампанию средствами и передать их другим кандидатам, баллотировавшимся в более уязвимых районах. Однако он не был готов так поступить, если шансы на его проигрыш составляли 1 к 100.

Представители политических партий могут неправильно интерпретировать роль неопределенности в прогнозе; они относятся к ней как к своего рода страховке или возможному оправданию в случае, если предсказание оказывается неверным. Но дело заключается совсем в другом. Если вы прогнозируете, что некий конгрессмен будет выигрывать в 90 % случаев, то это также означает, что ему будет суждено проиграть в 10 % случаев{174}. Отличительный признак хорошего прогноза заключается в том, что каждая из этих вероятностей может реализоваться в долгосрочной перспективе.

«Ежи» Тэтлока очень плохо понимают суть этих вероятностей. Когда вы говорите, что вероятность того, что какое-то событие произойдет, составляет 90 %, то за этими словами имеется вполне конкретный и объективный смысл. Однако наши мозги превращают его в нечто более субъективное. Выводы психологов Даниэла Канемана и Амоса Тверски показывают, что такие субъективные оценки не всегда соответствуют реальности. У людей могут возникнуть проблемы при оценке различия между вероятностью благополучного приземления самолета, составляющей 90 %, и вероятностью в 99 % или даже в 99,9999 %. Хотя совершенно очевидно, что от этого напрямую зависит, стоит ли нам бронировать билет на самолет.

При наличии должной практики наша оценка может стать лучше. «Ежей» Тэтлока отличала высокая степень упрямства и неготовность учиться на своих ошибках. Признание присущей реальному миру неопределенности в прогнозах вынудило бы их признать неправильность своих теорий, касающихся должного поведения мира, а это – последнее, чего хотелось бы приверженцу той или иной идеологии.

Принцип 2. Сегодняшний ваш прогноз – это первый прогноз из тех, что еще будут в вашей жизни

Еще одно заблуждение состоит в том, что хороший прогноз не следует изменять. Разумеется, если ваш прогноз резко изменяется день ото дня, это не говорит ни о чем хорошем. Либо у вас плохая модель, либо вы пытаетесь предсказать непредсказуемые события. В 2012 г., когда я опубликовал прогнозы республиканских праймериз в каждом из штатов на основании одних лишь данных опросов, вероятности победы различных кандидатов существенно менялись каждый раз после появления результатов очередного опроса.

Когда исход более предсказуем – как, например, в случае общих выборов на последних этапах гонки, – прогнозы обычно выглядят более стабильными. После выборов 2008 г. я часто слышал, что многие люди, вовлеченные в этот процесс, обращались к сайту FiveThirtyEight, чтобы просто успокоиться[26]. К окончанию президентской гонки каждый день из различных штатов поступают данные 30–40 опросов, и результаты некоторых из них неминуемо выпадут за пределы обычной ошибки. Кандидаты, стратеги и телевизионные комментаторы, заинтересованные в том, чтобы сделать гонку более интригующей, чем она есть, будут обращать внимание на подобные необычные цифры, однако расчеты с использованием модели FiveThirtyEight показали, что они редко на чем-либо сказываются.

Самое правильное из того, что вы можете сделать, это создать лучший из возможных на сегодняшний день прогнозов – вне зависимости от того, что вы говорили на прошлой неделе, в прошлом месяце или прошлом году. Появление новых прогнозов не означает, что старый прогноз просто исчезает (в идеале, вы должны сохранить его и позволить другим людям оценить, насколько хорошо вы проделали свою работу в течение всего периода предсказания события). Но если у вас есть основания считать, что вчерашний прогноз был неверным, то держаться за него нет никакого смысла. «Когда меняются факты, меняется и мое мнение, – говорил знаменитый экономист Джон Мейнард Кейнс. – А у вас разве не так, сэр?»

Некоторым людям не нравится подобный тип корректирования курса, и они ошибочно принимают его за признак слабости. Им кажется, что в таких действиях присутствует некий элемент мошенничества, как будто вы вместо научного анализа пытаетесь определить направление ветра с помощью поднятого вверх пальца{175}.

Критики обычно полагают, явно или косвенно, что политика в чем-то сходна с физикой или биологией, в которых соблюдаются фундаментальные законы, познаваемые по своей природе. (Кстати, один из наиболее часто критикующих меня людей – профессор нейробиологии из Принстона{176}.) Если же придерживаться подобных взглядов, то новая информация не имеет особенного значения; выборы должны двигаться по предсказуемой орбите, как комета, направляющаяся в сторону Земли.

Однако, в отличие от физики или биологии, прогнозирование на выборах напоминает, скорее, покер: мы можем наблюдать за поведением оппонента и улавливать те или иные подсказки, но мы не видим его карт. Пытаясь выкачать как можно больше из имеющейся ограниченной информации, мы должны быть готовы изменить свой прогноз по мере получения более новых и более качественных сведений. Неспособность изменить свой прогноз вследствие излишнего стыда говорит лишь об отсутствии у нас должной смелости.

Принцип 3. Ищите консенсус

Каждый «еж» представляет себе, как он создает смелый, дерзкий и нестандартный прогноз, радикально отличающийся от точки зрения, основанной на консенсусе.

Коллеги над ним смеются, и даже их золотые ретриверы начинают смотреть на него недоуменно. Однако затем предсказание вдруг оказывается глубоким, точным и несомненно правильным. Через два дня рассказ о нем появляется на первой полосе Wall Street Journal, а он сам – смелый и решительный первопроходец – сидит в гостевом кресле на шоу Джея Лино.

Время от времени делать такие прогнозы вполне нормально и правильно. Консенсус между экспертами может быть ошибкой – человек, который осмеливался бы предсказать коллапс Советского Союза, заслуживал бы огромной благодарности. Однако выступить с таким фантастическим сценарием довольно сложно. Хотя «лисы», и в том числе я сам, считают себя нонконформистами, мы все равно начинаем нервничать всякий раз, когда наши прогнозы радикально отличаются от творений конкурентов.

Существует довольно много свидетельств тому, что совокупные, или групповые, прогнозы являются более точными, чем индивидуальные (для разных дисциплин значения показателя могут находиться между 15 и 20 %). И это не всегда означает, что групповые прогнозы хороши (чуть позже в книге мы детально рассмотрим этот вопрос). Но это значит, что вы можете извлечь определенную пользу от изучения проблемы с разных точек зрения.

«“Лисы” часто прокручивают в голове то, на что способна лишь группа “ежей”», – рассказал мне Тэтлок. Он имеет в виду, что «лисы» выработали у себя способность имитировать процесс консенсуса. Вместо того чтобы задавать вопросы целой группе экспертов, они постоянно задают вопросы сами себе. Зачастую это означает, что они объединяют различные виды информации – так обычно делает группа людей с различными идеями об окружающем мире, – а не относятся к каждому факту как Святому Граалю (например, в прогнозах FiveThirtyEight часто совмещаются данные опросов с информацией о состоянии экономики, демографических сведений о штате и т. д.). Составители прогнозов, которым не удается следовать рекомендациям Тэтлока, часто вынуждены платить за это высокую цену.

Остерегайтесь чудодейственных прогнозов

В преддверии выборов 2000 г. экономист Дуглас Хиббс опубликовал модель прогнозирования и заявил, что при ее использовании можно невероятно точно предсказывать итоги президентских выборов, учитывая всего лишь две переменных. Одна из них была связана с экономическим ростом, а вторая – с военными потерями{177}. Хиббс сделал ряд смелых заявлений в стиле «ежа». Он сказал, что рейтинг одобрения деятельности президента (исторически считавшийся надежным индикатором возможности переизбрания) никак не улучшал его прогнозы. Не имели значения ни уровень инфляции, ни уровень безработицы. Не важны были и личности кандидатов – партия могла выдвинуть как идеолога типа Джорджа Макговерна, так и центриста и героя войны наподобие Дуайта Д. Эйхенхауэра. Хиббс утверждал, что вместо всех этих показателей главным критерием выступает довольно туманная экономическая переменная, названная им «реальным располагаемым доходом на душу населения».

Какие результаты показала эта модель? Она предсказала убедительную победу Ала Гора с перевесом в девять пунктов. Однако выборы после пересчета голосов во Флориде выиграл Джордж У. Буш. Гор доказал свою популярность, однако из модели следовало, что результат будет совершенно иным. Согласно ей, вероятность тех событий, которые произошли на самом деле, составляла лишь 1 к 80{178}.

Аналогичный подход был использован и в некоторых других моделях. Их создатели утверждали, что смогли свести столь сложный вопрос как президентские выборы, к формуле с двумя переменными (как ни странно, никто из авторов не использовал одни и те же две переменные). Некоторые из них показали еще более неточные результаты, чем метод Хиббса. В 2000 г. одна из этих моделей предсказала победу для Гора с перевесом в 19 пунктов, а шансы на реальный исход составили, согласно ей, всего один к миллиарду{179}.

Такие модели стали популярными после выборов 1988 г., когда казалось, что фундаментальные показатели на стороне Джорджа Х. У. Буша – экономика пребывала в хорошем состоянии, а уровень популярности республиканского предшественника Буша, Рональда Рейгана, был достаточно высоким, – однако результаты опросов говорили о предпочтении Майкла Дукакиса до последних дней гонки{180}. В конечном счете, Буш одержал легкую победу.

Поскольку эти модели были доступны широкой публике для изучения, их последующие результаты оказались не менее плачевными. В среднем в ходе пяти президентских выборов после 1992 г. типичная модель, основанная на «фундаментальных факторах», – то есть модель, игнорирующая результаты опросов и заявляющая, что способна определить поведение избирателей без их учета, – ошибалась в величине разрыва между основными кандидатами почти на семь пунктов{181}. Модели, основанные на «лисьем» подходе, то есть совмещавшие экономические данные с данными опросов и других источников информации, показали более надежные результаты.

Взвешивайте качественную информацию

Все эти чудодейственные модели прогнозирования провалились, даже несмотря на то что они были количественными и основывались на опубликованной экономической статистике. К количественным относятся и некоторые из самых неудачных прогнозов, описанных мной в этой книге. Например, модели рейтинговых агентств, которые должны быть точными и использовать управляемые данные[27], оценивали вероятность дефолта, учитывая невыполненные обязательства. Эти модели были неверными и опасными, поскольку основывались на довольно своекорыстном допущении, заключавшемся в том, что риск дефолта для различных закладных не зависит друг от друга, но это предположение не имело никакого смысла при образовании пузырей на рынках жилья и кредитов. Сразу скажу, что я предпочитаю при создании своих прогнозов именно количественный подход. При этом «ежи» берут любую информацию и используют ее для подкрепления своих предубеждений, а «лисы», умеющие взвешивать различные типы информации, могут извлечь немалую пользу из сочетания качественных и количественных факторов.

Очень мало найдется политических аналитиков, имеющих такое большое количество свидетельств успеха, как дружная команда, управляющая Cook Political Report. Эта группа, созданная в 1984 г. гениальным Чарли Куком, круглолицым уроженцем Луизианы, почти неизвестна за пределами вашингтонских политических кругов. Однако истинные любители политики годами полагаются на прогнозы Кука, и у них редко возникают основания испытать разочарование.

Кук и его команда работают над реализацией одной конкретной миссии – предсказать исход выборов в США, в частности в Конгресс. Это значит, что они выдают прогнозы для всех 435 избирательных кампаний в Конгресс США, а также примерно для 35 кампаний по выборам в Сенат США, проходящих раз в два года.

Предсказание исхода выборов в Сенат или губернаторских выборов – процесс сравнительно простой. Обычно кандидаты достаточно хорошо известны избирателям, а самые важные кампании привлекают широкое внимание и оцениваются многими уважаемыми аналитиками. В этих обстоятельствах представляется довольно сложным предложить более хороший метод объединения результатов опросов, наподобие предложенного мной в модели FiveThirtyEight.

Однако выборы в Конгресс – это совсем иное дело. Кандидаты часто появляются практически из ниоткуда – то могут быть члены городских собраний или владельцы небольших бизнесов, решившие попробовать себя в национальной политике. В некоторых случаях они почти неизвестны избирателям еще за несколько дней перед выборами. При этом избирательные участки размещаются буквально в каждом уголке страны, что сопровождается проявлением огромного количества демографических особенностей. Зачастую опросы на избирательных участках в Конгресс не происходят, а даже если это и бывает, то крайне несистемно и запутанно{182}.

Но это не значит, что у аналитиков типа Кука нет вообще никакой информации. На самом деле ее можно найти в изобилии: помимо результатов опросов имеются и демографические сводки по району, и информация о том, как его избиратели голосовали на прошедших выборах. Существуют данные и об общих тенденциях и склонностях к предпочтению той или иной партии по всей стране (в том числе рейтинги одобрения тех или иных кандидатов в президенты). Есть информация и о том, сколько собрано средств, так как об этом партии должны подавать детальную отчетность в Федеральную избирательную комиссию.

Другие типы информации носят более качественный характер, но тем не менее могут быть потенциально полезными. Может ли кандидат считаться хорошим оратором? Насколько пересекается его платформа с особенностями избирательного района? Какой тип рекламных роликов он использует? Политическая кампания представляет собой, по сути, небольшой бизнес, и важный вопрос состоит в том, насколько хорошо кандидат управляет людьми.

Разумеется, если бы вы были «ежом», не умеющим тщательно взвешивать информацию, она бы вся показалась вам лишь источником дополнительных проблем. Однако компания Cook Political имеет немалый опыт в создании прогнозов, а ее прогнозы довольно часто оказываются правильными.

Cook Political оценивает предвыборные кампании по семибалльной шкале, начиная от «Солидного преимущества республиканцев» (это означает, что данную кампанию почти гарантированно выиграет республиканский кандидат) до «Солидного преимущества демократов» (с обратным исходом). За период между 1998 и 2010 гг. кампании, отнесенные Cook к группе «Солидное преимущество республиканцев», действительно были выиграны республиканскими кандидатами 1205 раз из 1207 – то есть более чем в 99 % случаев. Аналогично, кампании, которые они отнесли к группе «Солидное преимущество демократов», были выиграны демократами в 1226 из 1229 случаев.

Большинство кампаний, которые Cook относит к группам «Солидного преимущества», происходят в районах, где одна и та же партия каждый год выигрывает со значительным перевесом, – их исход несложно предсказать. Однако Cook Political удается добиваться отличных результатов даже тогда, когда в ходе кампаний прогнозирование результатов требует значительно более серьезных навыков. Например, кампании, которые можно было назвать «склоняющимися» в сторону республиканских кандидатов, были выиграны республиканцами примерно в 95 % случаев. Аналогичным образом, «склоняющаяся» в сторону демократов кампания приводила к выигрышу демократов в 92 % случаев{183}. Более того, Cook удается спрогнозировать правильный результат даже тогда, когда он расходится с такими количественными индикаторами, как опросы{184}.

Я посетил офис Cook Political в Вашингтоне в сентябре 2010 г., примерно за пять недель до ноябрьских выборов, и провел несколько часов в обществе Дэвида Вассермана, кудрявого мужчины в возрасте за 30, отвечающего в компании за прогнозы, касающиеся выборов в Конгресс.

Самое уникальное свойство принятого у Cook процесса связано с интервью кандидатов. Во время предвыборных кампаний дверь на пятый этаж комплекса «Уотергейт», где располагаются офисы Cook, буквально не закрывается. Кандидаты приезжают туда на часовые беседы в промежутках между мероприятиями по сбору денег и стратегическими совещаниями. В день моего визита у Вассермана было назначено три таких интервью. Он предложил мне принять участие в одном из них – с республиканским кандидатом по имени Дэн Капанке.

Капанке надеялся обойти своего основного конкурента – демократа Рона Кайнда – в третьем избирательном районе штата Висконсин, представляя несколько небольших поселений в юго-западной части штата. Cook Political оценивал состояние в этом районе как «Возможную победу демократов». Это означало, что они дают Капанке лишь небольшие шансы на победу и размышляют о переводе района в более сильную категорию – «Предпочтение демократам». Капанке, сенатор штата, управлял небольшой компанией, производившей вспомогательное оборудование для сельского хозяйства. По виду и манерам он напоминал школьного учителя физкультуры. У него был сильный местный акцент: когда он произносил название местной бейсбольной команды La Crosse Loggers, я никак не мог разобрать, говорит ли он о «logger» (дровосеках) или «lager» (пиве). Стоит отметить, что для бейсбольного клуба из Висконсина в принципе подходили оба названия. В то же самое время прямота помогала ему компенсировать недостаток очарования – и он раз за разом получал свое место в сенате штата в районе, который обычно голосовал за демократов{185}.

Вассерман использует в интервью подход профессионального игрока в покер. Он держит каменное лицо и ведет себя безупречно с профессиональной точки зрения, однако подспудно пытается вызывать у кандидата напряжение, позволяющее больше о нем узнать.

«Моя базовая техника, – говорил он, – состоит в том, чтобы сформировать комфортные и дружеские отношения с кандидатом в самом начале интервью, в основном заставляя их рассказывать о том, откуда они родом. Затем я пытаюсь задать более нацеленный вопрос. Назовите тот вопрос, по которому вы не согласны с лидерами своей партии. Цель состоит не в том, чтобы дать им раскрыться, а в том, чтобы лучше почувствовать их стиль и подход».

Интервью с Капанке следовало тому же шаблону. Тот факт, что Вассерман знает кучу нюансов и деталей политической географии, заставляет его казаться местным уроженцем, и Капанке был счастлив поговорить об особенностях своего района – о том, как много голосов избирателей ему нужно выиграть в Ла-Кросс, чтобы компенсировать потерю в О-Клер. Однако он начал запинаться после серии вопросов, связанных с обвинением в том, что он использовал переданные ему лоббистами средства на покупку нового освещения для стадиона «Loggers»{186}.

Это была мелочь; Капанке не обвиняли ни в измене жене, ни в махинациях с налогами. Однако этого было достаточно для того, чтобы убедить Вассермана изменить рейтинг{187}. Капанке действительно проиграл выборы в ноябре того года, отстав от лидера примерно на 9500 голосов, хотя республиканцы в целом выиграли выборы в большинстве подобных районов на Среднем Западе.

Это происходит не так уже часто; Вассерман обычно сохраняет тот же рейтинг после интервью. Несмотря на то что он пытается получить как можно больше новой информации из кандидатов, часто та оказывается не настолько важной, чтобы заставить его изменить мнение.

Подход Вассермана работает, поскольку он способен оценить полученные сведения, не поддаваясь очарованию сидящего перед ним кандидата. Многие менее способные аналитики могли бы чрезмерно открыться перед людьми, пытающимися их очаровать или обмануть, или какими-то еще путями потерялись бы в рассказах о кампании. Или же они могли влюбиться в собственное представление о том, как будет вести себя кандидат в ходе интервью, и полностью игнорировать всю другую информацию, связанную с кампанией.

Вместо этого Вассерман рассматривает все в более широком политическом контексте. Отличный кандидат от демократической партии, умело отвечающий на вопросы в ходе интервью, может не иметь никаких шансов в районе, где республиканец обычно побеждает с опережением на 20 пунктов.

Так для чего вообще тратить время на интервью с кандидатами? Чаще всего Вассерман ищет так называемые красные флаги. Например, конгрессмен-демократ Эрик Масса (который позднее был вынужден с позором уйти из Конгресса после обвинений в сексуальных домогательствах к сотруднику-мужчине) постоянно пытал Вассермана о том, сколько тому лет. Психолог Пол Меель называет такие случаи «примером сломанной ноги» – то есть ситуациями, в которых нечто становится настолько заметным, что будет глупо не принимать это во внимание{188}.

Способность улавливать подобные сигналы несколько раз в год помогает Вассерману улучшить прогнозы по тем или иным кампаниям. Он способен взвешивать информацию, получаемую в ходе интервью, без чрезмерного внимания к ней (что могло бы привести к ухудшению прогнозов). Не так важно, какая количественная или качественная информация к вам поступает, – гораздо важнее, каким образом вы ее используете.

Быть объективным непросто

В этой книге я очень тщательно подхожу к использованию понятий объективное и субъективное. Порой слово объективное ассоциируется с количественным, но это не всегда так. Напротив, оно означает способность не ограничиваться нашими личными предубеждениями и изучать истинное положение дел с той или иной проблемой{189}.

Абсолютная объективность всегда желательна, но недостижима в этом мире. Создавая прогноз, мы можем выбирать любой из множества различных методов. Некоторые из них, например опросы, основываются исключительно на количественных переменных, а другие подходы (например, подход Вассермана) могут принимать во внимание и качественные факторы. Однако все они приводят к принятию решений и выдвижению предположений специалистом по прогнозированию.

Везде, где имеется человеческое суждение, возможно и появление предубеждений. Чтобы стать более объективным, нам стоит признавать влияние, которое имеют наши предположения на прогнозы, и критически к ним относиться. И это может оказаться особенно сложным (особенно если учитывать наши собственные идеологические убеждения и сложности процесса создания связного повествования из данных) в областях с высоким уровнем шумов.

Поэтому вам придется принять на вооружение привычки некоторых ученых, которых можно увидеть в телевизионных передачах. Вам нужно научиться выражать – и оценивать количественным образом – неопределенность своих предсказаний. Вам понадобится корректировать свой прогноз по мере изменения фактов и обстоятельств. От вас потребуется признать необходимость видеть мир с разных точек зрения. Чем больше вы захотите это делать, тем легче вам будет оценивать огромные массивы информации без искажений и злоупотреблений.

Короче говоря, вам нужно научиться думать как «лиса». Прогнозист-«лиса» признает ограниченность человеческого суждения в попытках предсказания развития мира. И знание об этой ограниченности помогает ему создавать больше правильных предсказаний.

Настроение игроков бейсбольной команды Red Sox было отвратительным. Они только что вернулись из Нью-Йорка, где проиграли все три игры серии ненавистным соперникам – команде Yankees, что лишило их всех шансов на выигрыш титула чемпионов Восточного отделения Американской лиги[28] в 2009 г.

Если учитывать, что в рамках официальных соревнований оставалось всего лишь семь игр, команда Red Sox была практически уверена, что сможет выйти в плей-офф, получив доступ в него от руководства Американской лиги[29]. Однако ни команда, ни ее руководители не хотели завершать сезон подобным образом. Хотя статистические исследования и показывают, что успешное или неуспешное завершение официального периода соревнований никак не сказывается на результатах команд в плей-офф{190}, игроки Red Sox почувствовали, что это не их год.

Я направлялся в Фенвей-парк[30], чтобы поговорить со звездой Red Sox – игроком второй базы[31] Дастином Педройя. Он был одним из моих самых любимых бейсболистов еще с 2006 г., когда PECOTA (система прогнозирования, разработанная мной для организации Baseball Prospectus) предсказала, что он станет одним из лучших игроков в бейсбол. Предсказание PECOTA противоречило мнению многих скаутов, считавших Педройю «недостаточно развитым физически»{191}, критиковавших его за неправильную осанку и слишком широкий замах битой и приходивших к выводу, что он будет довольно посредственным игроком. Если PECOTA оценивала в 2006 г. Педройю как четвертого в списке потенциальных звезд бейсбола{192}, то издание Baseball America, традиционно уделяющее большое внимание точке зрения скаутов, поместило его на 77е место. И подобное отношение к этому игроку было распространено достаточно широко{193}. Взять хотя бы отчет Кита Лоу из ESPN[32]{194}, составленный в самом начале карьеры Педройи:

Дастин Педройя не обладает ни силой, ни той скоростью удара, которые позволили бы ему оказаться в основной лиге, и ему недостает мощности. Если его показатель результативности (хит[33]) будет на уровне 0,260, то он сможет оказаться полезным, и, возможно, у него появится какое-то будущее в роли запасного игрока на внутреннем поле – если только он перестанет постоянно перебегать на третью базу и ловить там мячи.

Лоу опубликовал этот комментарий 12 мая 2007 г. На тот момент показатель результативности Педройи составлял 0,247, и на его счету был лишь один хоумран[34]{195}. По правде говоря, я тоже начал утрачивать веру; внимательно понаблюдав за тем, как Педройя «выходит к бите», я начал думать, что он слишком переоценен[35].

Однако, будто пытаясь доказать неправоту тех, кто в нем сомневался, Педройя начал творить чудеса. В течение следующих 15 игр он достиг невероятного показателя – 0,472, в результате его среднее значение, снизившееся до 0,158 в апреле, поднялось до 0,336.