Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет Сильвер Нейт

Матрица

Мы уже давно умеем делать прогнозы погоды на основе чисто статистических наблюдений. Насколько велика вероятность того, что завтра пойдет дождь, с учетом того, что он шел сегодня? Метеоролог мог бы изучить все такие случаи, связанные с дождями, собранные в его базе данных, и дать ответ на этот вопрос. Или же он мог бы изучить долгосрочные средние значения и сказать нам о том, что в марте в Лондоне дождь идет примерно 35 % времени{251}.

Проблема состоит в том, что предсказания такого рода не особенно полезны – они недостаточно точны для того, чтобы порекомендовать вам взять с собой с утра зонтик, не говоря уже о прогнозировании движения урагана. Поэтому метеорологи пошли по иному пути. Вместо статистической модели они хотели создать живую и дышащую модель, имитирующую физические процессы, которые управляют погодой.

Однако наша способность делать прогнозы погоды на основе расчетов куда слабее, чем наше теоретическое понимание. Мы знаем, какие уравнения надо решить, и примерно представляем себе верные ответы, однако нам недостаточно быстродействия для того, чтобы произвести расчеты для каждой молекулы в земной атмосфере. Вместо этого нам приходится заниматься аппроксимацией.

Самый интуитивно понятный метод для этого случая – упрощение проблемы за счет разбиения атмосферы на конечное количество наборов пикселей – метеорологи часто называют такую систему матрицей, решеткой или сеткой. По данным Лофта, первые заслуживающие внимания попытки работы в этом направлении были сделаны в 1916 г. Льюисом Фраем Ричардсоном, знаменитым британским физиком. Ричардсон хотел определить погоду над Северной Германией в определенное время – в 13 ч 20 мая 1910 г. Строго говоря, это нельзя назвать предсказанием, поскольку этот день уже прошел. Однако в распоряжении Ричардсона имелось много данных – о температуре, атмосферном давлении и скорости ветра, – собранных германским правительством. И у него было достаточно времени, поскольку он служил медиком-добровольцем и оставался без дел в перерывах между артиллерийскими канонадами. Поэтому Ричардсон разбил территорию Германии на ряд двумерных секторов размерами по три градуса широты (около 340 км) на три градуса долготы (рис. 4.1). Затем он приступил к работе, пытаясь решить химические уравнения, определявшие погоду в каждом секторе, и то, каким образом они влияют на погоду в соседних.

К сожалению, эксперимент Ричардсона бесславное провалился{252} – он «предсказал» серьезный рост атмосферного давления, в реальности же в тот день это не наблюдалось. Однако Ричардсон тем не менее опубликовал свои результаты. Этот метод определенно казался правильным методом предсказания погоды – Ричардсон считал, что следует не полагаться на грубые статистические приближения, а выявить некие основные принципы и воспользоваться глубоким теоретическим пониманием поведения системы.

Рис. 4.1. Матрица Ричардсона – прообраз современной системы прогнозирования погоды

Проблема состояла в том, что метод Ричардсона требовал выполнения огромного объема работы. Для решения поставленных им задач были нужны компьютеры. Как вы увидите в главе 9, компьютеры не каждую из поставленных им задач могут выполнить и далеко не всегда служат панацеей в процессе предсказания. Однако компьютеры идеальны с точки зрения вычислений – то есть быстрого и точного многократного повторения одних и тех же арифметических задач. Они отлично подходят для решения шахматных задач, подчиняющихся довольно простым правилам, но сложных с точки зрения вычислений. Сходные задачи имеются и в области метеорологии.

Первый компьютерный прогноз погоды создал в 1950 г. математик Джон фон Нейман, который использовал для этого машину, способную осуществлять порядка 5000 вычислений в секунду{253}. Расчет происходил намного быстрее, чем мог сделать Ричардсон с карандашом и листом бумаги на французском деревенском поле. Тем не менее прогноз оказался неудачным, и его результаты оказались не намного точнее обычной случайной догадки.

Со временем, к середине 1960х гг., компьютеры начали демонстрировать определенные навыки в прогнозировании погоды. Так, Bluefire, выдающий результаты примерно в 15 миллиардов раз быстрее, чем первый компьютерный прогноз (и, возможно, в квадрильон раз быстрее, чем Ричардсон), дает нам куда более осмысленные результаты благодаря скорости вычислений.

Прогнозы погоды в наши дни значительно чаще бывают верными, чем 15 или 20 лет назад. Однако, если скорость вычислений в последние десятилетия увеличивалась по экспоненте, прогресс в точности прогнозов погоды был хотя и стабильным, но медленным.

Можно назвать две основные причины сложившейся ситуации. Первая связана с тем, что мир имеет не одно и не два измерения. Самый надежный способ повысить правильность прогноза погоды – то есть на один шаг приблизиться к пониманию поведения каждой молекулы – состоит в уменьшении размера сетки, используемой для отображения атмосферы. Сектора Ричардсона имели размер 340 на 340 км, обеспечивая в лучшем случае слишком масштабный взгляд на планету (в квадрат 340 на 340 км можно почти полностью вместить Нью-Йорк и Бостон – города, в которых может быть совершенно разная погода). Предположим, вы хотите в два раза уменьшить площадь секторов, до 170 на 170 км. Благодаря этому ваш прогноз станет более точным, но при этом увеличится количество уравнений, которые вам надо решить. В реальности количество уравнений вырастет не в два, а в четыре раза, поскольку вы уменьшаете масштаб и по длине, и по ширине. Иными словами, для того чтобы решить такую задачу, вам нужно примерно в 4 раза увеличить вычислительную мощность.

Однако вам нужно учитывать не только эти два измерения. В верхних слоях атмосферы могут проявляться одни закономерности, а в нижних слоях, над океанами и у поверхности Земли – совершенно иные. В трехмерной вселенной двукратное увеличение разрешения нашей сетки потребует восьмикратного повышения вычислительной мощности. Кроме этого, имеется и четвертое измерение – время. Если метеорологическая модель статична, в ней нет никакого толка – самое главное для нас состоит в том, чтобы знать, как меняется погода в каждый момент времени. Шторм движется со скоростью примерно 40 миль в час – если размеры вашей сетки составляют 404040, то вы можете отслеживать его движение, собирая наблюдения каждый час. Однако если вы уменьшите размер сетки до 202020, то шторм будет перемещаться из ячейки в ячейку каждые полчаса. Это значит, что вам нужно уменьшить в два раза и временной интервал, то есть вам потребуется в 16 раз больше вычислительных мощностей, чем изначально.

Но если бы эта проблема оказалась единственной, то ее вполне можно было бы решить. Хотя вам нужно, грубо говоря, в 16 раз увеличить вычислительную мощность, чтобы удвоить разрешение прогноза погоды, сама вычислительная мощность растет по экспоненте, удваиваясь примерно каждые два года{254}. Это значит, что вам нужно подождать всего восемь лет, и тогда ваш прогноз станет в два раза точнее; интересно, что NCAR обновляет свои суперкомпьютеры примерно с такой же частотой.

Предположим, что вам удалось разобраться с законами динамики движения жидкостей, которым подчиняются погодные системы. Они в целом следуют ньютоновским законам. Вам не будет особенно мешать и принцип неопределенности, интересный для физиков. Вы получили доступ к компьютерному шедевру типа Bluefire. Вы наняли Ричарда Лофта для проектирования и тестирования компьютерных программ. Что же еще может пойти не так в этом случае?

Почему теория хаоса так напоминает безумие

Итак, с чем может быть связана очередная ваша проблема? С теорией хаоса. Возможно, вам доводилось слышать выражение «взмах крыльев бабочки в Бразилии может привести к торнадо в Техасе». Изначально это было частью заглавия научной работы{255}, представленной в 1972 г. преподавателем Массачусетского технологического института Эдвардом Лоренцем, который начинал свою карьеру как метеоролог. Теория хаоса применима в отношении систем, для которых справедливы два утверждения:

1) системы динамичны, что означает, что поведение системы  один момент времени влияет на ее поведение в будущем;

2) системы нелинейны, иными словами, в них поддерживаются скорее экспоненциальные, а не аддитивные связи.

Динамические системы доставляют специалистам по прогнозированию немало проблем. Примером может служить описанный в главе 6 факт, свидетельствующий о том, что американская экономика постоянно вызывает цепную реакцию событий, что и является одной из причин, по которым ее развитие так сложно предсказать. Развитие при этом остается нелинейным: ценные бумаги, обеспеченные закладными, стимулировавшие начало финансового кризиса, были разработаны таким образом, что небольшие изменения в макроэкономических условиях значительно повышали риск дефолта по ним.

Совмещая все эти параметры, вы получаете на выходе настоящую неразбериху. Сам Лоренц не понимал, насколько масштабны эти проблемы, до тех пор пока (следуя той же традиции, что и Александр Флеминг и пенициллин{256} или команда «Нью-Йорк Никс» и баскетболист Джереми Лин) он не сделал свое открытие, причем совершенно случайно.

Лоренц и его команда разрабатывали программу прогнозирования погоды на одном из первых компьютеров, известном как Royal McBee LGP-30{257}. Исследователи полагали, что все идет как надо, но лишь до тех пор, пока компьютеры не начали выдавать совершенно бессмысленные результаты.

Они начали еще раз анализировать, почему так получается, что, вводя в точности те же самые, как они считали, данные, после запуска программы на выходе в качестве результата они получают в одном случае – чистое небо над Канзасом, а в другом – сведения о надвигавшемся шторме.

После нескольких недель, проведенных за проверкой оборудования и программ, Лоренц и его команда поняли, что исходные данные не были в точности одинаковыми: один из техников не вводил в систему цифры после третьего знака после запятой. Например, вместо того чтобы вводить в одно из полей сетки значение атмосферного давления, равное 29,5168, в расчетах использовалось число 29,517. Неужели вся разница возникла именно из-за этого?

Лоренц понял, что это действительно так. Один из основных постулатов теории хаоса гласит, что небольшое изменение в начальных условиях – бабочка машет крыльями в Бразилии – может привести к масштабному и неожиданному развитию последующих событий – торнадо в Техасе.

Это не значит, что поведение системы случайно, как можно было бы считать, увидев слово «хаос». Более того, теория хаоса отнюдь не является проявлением одного из следствий знаменитого Закона Мерфи («если что-то может пойти не так, оно обязательно пойдет не так»). Это всего лишь значит, что поведение систем определенного типа достаточно сложно предсказать.

Проблема возникает тогда, когда наши данные не совсем точны (или неточны наши предположения, как в случае ценных бумаг, обеспеченных закладными). Представьте себе, что мы должны были сложить вместе 5 и 5, однако неправильно взяли второе число. Вместо того чтобы сложить 5 и 5, мы сложили 5 и 6. Это получим 11, хотя правильный ответ равен 10. Мы ошибемся, но ненамного: сложение, как линейное действие, умеет прощать. Куда хуже будут обстоять дела в том случае, когда мы возводим число в степень. Если вместо того, чтобы рассчитать значение 5⁵, равное 3215, мы рассчитаем 5⁶, то получим в результате 15 625. И это уже серьезная ошибка – мы промахнулись на 500 %.

Значимость подобных неточностей существенно возрастает, когда речь идет о динамическом процессе, при котором результат вычислений одного этапа становится входящими данными следующего. Например, предположим, что нам нужно рассчитать, чему будет равно пять в шестой степени, а затем возвести полученное значение в пятую степень. Если мы допустим ту же ошибку, что и выше, и заменим вторую цифру 5 на 6, то ошибка в окончательном результате увеличится примерно в 3000 раз{258}. Влияние небольшой и, на первый взгляд, тривиальной ошибки становится все больше и больше.

Изменения погоды представляют собой проявление динамической системы, а уравнения, описывающие движение атмосферных газов и жидкостей, нелинейны (чаще всего это дифференциальные уравнения){259}. Таким образом, теория хаоса явным образом применима к прогнозированию погоды, а следовательно, наши прогнозы оказываются в высшей степени уязвимы к неточностям в исходных данных.

Иногда эти неточности возникают в результате человеческой ошибки. Еще большая фундаментальная проблема состоит в том, что мы можем наблюдать за окружающим нас миром лишь с определенной степенью точности. Ни один термометр не идеален, и ошибка в его показаниях в третьем или даже четвертом знаке после запятой может оказать огромное влияние на прогноз.

На рис. 4.2 показаны результаты, полученные после 50 запусков программ, моделирующих прогноз погоды для Франции и Германии на сочельник 1999 г. Все модели используют одни и те же программы и основаны на одних и тех же предположениях о поведении погоды. Фактически эти модели являются детерминистическими: в них заложено допущение, что если мы в полной мере знаем все изначальные параметры, то можем создать идеальный прогноз. Однако небольшие различия во входных параметрах способны привести к огромным отличиям в результатах, полученных на выходе. В Европейском центре метеорологических прогнозов пытались принять во внимание эти ошибки. В одном из процессов имитационного моделирования закладывалось условие, что атмосферное давление в Ганновере подвергалось лишь незначительным колебаниям. В другом менялись характеристики ветра в Штутгарте, причем на долю процента. Однако даже таких небольших изменений может быть достаточно для того, чтобы в одних прогнозах говорилось об урагане в Париже, а в других – о тихом зимнем вечере.

Рис. 4.2. Результаты расчетов прогноза погоды с немного различающимися начальными условиями

Именно такие модели и используют для создания современных прогнозов погоды. Небольшие изменения, сознательно добавляемые в модель для имитации неопределенности в качестве данных, превращают детерминистический прогноз в вероятностный. Допустим, если ваш местный метеоролог говорит о том, что вероятность дождя на следующий день составляет 40 %, это можно понимать и так, что результаты расчетов используемых им моделей в 40 % случаев говорят о том, что ожидается предштормовое состояние, а в 60 % случаев – при использовании лишь незначительно измененных начальных параметров – результат противоположный.

Но на практике все не так просто. Программы, которые метеорологи используют для прогнозирования погоды, довольно хороши, но не идеальны. Прогнозы, которые вы слышите постоянно, представляют собой комбинацию компьютерных расчетов и человеческого суждения. Порой люди способны улучшить компьютерные прогнозы, а порой – ухудшить их.

Важность видения

Здание World Weather Building – довольно уродливое сооружение в стиле 1970х гг., выкрашенное в цвет ириски и расположенное в Кэмп-Спрингз, штат Мэриленд, примерно в 20 минутах езды от Вашингтона.

Здесь находится штаб-квартира NOAA (National Oceanic and Atmospheric Administration – Национального управления по исследованию океанов и атмосферы) – материнской организации Национальной службы погоды (National Weather Service, NWS), входящей в состав правительственных служб{260}. В отличие от зданий NCAR в Булдере, расположенных в живописном уголке Скалистых гор, это здание заставляет думать исключительно о бюрократии.

Изначально Служба погоды была организована в 1879 г. в структуре военного ведомства Соединенных Штатов президентом Улиссом С. Грантом. Отчасти это было связано с убежденностью президента Гранта в том, что только культура, основанная на военной дисциплине, обеспечит должный уровень точности прогнозирования{261}, а отчасти с тем, что это предприятие выглядело настолько безнадежным, что заниматься им имело смысл лишь во время военных действий, когда вы пробуете все, что угодно, для достижения военного перевеса.

Широкая публика заинтересовалась вопросами прогнозирования погоды после знаменитой «Школьной метели» (Schoolhouse Blizzard). В сравнительно теплый день 12 января 1888 г. на Великих Равнинах температура воздуха упала за несколько часов почти на 30 °, и вдруг началась ослепляющая метель{262}. Сотни детей, вышедших из школы, попали в эту снежную бурю по дороге домой и умерли от переохлаждения. Несмотря на неточность ранних прогнозов погоды, все надеялись, что эта служба поможет хоть как-то предупредить о столь значительных колебаниях температуры. Соответственно, Национальная служба погоды была переведена в структуру департамента сельского хозяйства и начала заниматься более мирными делами[66].

История происхождения Службы погоды до сих пор проявляется в культуре организации. Специалисты по прогнозированию погоды работают в ней круглыми сутками за довольно скромную оплату{263} и воспринимают себя важными государственными служащими. Метеорологи, с которыми я встретился в Кэмп-Спрингз, были настоящими патриотами, редко упускавшими возможность напомнить мне о важности прогнозов погоды для работы сельскохозяйственных ферм, небольших бизнесов, авиакомпаний, энергетического сектора, воинских подразделений, сектора общественных услуг, площадок для гольфа, организации пикников и экскурсий для школьников – прогнозов, которые можно было бы получить за копейки. (NWS удается работать с бюджетом, составляющим всего 900 млн долл. в год{264}, то есть примерно 3 долл. на каждого гражданина США. И это несмотря на то что погода напрямую влияет примерно на 20 % экономики страны{265}.)

Одним из тех метеорологов, с которыми мне удалось встретиться, был Джим Хоук – директор центра гидрометеорологического прогнозирования NWS. Хоук проработал в этой области около 35 лет, занимаясь и вычислительной стороной процесса (он помогал выстраивать компьютерные модели, которые используют его прогнозисты), и операционной (создавая эти прогнозы и сообщая их широкой публике). И, благодаря этому, он достаточно хорошо представляет себе, как взаимодействуют люди и машины в мире метеорологии.

Так что же конкретно люди могут делать лучше, чем компьютеры, способные обрабатывать данные со скоростью 77 терафлоп[67]? Они обладают видением. Хоук отвел меня на этаж прогнозирования, заставленный рабочими станциями, около каждой из которых видела табличка с пояснением типа «военно-морской центр прогнозов» или «центр прогнозов на национальном уровне». Каждая станция управлялась одним-двумя метеорологами, а рядом с каждым из них имелась целая армада жидкокристаллических мониторов с полноцветными картами всевозможных типов погодных данных для каждого уголка страны.

Прогнозисты работали тихо и быстро, с точностью, о которой, наверное, и мечтал Грант{266}.

Некоторые из прогнозистов рисовали на этих картах световыми указками, тщательно корректируя контуры температурных градиентов, созданных компьютерными моделями, – 25 миль к западу в сторону дельты Миссисипи, 50 миль к северу в направлении озера Эри. Постепенно, шаг за шагом они приводили карты к желанному платоническому идеалу.

Прогнозисты отлично представляют себе недостатки компьютерных моделей. Это возникает неминуемо, поскольку, как следует из теории хаоса, даже самая тривиальная ошибка в модели может привести к значительным последствиям. Возможно, компьютер оказывается слишком консервативным при прогнозировании ночных дождей в Сиэтле, когда над заливом Пьюджет-Саунд образуется зона низкого давления. Возможно, он не знает, что при одном направлении ветра туман в национальном парке Акадия в Мэйне рассеивается к восходу солнца, при другом – может остаться до середины дня.

Подобные вещи прогнозисты понимают со временем, учась обходить недостатки модели, наподобие того как опытный игрок в пул привыкает обходить слепые зоны бильярдного стола в местном баре.

Уникальным ресурсом этих прогнозистов было и остается их умение видеть. Этот инструмент важен в любой дисциплине – визуальное изучение графика, показывающего взаимодействие между двумя переменными, часто оказывается более быстрым и более надежным способом выявить странные искажения данных, чем статистический тест. Это также одна из тех областей, в которых компьютеры сильно отстают от человеческого мозга. Стоит немного изменить последовательность букв – как в случае технологии CAPTCHA[68], часто использующейся для противостояния спаму в качестве средства защиты паролей (рис. 4.3), – и даже самые «толковые» компьютеры начинают смущаться. Они воспринимают информацию слишком буквально. Они неспособны распознать закономерность, подвергшуюся даже небольшой манипуляции. Люди же, в силу эволюционной необходимости, обладают мощными визуальными способностями. Они быстро отсеивают любые искажения закономерностей и могут распознать такие абстрактные вещи, как закономерности и организация, то есть то, что оказывается особенно важным в различных типах погодных систем.

Рис. 4.3. Пример теста CAPTCHA

На самом деле, в старые времена, когда метеорологические компьютеры были еще не особенно полезными, прогнозирование погоды представляло собой почти полностью визуальный процесс. Вместо дисплеев в офисах стояли столы с подсветкой, на которых лежали карты. Метеорологи корректировали рисунки на картах с помощью мелков или цветных карандашей. Хотя последняя доска с подсветкой была отправлена в отставку уже много лет назад, дух этого метода живет и в наши дни.

По словам Хоука, самые квалифицированные синоптики-прогнозисты должны обладать способностью думать визуально и абстрактно, но в то же самое время им необходимо разбираться с огромными массивами информации, которой снабжает их компьютер. Более того, они должны понимать динамическую и нелинейную природу изучаемой ими системы. Это непростая задача, требующая тщательного использования и правого, и левого полушарий. Многие из прогнозистов могли бы стать хорошими инженерами или программистами с куда большей зарплатой, однако они сознательно решают стать метеорологами.

NWS постоянно отслеживает два типа данных: первый показывает, насколько хорошо компьютеры справляются в одиночку, а второй оценивает долю человеческого вклада. Судя по статистическим данным, люди способны улучшить правильность компьютерных прогнозов выпадения осадков примерно на 25 %{267}, а прогнозов погоды – примерно на 10 %{268}.

Более того, согласно Хоуку, эти сравнительные данные практически не менялись со временем: какой бы прогресс ни происходил в компьютерных технологиях, люди-прогнозисты могут еще лучше повысить их ценность. Видение стоит дорогого.

Вероятность погибнуть от удара молнии становится все меньше

Когда Хоук только начинал начал свою карьеру в середине 1970х, анекдоты о синоптиках были недалеки от истины. Например, в прогнозах погоды NWS, сделанных за три дня, максимальное отклонение от прогнозируемой температуры достигало примерно 6 ° F (рис. 4.4). Это ненамного лучше, чем в случае составления прогноза на основе обычного изучения таблицы долгосрочных средних значений. Однако партнерство между человеком и машиной способно принести немалые дивиденды. В наши дни средняя величина ошибки составляет примерно 3,5 ° F – иными словами, она стала примерно наполовину меньше. Также синоптикам удается значительно лучше предсказывать аномальные погодные явления.

Что делает прогноз хорошим?

«Разумеется, ученого-исследователя не казнят на месте за просмотр Weather Channel, однако многие из них делают это за закрытыми дверями», – рассказал мне доктор Брюс Роуз, приветливый научный руководитель и вице-президент Weather Channel (TWC).

По словам Роуза, у него не было намерения утверждать, что прогнозы TWC лучше правительственных, они просто были другими – в большей степени ориентированными на нужды типичного потребителя.

«Модели обычно не оцениваются по тому, насколько хорошо они предсказывают те или иные практически важные параметры погоды, – продолжает он. – Для жителей Нью-Йорка на самом деле важно, что ожидает их на улице – залитые водой мостовые после ливня или снеговой покров толщиной 10 см{273}. С точки зрения потребителя, различие огромно, а вот для ученых это не всегда интересно».

На самом деле, значительная доля времени доктора Роуза уделяется прагматичным и даже отчасти банальным проблемам, связанным с тем, как потребители интерпретируют его прогнозы. Например, он задается вопросом, как разработать алгоритмы, позволяющие исходные данные о погоде выразить понятно. Что может означать выражение очень холодно? А вероятность порывистого ветра? Где проходит различие между переменной облачностью и преимущественно пасмурной погодой? Weather Channel должна в этом хорошо разбираться, а Роузу приходится создавать формальные правила, поскольку компания выпускает настолько много прогнозов, что способ их подачи необходимо разрабатывать чуть ли не для каждого случая.

Иногда необходимость адаптировать прогноз к потребностям клиента может принимать комические формы. На протяжении многих лет Weather Channel показывал дождь на своих радарных картах зеленым цветом (иногда сопровождаемым желтыми и красными участками, обозначавшими особенно сильные штормы). В какой-то момент в 2001 г. кому-то из отдела маркетинга пришла в голову гениальная идея выкрасить дождь в синий цвет – что показалось тогда разумным и напоминало естественный цвет воды. Довольно быстро на Weather Channel обрушился вал телефонных звонков разгневанных, а порой и напуганных потребителей: некоторые из них ошибочно приняли синие облака за прежде неизвестный вид осадков (плазменные облака? радиоактивные выбросы?). «Кто-то даже посчитал это последствием ядерного взрыва, – рассказал мне доктор Роуз. – Люди писали нам: “Вы многие годы говорили нам о том, что дождь имеет зеленый цвет, а теперь он оказался синим? Это что еще за выкрутасы?”»

Но, несмотря на все эти анекдотические истории, Weather Channel относится к метеорологии очень серьезно. По крайней мере, в теории, и есть основания думать, что эта компания способна сделать более качественный прогноз, чем правительство. В конце концов, Weather Channel, использует все исходные данные, полученные из правительственных источников, в качестве отправной точки, а затем учитывает и всю ту ценную информацию, которую они в состоянии получить своими силами.

Вопрос заключается в следующем: какой прогноз считать «лучшим»? Я бы сказал просто – лучшим является самый точный прогноз. Однако я знаю о нескольких конкурирующих между собой идеях в области прогнозирования погоды.

В известном эссе 1993 г.{274}, написанном Алланом Мерфи (работавшим в то время метеорологом в Университете штата Орегон), утверждалось, что в сообществе прогнозистов погоды имеются целых три определения качества прогноза. Мерфи не утверждал, что то или иное определение лучше остальных; скорее, он пытался начать более открытое и честное их обсуждение. Версии этих определений могут применяться почти в любой области, где нужны прогнозы или предсказания.

Первый (и, возможно, самый очевидный) способ оценки прогноза, писал Мерфи, связан с тем, что он сам называл «качеством», но, пожалуй, его лучше определить как правильность. Иными словами, оценивается ответ на вопрос, соответствовала ли реальная погода прогнозу?

Второй способ обозначен словом «последовательность», но я считаю, что в данном случае чаще подходит слово честность. Даже если прогноз оказался достаточно точным, был ли это лучший прогноз, на который способен прогнозист в то время? Отражал ли он самые наилучшие из имевшихся суждений и модифицировали ли его каким-либо образом перед тем, как представить публике?

И, наконец, Мерфи говорил об экономической ценности прогноза. Способствовал ли он принятию общественностью и политиками более правильных решений?

Проведенное Мерфи различие между правильностью и честностью не сразу очевидно, однако крайне важно. Когда созданный мной прогноз оказывается неверным, я часто спрашиваю себя, был ли это лучший вариант прогноза, который я мог бы дать с учетом имевшихся у меня на тот момент данных. Иногда я считаю, что этак: мой мыслительный процесс оказался верным, я провел все необходимые исследования, выстроил хорошую модель и точно указал, какая доля неопределенности присутствует в прогнозе. В других же случаях я обнаруживал, что мне не нравится моя собственная работа. Иногда я слишком быстро отказывался от ключевых элементов исследования. Иногда я переоценивал степень предсказуемости проблемы. Иногда у меня возникали какие-то другие предубеждения или неверные стимулы.

Я не хочу сказать, что вы должны ругать себя всякий раз, когда ваш прогноз оказывается неверным. Напротив, признаком того, что вы делаете хороший прогноз, является то, что вы полностью принимаете то, как развиваются события, понимая, что не все из них вы можете непосредственно контролировать. Однако у вас всегда есть возможность спросить себя о том, какие цели вы имели, принимая свое решение.

В долгосрочной перспективе заявленные Мерфи цели правильности и честности должны сходиться друг с другом, когда у нас имеются правильные стимулы. Однако так бывает не всегда. Например, не исключено, что политических комментаторов из McLaughlin Group больше волновало желание казаться толковыми на экране телевизора, чем создание правильных предсказаний. Возможно, что они вели себя вполне рационально. Однако если они сознательно делали плохие прогнозы, поскольку хотели произвести приятное впечатление на представителей той или иной партии, или же хотели вновь оказаться на шоу, то можно считать, что они провалили тест Мерфи на честность.

Третий критерий Мерфи – экономическая ценность прогноза – способен запутать нас еще сильнее. Разумеется, мы вполне можем согласиться с доктором Роузом в том, что прогнозы для городов могут заслуживать большего внимания – допустим, если температура воздуха находится около точки замерзания и осадки могут принять форму дождя, льда или снега, каждый из которых может по-разному влиять на безопасность и транспортировку жителей.

Однако это, скорее, связано с тем, на чем Weather Channel концентрирует свои ресурсы и чему уделяет основное внимание. Это не значит, что иногда под сомнение ставится правильность или честность прогноза. Многие газеты стремятся к тому, чтобы каждая опубликованная в них статья была точной и честной, однако им все равно необходимо принимать решение о том, какие материалы поместить на первую полосу. Weather Channel должен принимать аналогичные решения, и экономическое влияние прогноза – это вполне разумная основа для них.

Впрочем, бывают времена, когда цели начинают конфликтовать между собой и коммерческий успех оказывается важнее правильности.

Когда конкуренция приводит к тому, что прогнозы становятся хуже

Существуют два основных теста, которые должен пройти любой прогноз погоды, чтобы доказать свою состоятельность.

1. Он должен оказаться лучше, чем тот, что следует из так называемого метеорологами постоянства: то есть из предположения о том, что завтра (и в последующие дни) погода будет такой же, как и сегодня.

2. Он должен оказаться лучше, чем тот, что следует из климатологии, то есть лучше прогноза, сделанного на основе анализа долгосрочных исторических средних климатических условий на конкретную дату в конкретном месте.

Эти методы были доступны нашим предкам задолго до того, как на сцене появились Ричардсон, Лоренц и суперкомпьютер Bluefire; если мы не можем улучшить их результаты, то все дорогостоящие вычислительные мощности просто не выполняют свою работу.

У нас есть масса данных о том, какой была погода в прошлом, начиная еще со времен Второй мировой войны. Например, я могу зайти на сайт Wunderground.com и узнать, что в 13 января 1978 г. в 7 часов утра в Лэнсинге, штат Мичиган, – в день и час моего рождения – температура была равна –8 °С, шел небольшой снег и дул северо-восточный ветер{275}. Однако сравнительно немного людей занималось сбором данных о прогнозах погоды из прошлого. Ожидался ли в то утро в Лэнсинге снег? Это был один из тех немногих элементов информации, который можно было бы рассчитывать найти в интернете, но его там нет.

В 2002 г. предприниматель по имени Эрик Флер, выпускник факультета вычислительной техники Университета штата Огайо, работавший на MCI, перевернул все с ног на голову. Он попросту стал собирать данные о прогнозах, выпущенных NWS, Weather Channel и AccuWeather, чтобы понять, какая модель прогноза более точна – правительственная или частная. Сначала он занялся этим исключительно для самообразования – он проводил своего рода широкомасштабный научный проект, – однако это увлечение довольно быстро превратилось в прибыльный бизнес с названием ForecastWatch.com, в рамках которого данные переупаковываются в модернизированные по заказам пользователей отчеты для клиентов, начиная от трейдеров на энергетическом рынке (для которых изменение температуры на долю градуса приравнивается к десяткам тысяч долларов) и заканчивая учеными.

Флер обнаружил, что явного победителя выявить не удается. Его данные показывали, что AccuWeather чуть лучше других удаются прогнозы по осадкам, Weather Channel – прогнозы по температуре, а прогнозы правительства достаточно точны во всем остальном. То есть в целом все прогнозы были достаточно хороши.

Но чем больше оказывался период прогнозирования, тем менее точными становились прогнозы (рис. 4.6). Допустим, прогнозы, создаваемые за восемь дней, достаточно хороши с точки зрения постоянства, однако не намного лучше климатологических.

А если интервал прогнозирования составляет девять и более дней, все профессиональные прогнозы оказывались стабильно хуже климатологических данных.

Лофт рассказывал мне, что в тех случаях, когда период прогнозирования даже немного превышает неделю, теория хаоса начинает брать верх над всем остальным, и динамическая память атмосферы полностью стирается. Хотя приведенная ниже аналогия вряд ли может считаться совершенно точной, она помогает нам подумать об атмосфере как о трассе для гонок NASCAR, в которой различные погодные системы представлены отдельными автомобилями. После первой пары десятков кругов по трассе и при условии знания стартового порядка машин мы можем сделать довольно неплохое предсказание порядка, в котором они будут проезжать мимо нас. Наши предсказания не будут идеальными: на них повлияют и неожиданные поломки, и пит-стопы, и заглохшие моторы, – но наш прогноз будет значительно лучше случайно выбранной последовательности.

Как понять, что ваш прогноз неверен

Один из самых важных тестов любого прогноза – и я бы даже сказал, что самый важный{280}, – носит название калибровки. Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40 %? Если в долгосрочной перспективе дождь действительно шел примерно в 40 % случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60 % случаев, о хорошей калибровке говорить не приходится.

Во многих областях добиться хорошей калибровки непросто. Для ее применения требуется, чтобы вы думали в понятиях вероятности, а это не очень хорошо получается у большинства из нас (включая и большинство «экспертов»-прогнозистов). По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов. Помимо этого, оценка предполагает изучение большого объема данных, то есть сотен созданных прогнозов[70].

Метеорологи вполне соответствуют этому стандарту. Они ежедневно прогнозируют температуру и вероятность дождя и других осадков в сотнях городов. В течение любого года они создают десятки тысяч прогнозов.

Подобная высокая частота прогнозов невероятно полезна не только в тех случаях, когда мы хотим оценить прогноз, но также и для самих прогнозистов – они будут получать заметную обратную связь, если делают что-то не так, а следовательно, и изменить свой курс. Например, некоторым компьютерным моделям свойственно проявлять небольшое искажение{281} – они прогнозируют дождь чаще, чем тот идет на самом деле. Однако как только вам становится известно об этом искажении, вы можете его скорректировать. Аналогичным образом вы можете довольно быстро понять, что ваши прогнозы чересчур оптимистичны.

Оказалось, что прогнозы Национальной службы погоды на удивление хорошо откалиброваны{282} (рис. 4.7). Когда в ее прогнозе говорится, что вероятность дождя составляет 20 %, он действительно идет в 20 % случаев. Эта служба хорошо воспользовалась обратной связью, и ее прогнозы достаточно точны и честны.

Конус хаоса

Макс Мэйфилд сообщил Конгрессу, что он готовился к тому, что ураган, подобный «Катрине», может обрушиться на Новый Орлеан, почти всю свою 60-летнюю жизнь{286}. Мэйфилд вырос в жестких погодных условиях – в Оклахоме, сердце «Аллеи Торнадо» – и начал свою карьеру в области прогнозирования в Военно-воздушных силах, где люди серьезно относятся к риску и создают настоящие боевые планы для противостояния неблагоприятным погодным условиям. Ему потребовалось немало времени, чтобы понять, насколько сложно для Национального центра слежения за ураганами доносить свои прогнозы до широкой публики.

«После урагана “Хьюго” в 1989 г., – вспоминал Мэйфилд, растягивая слова, как истинный уроженец Оклахомы, – я беседовал с ученым из Университета штата Флорида, изучающим проблемы поведения людей. По его словам, люди не реагируют на предупреждения об ураганах. Я почувствовал себя оскорбленным этим замечанием – разумеется, они это делают. Однако впоследствии я понял, что он абсолютно прав. Люди не реагируют на одну лишь фразу “предупреждение об урагане”. Они внимательно относятся к тому, что слышат от местных властей. Вам наверняка бы не понравилось, если бы синоптик или телевизионный диктор принимал решения о том, когда открывать убежища или менять схему дорожного движения».

Под руководством Мэйфилда Национальный центр по слежению за ураганами начал обращать значительно больше внимания на то, как он представлял свои прогнозы. В отличие от сайтов большинства правительственных учреждений, которые выглядят так, будто не обновлялись с первых дней существования интернета, центр уделяет огромное внимание дизайну своих продуктов и создает множество ярких и привлекательных графиков, позволяющих точно и интуитивно уловить информацию по разнообразным параметрам, начиная от скорости ветра и заканчивая силой возможного шторма.

Также Центр слежения за ураганами немало заботится о том, как представлять неопределенность в своих прогнозах. «Неопределенность – это фундаментальный компонент предсказания погоды, – сказал Мэйфилд. – Никакой прогноз не будет полным без описания этой неопределенности в той или иной форме». Вместо того чтобы показывать линию для предсказанной траектории урагана, их графики изображают конус неопределенности. «Некоторые люди называют его конусом хаоса», – рассказывает Мэйфилд. Конус показывает диапазон территории, где, вероятнее всего, приземлится глаз урагана{287}. Но Мэйфилда волнует то обстоятельство, что даже этого недостаточно. Такие важные проблемы, как внезапное наводнение (которое порой бывает чуть ли не опаснее самого урагана), может произойти далеко от центра шторма и значительно позже снижения пиковой скорости ветра. Ни один человек в Нью-Йорке не умер от последствий урагана «Ирен» в 2011 г., несмотря на массовый ажиотаж на тему урагана в СМИ, однако три человека погибли в результате наводнения в имеющем выход к морю Вермонте{288} после того, как телевизионщики выключили свои камеры.

Обычно Центр слежения за ураганами не издает руководств и указаний для местных официальных лиц, например, о способах проведения эвакуации жителей города. Вместо этого данная функция передается 122 местным офисам Национальной службы погоды, которые общаются с губернаторами и мэрами, шерифами и полицейским начальством. Официальная версия – местные власти смогут лучше понимать культуру и людей, с которыми им приходится сотрудничать. После разговора с Мэйфилдом я понял, что неофициальная причина состоит в том, что Центр хочет сохранить свою миссию максимально ясной. Он, и только он, издает прогнозы об ураганах, и ему важно, чтобы эти прогнозы были максимально точными и честными и исключали возможность появления любых потенциальных отвлечений от основной темы.

Однако такой подход – оставаться в стороне – не мог сработать в условиях Нового Орлеана. Мэйфилду было нужно поднять телефонную трубку.

Решения об эвакуации непросты отчасти и потому, что сама по себе эвакуация может оказаться смертельно опасной. Так, автобус с пациентами, эвакуированными из одной из больниц во время другого шторма 2005 г. (урагана «Рита»), попал в аварию и сгорел при выезде из Хьюстона, и в результате погибло 23 пожилых пассажира{289}. «Иметь дело с этими местными начальниками непросто, – говорит Мэйфилд. – Они смотрят на вероятностную информацию и превращают ее в решение. Идти или не идти. Да или нет. Они должны взять вероятностное решение и превратить его в нечто более конкретное».

В данном случае необходимость эвакуации была очевидной, однако сообщение никак не могло достигнуть адресата.

«У нас работал молодой человек по имени Мэттью Грин. Исключительный молодой человек с научной степенью в области метеорологии. Он координировал предупреждения местным властям. Его мать жила в Новом Орлеане. По какой-то причине она решила не покидать город. И вот представьте себе парня, который знает все об ураганах и управлении в кризисных ситуациях и даже не может эвакуировать собственную мать».

Поэтому Центр принялся обзванивать местных официальных лиц по всему побережью. В субботу 27 августа – после того, как прогноз ухудшился, но за два дня до того, как «Катрина» нанесла удар, – Мэйфилд разговаривал с губернатором штата Миссисипи Хейли Барбур, которая тут же распорядилась об обязательной эвакуации из самых уязвимых районов штата{290}, и губернатором штата Луизиана Кэтлин Бланко, объявившей чрезвычайное положение. Бланко сообщила Мэйфилду, что ему стоит позвонить Рэю Нэйджину, мэру Нового Орлеана, который реагировал на происходившее значительно медленнее.

Нэйджин пропустил звонок от Мэйфилда, однако перезвонил ему сам. «Не помню в точности, что я говорил, – рассказывал мне Мэйфилд. – За эти два-три дня мы общались с кучей людей. Однако я абсолютно уверен, что сказал ему о том, что ему нужно принять жесткое решение, потому что на кону стоят жизни многих людей». Мэйфилд посоветовал Нэйджину издать приказ об обязательной эвакуации, и сделать это максимально быстро.

Вместо этого Нэйджин издал документ о добровольной эвакуации. В его администрации царило настроение в духе «все в порядке», но лишь приказ об обязательной эвакуации мог помочь людям почувствовать всю силу угрозы{291}. Без проведения обязательной эвакуации большинство жителей Нового Орлеана просто не могло бы выжить, когда на город в 1965 г. обрушился ураган «Бетси». Те, кто пережил это бедствие, сформировали определенный иммунитет. «Если мне удалось выжить после “Бетси”, я смогу выжить и в следующий раз. Мы умеем справляться с ураганами», – рассказывал позднее официальным лицам пожилой житель города, решивший остаться{292}. Реакция такого рода была вполне типичной. Исследования последствий «Катрины» и других ураганов показали, что человек, переживший один ураган, с меньшей охотой будет эвакуироваться при угрозе нового урагана{293}.

Причины, по которым Нэйджин запоздал с изданием приказа об эвакуации, остаются предметом споров – по одной из версий, он беспокоился из-за того, что владельцы гостиниц могут подать иск против властей, обвинив их в нарушении нормального хода работы{294}. Как бы то ни было, он не объявлял об обязательной эвакуации до 11 часов утра воскресенья{295}. К этому моменту жители, не получившие четких указаний, уже находились в изрядном смятении. Одно из исследований показало, что примерно треть жителей, отказавшихся от эвакуации, не услышали приказа от властей. Еще одна треть услышала его, но посчитала, что в нем нет ясных инструкций{296}. Опросы людей, переживших стихийные бедствия, не всегда надежны – людям сложно выразить, почему они вели себя определенным образом в условиях серьезного эмоционального стресса{297}, и лишь некоторая доля населения всегда скажет о том, что не слышала приказа об эвакуации, даже если он выпущен достаточно рано и повторен несколько раз. Однако в данном случае Нэйджин нес прямую ответственность за значительную часть возникшего смятения.

Разумеется, всегда найдется, кого винить в проблемах, вызванных приходом «Катрины», – в дополнение к Нэйджину можно упомянуть и о роли FEMA[71]. Можно говорить о разной степени доверия к различным источникам – большинство людей эвакуировалось отчасти вследствие точного прогноза, сделанного Центром по слежению за ураганами. Если бы в результате урагана «Бетси» в 1965 г. до того, как появились более надежные прогнозы ураганов, были затоплены дамбы, то количество смертей в итоге могло бы оказаться значительно выше, чем после «Катрины».

Однако урок, который вытекает из опыта с «Катриной», состоит в том, что правильность – это лучшая политика для прогнозиста. С точки зрения прогнозов желание поставить политические соображения, личную славу или экономическое благосостояние выше истины прогноза можно считать настоящим смертным грехом. Иногда это делается с добрыми намерениями, однако всегда приводит к ухудшению прогноза. Центр по слежению за ураганами прикладывает огромные усилия, чтобы не позволять подобным обстоятельствам ставить под сомнение его прогнозы. И, возможно, не случайным является и тот факт, что в противовес всем примерам неудачных прогнозов, приведенных в этой книге, их собственные прогнозы улучшились на 350 % только за последние 25 лет.

«Роль прогнозиста состоит в создании наилучшего из возможных прогнозов», – говорит Мэйфилд. Все очень просто – однако прогнозисты во множестве областей раз за разом делают все не так.