Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет Сильвер Нейт
Две теории Каспарова относительно поведения Deep Blue были, конечно же, внутренне противоречивыми – как и концепция «Механического турка» Эдгара Аллана По. Машина играла слишком хорошо для того, чтобы казаться исключительно компьютером, – или же машина обладала интеллектом настолько масштабным, что человек не имел никакой надежды его понять.
Тем не менее его отказ продолжать вторую партию оказался ошибкой: победа Deep Blue не была полностью безоговорочной. Об этом Каспарову сказали за обедом на следующий день Фридель и Юрий Дохоян (один из самых доверенных помощников чемпиона). Разыграв с помощью компьютера Fritz ту же позицию глубокой ночью, они обнаружили последовательность, при которой после семи ходов Deep Blue был бы вынужден постоянно и безуспешно делать шах, что могло обеспечить Каспарову шанс на ничью[120]. «И это все? – сказал Каспаров, тупо уставившись на поток машин, ехавший по Пятой авеню. – Я был настолько впечатлен отличной позиционной игрой компьютера, что даже и не предполагал, что у меня есть путь к спасению»{647}.
Хотя счет матча был 1:1, доверие Каспарова к себе было глубоко подорвано. Он никогда прежде не проигрывал такие турниры; теперь же он чувствовал себя в подвешенном состоянии. Хуже того, он совершил смертный грех для любого шахматиста, сдавшись в игре, когда существовала возможность свести ее к ничьей. Это была невероятно неудобная и беспрецедентная ошибка. Журналисты и гроссмейстеры, комментировавшие матч, не могли вспомнить, когда чемпион в последний раз допускал что-то подобное.
Каспаров пришел к выводу, что он не сможет обыграть Deep Blue, используя тот мощный и угрожающий стиль игры, который и сделал его чемпионом мира. Вместо этого ему нужно было обмануть компьютер новым, осторожным и непривычным стилем, то есть, по сути, сыграть роль хакера, тестирующего программу на уязвимость. Однако первый ход Каспарова в третьей игре, хотя и оказался достаточно неожиданным и лишил Deep Blue возможности пользоваться привычными базами данных, был слишком слабым, чтобы принести что-то лучше ничьей. В четвертой и пятой партиях Каспаров вел себя лучше, и казалось, что в какой-то момент он получил перевес, однако он не смог преодолеть весомость баз данных Deep Blue, касающихся эндшпиля. В результате обе партии также закончились ничьей. Каждый из участников выиграл по одной игре, и им оставалась провести финальную встречу.
В день финальной игры Каспаров казался уставшим и несчастным; впоследствии Фридель вспоминал, что никогда прежде не видел своего друга в столь мрачном настроении. Играя черными, Каспаров выбрал так называемую защиту Каро-Канн. Она считается довольно слабой – исторически доля выигрышей черными фигурами составляет 44,7 %, – хотя и небезнадежной для хорошо знающих ее шахматистов типа Карпова. Однако Каспаров не очень хорошо разбирался в этой защите и редко использовал ее в турнирах.
Уже после нескольких шагов он начал задумываться даже над довольно простыми ходами. На седьмом ходу он допустил грубую ошибку, слишком рано предложив для обмена коня. Каспаров почти сразу же заметил свою ошибку, откинувшись в кресло и не скрывая своего неудовольствия. И уже после 12 ходов – чуть больше чем через час после начала игры – он сдался и быстро покинул зал.
Deep Blue выиграл. Но эффект от этой победы был не особенно сильным. Возможно, Каспаров просто переутомился и усугубил свое поражение, разыгрывая не самую знакомую ему комбинацию? Или же, как предположил гроссмейстер Патрик Вольф, Каспаров отказался от игры{648}, чтобы лишить победу Deep Blue должной славы? Имел ли какое-нибудь значение тот факт, что он выбрал защиту Каро-Канн, типичную для Карпова – соперника, которого он так часто побеждал?
Но все эти тонкости совсем скоро потерялись в пучине человеческого воображения. Машина взяла верх над человеком! Это напоминало ситуацию, когда компьютер HAL 9000 обрел контроль над космическим кораблем. Или момент, когда ровно на 13й секунде песни «Love Will Tear Us Apart» синтезатор берет верх над гитарным рифом, повергая рок-н-ролл в прах{649}.
Однако все это не было правдой. Каспаров пал жертвой человеческой хрупкости – и небольшой ошибки программного обеспечения.
Как заставить моргнуть шахматиста
Deep Blue был создан в центре имени Томаса Дж. Уотсона компании IBM – прекрасном, подковообразном здании в стиле ретро-модерн, расположенном неподалеку от полей графства Вестчестер.
В холле здания стоят копии ранних компьютеров, наподобие того, что был разработан Чарльзом Бэббиджем. И хотя здание порой и кажется немного старомодным – слишком много деревянных панелей и маленьких изолированных кабинетов, – его считают своим домом многие великие ученые, включая математика Бенуа Мандельброта, а также целый ряд лауреатов Нобелевской премии в области экономики и физики.
Я посетил центр имени Уотсона весной 2010 г., чтобы увидеться с Мюрреем Кэмпбеллом, канадцем с приятными манерами и подростковым восприятием жизни, который был одним из главных инженеров проекта еще со времен создания компьютера Deep Thought в Карнеги – Меллон (в настоящее время Кэмпбелл руководит департаментом статистического моделирования в IBM). В офисе Кэмпбелла висит огромный плакат с изображением Каспарова, угрожающе смотрящего на шахматную доску, и надписью:
Как заставить компьютер думать?Каспаров против Deep Blue, 3–11 мая 1997 г.
В конечном итоге в игре «кто кого переглядит» первым моргнул Каспаров, а не Deep Blue, хотя причины оказались не совсем те, что ожидал Кэмпбелл со своей командой.
Deep Blue был создан с целью обыграть Каспарова, и только его. Команда пыталась предсказать, какие первые ходы будет, вероятнее всего, делать чемпион. После этого она придумывала самые сильные контратаки для любой комбинации (фактически Каспаров смог избежать этой ловушки, используя нетипичные для себя шаги в начале партии). Благодаря своим, хотя и довольно посредственным, итогам противостояния с Каспаровым в 1996 г. и результатам игр с другими шахматистами, игравшими в похожем стиле, вычислительная мощность Deep Blue удвоилась, а эвристика значительно улучшилась{650}. Кэмпбелл знал, что для того, чтобы соответствовать уровню стратегического мышления Каспарова, Deep Blue нужно более глубоко но, возможно, более избирательно) изучать дерево вариантов. В то же время система была спроектирована с небольшим перекосом в сторону сложных позиций, что позволяло ей активнее использовать свои сильные стороны.
«Лучше всего компьютеры играют в позициях, где на доске имеется много фигур, что позволяет делать множество ходов, – рассказал мне Кэмпбелл. – Мы хотим играть в позициях, где тактика оказывается важнее стратегии. И для этого нужно совсем немногое». В этом смысле Deep Blue был более «человечным», чем любой шахматный компьютер до или после него.
Хотя теория игр не столь значима для шахмат, как для игр с неполной информацией типа покера, то очень важной становится последовательность ходов в начале партии. Даже слабый ход, который выведет оппонента из равновесия, способен отрицательно сказаться на качестве его многомесячной подготовки – или же это произойдет с вами, если оппонент найдет правильный ответ. Однако большинство компьютеров пытается играть в «идеальные» шахматы, а не варьировать свою игру, пытаясь противостоять конкретному оппоненту. Deep Blue сделал то, что делают большинство игроков-людей, – ставку на позиции, которые, по мнению Кэмпбелла, могли обеспечить весомое преимущество.
Характерная особенность или сбой?
Тем не менее в 1997 г. навыки Каспарова были насколько сильными, что научить Deep Blue выигрывать у него в шахматы можно было только с помощью программирования.
В теории создать компьютерную программу для игры в шахматы довольно просто: если поисковым алгоритмам шахматной программы предоставить возможность работать в течение неограниченного периода времени, то все 10 10 50 позиций могут быть решены методом перебора. «Есть довольно понятный алгоритм решения шахматных задач, – рассказал мне Кэмпбелл. – Я мог бы за полдня написать программу, позволяющую найти решение для любой позиции, если только у нее будет достаточно времени». Однако на практике, жаловался он, «для того чтобы это сделать, потребуется все время жизни нашей Вселенной».
А процесс обучения шахматного компьютера способу обыграть чемпиона мира часто сводится к банальному процессу проб и ошибок. Вырастет ли результативность, если мы дадим программе больше времени для работы в эндшпиле и меньше в середине игры? Есть ли хороший способ оценить, какая фигура важнее на первых ходах – конь или слон? Насколько быстро должна программа отсекать кажущиеся мертвыми ветви своего поискового дерева, даже если она знает, что в них может скрываться шанс на мат или, напротив, ловушка?
Изменяя эти параметры и наблюдая, как это повлияет на работу компьютера, Кэмпбелл провел с Deep Blue множество тестов. Однако иногда программа все равно допускала «ошибки», делая странные и неожиданные ходы. Каждый раз в подобном случае Кэмпбелл должен был задавать опытным программистам вопрос: был ли этот новый ход свойством программы – то есть моментом «эврики», показывавшим новую степень ее развития? Или же это просто был сбой?
Мой общий совет (в более широком контексте прогнозирования) для случаев, когда при использовании вашей модели вы получаете неожиданные или сложно объяснимые результаты, состоит в том, чтобы по умолчанию считать случившееся «сбоем». Ошибочно принять шум за сигнал довольно просто. А сбои способны подорвать усердную работу даже самых сильных прогнозистов.
Боб Вулгарис, ставший миллионером благодаря ставкам на баскетбол, о котором я рассказал вам в главе 8, как-то решил делать ставки на бейсбол. Созданная им модель стабильно рекомендовала делать ставки на команду Philadelphia Phillies, однако они оказывались неудачными. Оказалось, что ошибка связана с единственным неверным символом на 10 тыс. строк программного кода – помощник Вулгариса ошибочно ввел аббревиатуру домашнего стадиона Phillies (Citizens Bank Park) как P-H-l, а не P-H-I. Этой единственной строки кода хватило для искажения сигнала в программе и для того, чтобы Вулгарис сделал ставки на шум. Вулгарис был настолько потрясен этим сбоем, что полностью перестал пользоваться программой для расчета ставок в бейсболе.
Проблема Кэмпбелла заключалась в том, что Deep Blue уже давно научился играть в шахматы лучше, чем его создатели. Он мог сделать ход, который его создатели никогда бы не сделали, – и более того, они не всегда могли понять, что это: сознательное действие или сбой?
«На ранних стадиях отладки Deep Blue, когда компьютер совершал необычный ход, я мог подумать: “Что-то тут не так”, – рассказал мне Кэмпбелл. – Мы начинали копаться и вычисляли, с чем была связана проблема. Однако со временем подобные вещи происходили все реже и реже. Когда компьютер делал необычные ходы, мы разбирались с ними и понимали, что ему удалось вычислить что-то, что было бы сложно увидеть людям».
Возможно, самые знаменитые ходы в шахматной истории были сделаны шахматным вундеркиндом Бобби Фишером в так называемой Игре столетия в 1956 г. (рис. 9.7). Фишер, которому в то время было всего 13 лет, в первой партии против гроссмейстера Дональда Бирна дважды пожертвовал серьезные фигуры: в какой-то момент он отдал коня без видимой выгоды, а через несколько ходов сознательно оставил без защиты своего ферзя, предпочитая вместо этого продвинуть вперед одного из слонов. Оба хода были совершенно правильными; Фишер увидел уязвимость позиции Бирна, которая стала очевидной уже через несколько ходов. Однако мало кто из гроссмейстеров тогда или сейчас решился бы повторить ходы Фишера. Эвристика типа «никогда не разменивай своего ферзя, кроме как на другого или только в случае немедленного мата» слишком сильна, потому что она помогает игроку в 99 % случаев.
Рис. 9.7. Самые знаменитые жертвы фигур Бобби Фишера, 1956 г.
Однако, когда я повторил эту позицию на своем довольно слабом компьютере и запустил матч в программе Fritz, она повторила ходы Фишера буквально через несколько секунд. В сущности, программа посчитала ошибочными любые ходы, кроме тех, которые сделал Фишер. В поиске всех возможных ходов программа смогла выявить ситуации, когда от эвристики надо отказываться.
В этом случае не приходится говорить о наличии у компьютера «творческих способностей», позволяющих найти верный ход; вместо этого на его стороне примитивный перебор вариантов и скорость расчетов.
Но у компьютера есть и еще одно преимущество: он не позволяет собственным представления о том, как правильно играть в шахматы, мешать поиску точного хода в конкретных и определенных обстоятельствах. Игроку-человеку для выхода за пределы привычного мышления требуется немало креативности и доверия к себе. Люди дивились мастерству молодого Фишера, но, возможно, именно благодаря молодости он находил необычные ходы: в его распоряжении было все его безграничное воображение. Слепые пятна нашего мышления обычно создаем мы сами, и они лишь увеличиваются по мере нашего взросления. Свои слепые пятна есть и у компьютеров, однако они могут избежать этих ошибок воображения благодаря тому, что рассматривают и оценивают все возможные ходы без исключения.
Тем не менее в программе Deep Blue имелись свои сбои, хотя их и было не так много. Ближе к концу интервью Кэмпбелл довольно лукавым тоном заговорил об инциденте, случившемся незадолго до окончания первой партии матча 1997 г. с Каспаровым.
«В программе возник сбой, который мог заставить Каспарова неправильно оценить способности Deep Blue, – рассказал Кэмпбелл. – Однако Каспаров даже не стал рассматривать вероятность того, что это был сбой». Сбой возник на 44м ходу первой игры против Каспарова; программа не смогла выбрать следующий ход и обратилась к последнему средству – совершенно случайному ходу. Сбой был довольно непоследовательным и возник в момент, когда позиция компьютера уже была проигрышной. Кэмпбелл и команда исправили его на следующий день. «Мы видели нечто подобное чуть раньше, в ходе тестовой игры, и думали, что уже с этим справились, – рассказал он. – К сожалению, кое-что мы тогда упустили». Однако этот сбой сыграл Deep Blue на руку – возможно, что именно он, в конечном итоге, позволил компьютру обыграть Каспарова. В пересказах матча Каспарова против Deep Blue считается, что проблема возникла во второй партии – когда Каспаров допустил почти беспрецедентную ошибку и отказался от продолжения игры, исходом которой могла стать ничья. Однако что заставило Каспарова совершить ошибку? Беспокойство, вызванное 44м ходом Deep Blue в первой игре – ходом, когда компьютер передвинул ладью без какой-либо явной цели. Каспаров предположил, что странное поведение компьютера представляет собой знак высшего интеллекта. Он даже не мог подумать о том, что случившееся оказалось результатом простого сбоя.
Несмотря на то что мы активно полагаемся на технологии XXI в., у нас до сих пор остались слепые пятна Эдгара Аллана По, касающиеся роли, которую машины играют в нашей жизни. Компьютер заставил Каспарова ошибиться, но лишь из-за неправильного кода программы.
Что компьютеры умеют делать хорошо?
Компьютеры умеют очень быстро производить расчеты. Более того, мы можем рассчитывать, что они будут делать это безупречно – не уставая, не подчиняясь эмоциям и не меняя настроения во время игры.
Но это не значит, что компьютеры всегда создают идеальные прогнозы (или даже хорошие). Эта проблема отлично описывается аббревиатурой GIGO (garbage in, garbage out, или «мусор на входе – мусор на выходе»). Если «скормить» компьютеру плохие данные или создать неправильный набор инструкций для анализа, он не сможет превратить грязь в золото. Кроме того, компьютеры довольно плохо исполняют задачи, требующие креативности и воображения, такие как разработка стратегии развития или теории о том, как работает мир.
Таким образом, компьютеры более всего полезны прогнозистам в таких областях, как прогнозирование погоды и шахматы, где система следует сравнительно простым и понятным законам, но где уравнения, управляющие системой, должны решаться по множеству раз, чтобы создать хороший прогноз. Судя по всему, компьютеры мало чем могут помочь нам в таких областях, как экономика или прогнозирования землетрясений, где причины кажутся более расплывчатыми, а данные сильнее перемешаны с шумом. В каждой из этих областей и в 1970х, и в 1980х гг. на компьютеры, ставшие доступными ученым для решения повседневных задач, возлагались большие надежды, однако до сих пор серьезный прогресс так и не достигнут.
Но между этими двумя полюсами находится множество других областей применения. Зачастую данные можно считать хорошими, но не отличными, и у нас есть некое (далеко не идеальное) понимание систем и процессов, в результате действия которых они получены. В подобных случаях существует возможность улучшить предсказания благодаря процессу, который использовали программисты Deep Blue, – применению метода проб и ошибок. Именно этот метод лежит в основе бизнес-стратегии компании, которую мы чаще всего связываем в настоящее время с Большими данными.
Когда метод проб и ошибок действительно работает
Если вы приедете в офисный комплекс Googleplex, расположенный в городе Маунтин-Вью, штат Калифорния, где я побывал в конце 2009 г., то заметите, что не всегда понимаете, когда с вами говорят серьезно, а когда шутят. Здесь царит культура, стимулирующая креативность и выражающаяся, помимо прочего, в ярких цветах, наличие волейбольных площадок и невероятных разновидностей двухколесных средств передвижения. Сотрудники Google, даже программисты и экономисты, могут быть достаточно капризными и вести себя необычным образом.
«Такие эксперименты проходят у нас все время, – сказал мне на встрече Хэл Вариан, главный экономист Google. – Нашу компанию лучше всего представлять себе как организм, нечто живое. Я уже много раз говорил о том, что нам нужно обращать внимание на то, когда этот организм оживает и может напоминать Skynet[121]. Однако мы договорились с губернатором Калифорнии, – на тот момент Арнольдом Шварценеггером, – что он придет и нам поможет». Google проводит масштабное тестирование своих поисковых и других продуктов. «В прошлом году мы провели 6000 экспериментов в области поиска и еще примерно столько же в области монетизации рекламных объявлений, – сказал мой собеседник. – Так что можно сказать, что Google проводит не менее 10 тыс. экспериментов в год». Некоторые из этих экспериментов заметны всем нам – зачастую благодаря им появляется новая продуктовая линейка. Однако большинство из них мы не отслеживаем – в ходе экспериментов логотип перемещается на несколько пикселей в сторону, или чуть-чуть меняется цвет фона в рекламе, а затем исследователи Google отслеживают, какое влияние это оказывает на количество кликов или монетизацию. Многие эксперименты охватывают всего 0,5 % пользователей Google (чаще всего охват зависит от того, насколько многообещающей кажется идея).
Когда вы вводите свой поисковый запрос в Google, то, возможно, и не знаете, что участвуете в эксперименте. Однако Google понемногу предлагает вам небольшие изменения. И результаты поисковых запросов, и порядок, в котором они появляются на странице, представляют собой предсказание компании о том, какие результаты вы посчитаете наиболее полезными.
Как можно измерить и предсказать такое качество, как «полезность», порой кажущееся нам субъективным? Если ваш запрос выглядит как лучший новый мексиканский ресторан, то означает ли он, что вы планируете поездку в Альбукерке? Или вы ищете недавно открытый мексиканский ресторан? Или то, что вам нужен мексиканский ресторан, подающий блюда в стиле Nuevo Latino? Может быть, вам стоило перефразировать свой запрос, но, раз вы этого не сделали, Google может собрать группу из 1000 человек, сделавших тот же запрос, показать им различные наборы веб-страниц, а затем попросить их оценить полезность каждого набора по шкале от 0 до 10. После этого Google будет показывать вам только ссылки на страницы, расположенные по порядку среднего рейтинга, начиная с самого высокого.
Разумеется, Google не может проводить подобное изучение каждого поискового запроса, особенно, учитывая, что количество ежедневных запросов составляет сотни миллионов. Но, как сказал мне Вариан, тестирование определенного репрезентативного набора запросов осуществляют специалисты-оценщики. Затем сотрудники компании определяют, какие статистические показатели лучше всего коррелируют с человеческими суждениями уместности и полезности вносимых изменений. Самым известным из статистических показателей Google является PageRank{651} – показатель, основанный на том, как много других веб-страниц ссылаются на ту, которая может оказаться для вас полезной. Однако PageRank – это всего лишь один из двух сотен сигналов, используемых Google{652} для аппроксимации суждений специалистов-оценщиков.
Конечно же, эта задача далеко не проста – компания использует около 200 сигналов для оценки практически безграничного набора возможных поисковых запросов. Вот почему Google уделяет так много внимания экспериментам и тестированию. Продукт, известный вам как поисковая машина Google, несмотря на все свои текущие плюсы, уже завтра может выглядеть немного иначе.
Успешной эту компанию делает способ, благодаря которому ей удается совмещать свою приверженность тестированию со свободной и креативной культурой. Сотрудники Google имеют массу стимулов, способствующих тому, чтобы делать все то, что людям удается лучше компьютеров, – придумывать огромное количество идей. Затем Google использует свои огромные массивы данных, чтобы протестировать все эти идеи. От большинства из них компания отказывается достаточно быстро, но лучшие из них выживают.
Компьютерные программы играют в шахматы именно таким образом, то есть исследуют почти все возможные варианты с определенной степенью глубины, однако концентрируют свои ресурсы на самых многообещающих направлениях. Это вполне можно считать байесовским процессом: Google всегда находится на старте, уточняя свои поисковые алгоритмы, и никогда не считает их доведенными до овершенства.
В большинстве случаев мы не можем тестировать свои идеи так же быстро, как Google, которая практически мгновенно получает обратную связь от сотен миллионов пользователей со всего мира. Нет у нас и такого же доступа к суперкомпьютеру, как у инженеров Deep Blue. Прогресс будет развиваться значительно более медленными темпами.
Тем не менее лучшим способом ускорения процесса обучения может считаться тестирование самих себя – то есть изучение того, насколько хорошо наши предсказания работают в реальном мире, а не в комфортных условиях статистической модели.
Преодоление технологических слепых пятен
Во многих случаях главное технологическое ограничение – это мы сами. Медленный и постепенный марш человеческой эволюции идет не в ногу с технологическим прогрессом – эволюция развивается тысячелетиями, а вычислительная мощность удваивается примерно каждые два года.
Для наших предков, живших в пещерах, было бы крайне полезно иметь хорошие, а то и почти гиперактивные навыки распознавания закономерностей, то есть умение за считаные доли секунды понять, вызван ли шелест листвы ветром или крадущимся медведем-гризли. В наши дни в быстро развивающемся мире, купающемся в цифрах и статистике, эти же тенденции способны принести нам немало проблем: видя случайные наборы цифр, мы начинаем искать закономерности там, где их нет (лукавые деятели рекламы и политики часто охотятся за участками нашего мозга, отвечающими за эти функции).
Однако в шахматах все закончилось хорошо. Хотя Каспаров и программисты Deep Blue воспринимали друг друга как антагонистов, они вместе дали нам новое понимание того, какую роль могут играть вычислительные мощности компьютеров и человеческая изобретательность в деле предсказания.
На самом деле лучшая шахматная партия разыгрывается сейчас не между отдельными людьми и машинами{653}. В 2005 г. сайт ChessBase.com организовал «фристайловый» шахматный турнир – игроки могли использовать в процессе игры любые компьютерные программы и просить совета через интернет. И несмотря на то что в турнире приняло участие несколько гроссмейстеров, выиграли его не сильнейшие игроки и не те, кто использовал самые продвинутые программы, а пара 20-летних любителей из Нью-Гемпшира – Стивен Крэмтон и Хакари «ЗакС» Стивен. Чтобы сделать оптимальный следующий ход, они использовали три компьютерные программы{654}. Крэмтон и Стивен победили, потому что не боялись технологий и не злоупотребляли ими. Они знали сильные и слабые стороны каждой программы и действовали скорее не как игроки, а как тренеры.
Стоит осторожно относиться к фразам типа «по мнению компьютера, Yankees выиграют ежегодный чемпионат США по бейсболу». Если эта фраза представляет собой аналог более точной фразы («исход работы компьютерной программы показывает, что Yankees выиграют ежегодный чемпионат США по бейсболу»), то эту фразу можно считать правильной. При всем богатстве информации в мире нам, безусловно, поможет наличие машин, способных делать расчеты значительно быстрее, чем мы сами.
Но если вам кажется, что прогнозист имеет в виду иное и воспринимает компьютер как чувствующее существо, а модель – как обладающую независимым мышлением, то это может означать, что он сам недостаточно глубоко задумывается о происходящем. И его искажения, предубеждения и слепые пятна обязательно проявятся в созданной им компьютерной программе.
Мы должны рассматривать технологию так, как это было всегда, – инструментом для улучшения жизни человека. Нам не стоит ни бояться технологии, ни поклоняться ей, как святыне. Никто пока не создал и, возможно, не создаст компьютер, думающий как человеческое существо{655}. Однако компьютеры сами по себе представляют отражение человеческого прогресса и человеческой изобретательности – вряд ли можно считать «искусственным интеллектом» то, что создано интеллектом человека.
Глава 10
Покерный пузырь
В 2003 г. начался «покерный бум», то есть стал образовываться своего рода пузырь, когда количество новых и неопытных игроков росло в геометрической прогрессии и даже небольшое умение играть в покер могло обеспечить игроку большую прибыль. Можно назвать две непосредственные и связанные друг с другом причины этого явления. Первой стал выигрыш Мировой серии[122] покера 2003 г. в Лас-Вегасе 27-летним любителем, бухгалтером из Нэшвилла с многозначительным именем Крис Манимейкер. Он казался подлинным олицетворением покерного счастливчика – немного полноватый офисный работник, которому удалось благодаря нескончаемым блефам и удачным раздачам 39 долл. (плату за участие в квалификационном турнире в Сети) превратить в приз размером в 2,5 млн долл.
Телеканал ESPN использовал достижение Манимейкера для того, чтобы сделать на его основе мини-сериал из шести частей, которые регулярно повторялись вечерами в будние дни до начала бейсбольного сезона. Трансляция стала невероятно эффективной рекламой «спортивности» покера, у которого до этого момента была репутация захудалого, архаичного и пугающего занятия.
Внезапно каждый лысеющий и низкорослый бухгалтер, давно оставивший мечты стать следующим Майклом Джорданом или Дереком Джетером, смог увидеть в Манимейкере родственную душу, человека, которому удалось избавиться от скучной работы и за несколько недель превратиться из обычного любителя в победителя крупнейшего покерного турнира в мире.
Однако ESPN представил довольно выхолощенную версию реальных событий, происходивших за покерным столом. Прежде всего из-за необходимости вместить в шесть часов сериала более 40 часов игры с участием 800 человек канал показывал лишь небольшую часть сыгранных раздач. Более того, благодаря изобретению крошечной камеры, вмонтированной в игровые столы рядом с местом каждого игрока, телезрители могли видеть карты не только самого Манимейкера, но и каждого из его противников. Это создавало у них ощущение ясновидения. Разумеется, ведь покер – это довольно простая игра, если вы знаете карты своего оппонента.
Манимейкер был представлен в сериале как герой, неспособный на ошибки или неточности. Раздачи, которые, по мнению непредвзятых аналитиков, были сыграны им довольно плохо, получали в устах комментаторов эпитет «смелых», а преждевременные сбросы карт и отказ от участия в партии якобы свидетельствовал о его «проницательности». Манимейкер начинал казаться зрителям не любителем, умевшим играть в карты чуть лучше обычного человека[123]{656}, а покерным гуру, достаточно умным и хитрым для того, чтобы превратиться в игрока мирового класса чуть ли не за одну ночь.
Зрители начинали верить, что игре в покер легко научиться, на нем легко зарабатывать деньги и что это чрезвычайно динамичное действие – но ничто из этого не является правдой. Тем не менее происходившее заставило многих думать, что от жизни в стиле Криса Манимейкера их отделяет лишь перелет до Лас-Вегаса. Количество участников Мировой серии с вступительным взносом 10 тыс. долл. выросло с 839 человек (в тот год, когда Манимейкер выиграл главный приз) до 8773 тремя годами позже (рис. 10.1).
Рис. 10.1. Количество участников Мировой серии покера, 1970–2006 гг.
Одним из них был и я{657}. Некоторое время я жил великой покерной мечтой, однако затем она умерла. Я понял, что покер, как и многое другое, погряз в переплетении сигнала и шума. Годы, проведенные за игрой, научили меня отлично разбираться в том, какую роль в нашей жизни играет шанс и насколько сильные иллюзии он способен создать, когда мы стремимся понять мир и предсказать его развитие.
Начало покерной мечты
Другим катализатором покерного бума стал интернет. В какой-то форме интернет-покер существовал уже с 1998 г., однако популярность он обрел лишь в 2003 г., после того как такие компании, как Party Poker и PokerStars, начали заниматься более агрессивным маркетингом и пробиваться сквозь правовую трясину мира азартных игр в интернете. Игроки со всего мира начали играть в Сети, забыв о безопасности и законности виртуальных игровых залов. Сайты предлагали круглосуточный и непрерывный доступ к любой разновидности покера по ставкам от нескольких центов до сотен долларов. Игры шли быстрее (компьютерный чип может тасовать колоду карт значительно быстрее, чем человек, и ему не нужно платить чаевые). А кроме всего прочего, играть дома было куда приятнее, чем в старых и прокуренных залах казино.
Выше я уже говорил, что моя работа в тот период не сильно отличалась от той, чем занимался Манимейкер. Я работал экономическим консультантом по учету в бухгалтерской компании KPMG. Мой коллега предложил мне принять участие в регулярной игре, делая ставки просто ради интереса и для того, чтобы заставить нас хотя бы немного понервничать. Я приобрел некую толику опыта, регулярно вставая в четыре часа утра и совершая поездки в казино «Парящий орел» в индейской резервации в Маунт-Плезант, штат Мичиган. Особого успеха мне это не принесло, и я начал изучать возможность принимать участие в онлайн-играх. Мне попался довольно неуклюжий сайт с названием «Пасифик покер», который предлагал новым игрокам бонус в размере реальных 25 долл. в виде покерных фишек практически без каких-либо дополнительных условий{658}.
Я довольно быстро потерял первые 25 долл., однако игроки в «Пасифик покер» показались мне не намного опытнее бывших заключенных и бодрых старичков, представлявших основную аудиторию «Парящего орла». Поэтому я вложил в онлайн-казино 100 долл. собственных средств. Почти все профессиональные игроки в покер начинают свою карьеру с череды выигрышей. Те, кто начинает с проигрышей, обычно слишком сильно огорчаются и перестают играть. Я не был исключением. Мой игровой счет начал расти: сначала на 50 или 100 долл. за ночь, а потом я стал выигрывать и по 500, и даже по 1000 долл. Примерно через три месяца мой выигрыш составил примерно 5000 долл. Я начал играть ночи напролет. По утрам я вызывал такси, чтобы добраться до работы, а там я, как мог, имитировал бурную деятельность. За шесть месяцев я смог выиграть около 15 тыс. долл. Я уволился, бросив увлекательнейший мир консультирования по вопросам международного налогообложения ради того, чтобы заняться игрой в карты и работой на Baseball Prospectus. Это было настоящим освобождением; я почувствовал, что мне удалось каким-то образом взломать систему.
Я не знаю, действительно ли я был хорошим игроком с самого начала. Однако планка, установленная моими конкурентами, была достаточно низкой, а мое статистическое прошлое обеспечивало мне некоторое преимущество. Иногда покер воспринимается как исключительно психологическая игра, битва воли, в которой оппоненты пытаются просчитать друг друга и заглядывают своим противникам в «душу», пытаясь найти знаки, позволяющие понять, насколько сильные карты у тех на руках. Это присутствует в покере, особенно при высоких ставках, но далеко не в той степени, как принято считать (психологические факторы в покере проявляются чаще всего в виде самодисциплины). Скорее, покер можно считать математической игрой, зависящей от вероятностных суждений на фоне неопределенности – иными словами, для покера нужны те же самые навыки, что и для любого другого типа прогнозирования.
Как игроки в покер предсказывают раздачу
Хорошие игроки в покер не отличаются способностью предсказывать, какая карта окажется на столе следующей. Их не стоит считать ясновидящими. Только самые суеверные или параноидальные игроки верят, что порядок, в котором тасуются карты в колоде, не случаен.
Лишь самым плохим игрокам не удается удерживать в памяти основные цифры, связанные с вероятностью выпадения той или иной комбинации. Например, почти все помнят, что до момента, когда на стол выкладывается последние две карты, у игрока есть шанс собрать комбинацию флэш[124], равный 1 к 3, или что пара тузов выигрывает у пары королей примерно в 80 % случаев. Куда важнее для игроков так называемое умение «читать руку», то есть умение вычислять, какие карты могут быть на руках у оппонента и как это может повлиять на его дальнейшие решения по ходу игры.
Это довольно сложная задача, особенно в техасском холдеме[125] – самом популярном варианте игры. В холдеме карты игроков лежат рубашкой вверх, и никто не может точно знать карты своего оппонента до тех пор, пока все ставки не сделаны и кто-то не выигрывает банк. В самом начале игры у каждого из игроков может оказаться на руках одна из 1326 возможных комбинаций. Среди них может быть и волшебная пара тузов, и скромная комбинация 7 и 2, и ничто, кроме любви игрока к деньгам, не мешает ему разыгрывать одну комбинацию так, как будто у него на руках другая.
Однако игроки могут использовать свое умение «читать руку» для предсказания возможных вариантов комбинаций карт на руках у оппонента. Игроки в покер часто ведут себя так, как будто совершенно точно знают, какие именно две карты имеет их противник. Но лучшие игроки всегда выдвигают несколько гипотез, которые затем сверяют с действиями оппонента. Хороший прогноз в покере всегда основан на вероятности. По ходу игры он становится более понятным, однако обычно невозможно предсказать в точности, какая из 1326 возможных комбинаций находится на руках у вашего соперника, особенно если он достаточно профессионален и сознательно ведет себя определенным образом{659}.
В техасском холдеме настолько сложно получить достоверную информацию, что игроки начинают строить догадки о том, какие карты на руках их оппонентов, еще до начала раздачи. При игре в Сети это делается с помощью изучения данных. В вашем распоряжении имеется статистика о том, насколько расслабленно или четко, пассивно или агрессивно играл каждый оппонент в предыдущих играх. В реальных казино это осуществляется путем сравнения одних игроков с другими, а если это невозможно, то может использоваться этнический профиль игрока. Например, игроки из Швеции, Ливана и Китая имеют репутацию более агрессивных, чем игроки из Франции, Великобритании или Индии. Считается, что более молодые игроки ведут себя более расслабленно и агрессивно, чем зрелые. Считается также, что мужчины блефуют чаще женщин. Эти стереотипы, как и все остальные, не всегда оказываются правдой. Когда я играл в холдем в казино «Белладжио» в Лас-Вегасе, то лучшими игроками очень часто оказывались женщины, и отчасти это было связано с тем, что они вели себя значительно более агрессивно, чем могли предположить их противники. Однако у игроков в покер редко находится время для политкорректности. Даже если стереотип о более консервативном подходе женщин к игре оказывается неправильным в 45 % случаев, он позволяет игрокам принимать правильные решения в остальных 55 %.
После начала партии все приблизительные изначальные предположения заменяются более надежной информацией, основанной на том, как вел себя игрок в предыдущих партиях в тот же день, и на том, как он разыгрывает текущую. Этот процесс по своей природе – полностью байесовский. Каждый игрок меняет свои вероятностные оценки после каждой ставки, передаче хода (чек) и ответе на ставку (колл). Если вы сомневаетесь в практической применимости теоремы Байеса, то, возможно, вы никогда не видели, как играют в покер.
Небольшой рассказ о техасском холдеме
Правила техасского холдема легко найти в Сети или других книгах, но я хотел бы для непосвященных отметить некоторые моменты, чтобы помочь им разобраться с терминами, которые я использую далее. Эти правила довольно просты по сравнению с другими карточными играми. Однако, как и в шахматах, сравнительно простые правила создают игру с исключительной тактической и стратегической глубиной.
Партия начинается, когда каждый игрок получает две личные карты рубашкой вверх. После этого происходит раунд ставок или торговли. Помимо карт у игрока имеется еще несколько карт, которые выкладываются на стол рубашкой вниз и могут использоваться для создания комбинаций всеми игроками за столом. Каждый игрок старается собрать лучшую комбинацию из пяти карт из тех, что находятся у него в руках, и карт на столе. Общие карты выкладываются в определенной последовательности, при этом на каждом этапе игры происходит торговля. Первые три общие карты выкладываются на стол одновременно, и этот раунд раздачи называется флоп (это первый из тех цветистых терминов, которые используют игроки в покер). После раунда торговли выкладывается четвертая общая карта, называемая терн. Затем на стол выкладывается последняя общая карта (ривер), и начинается последний раунд торговли. Чаще всего к этому моменту свои карты сбрасывает большинство игроков, кроме одного. Если же нет, игроки переворачивают свои карты, после чего банк получает игрок с лучшей комбинацией.
Ранжирование покерных комбинаций выглядит следующим образом.
Стрит-флэш (K Q J T 9)
Каре (четыре карты одинакового номинала) (7 7 7 7 2)
Фулл-хаус (Q Q Q 5 5)
Флэш (A J 9 4 2)
Стрит (8 7 6 5 4)
Тройка (три карты одинакового номинала) (9 9 9 A 2)
Две пары (A A 3 3 7)
Одна пара (K K 9 8 6)
Старшая карта без пары (A Q 8 5 3).
В случае одинаковых комбинаций банк выигрывает игрок с самой высокой картой на руках: например, флэш с тузом выигрывает у флэша, в котором самой старшей картой оказывается 9. Если же у игроков на руках имеются одинаковые пары, выигрывает тот, у кого имеется третья карта с наибольшим номиналом (кикер). Например, комбинация (8 8 K 7 5) выигрывает у комбинации (8 8 Q 7 6), поскольку кикером является король, а не дама.
Не так уж и проста эта покерная раздача
Предположим, вы играете партию в безлимитный холдем со ставками 5 и 10 долл. в «Белладжио»[126]. Первые несколько игроков сбросили свои карты, а у вас на руках имеется вполне достойная комбинация – пара восьмерок (8 8). Поэтому вы повышаете ставку до 25 долл., и на нее отвечает всего один игрок, 60-летний мужчина, которого мы будем называть Юрист.
Это довольно приятный человек. В промежутках между партиями он охотно болтает, но после раздачи смолкает. О себе он рассказал, что работает партнером в юридической компании на Восточном побережье, занимающейся вопросами интеллектуальной собственности. Его вполне можно представить в рубашке-поло, периодически отправляющим своему другу сообщения о том, за сколько ударов им удалось пройти дистанцию в игре в гольф. Перед тем как переключиться на кофе во время игры, он выпил один бокал пива. Судя по всему, его совершенно не пугают ставки, по которым идет игра.
Когда Юрист только сел с нами за стол, у нас было два совершенно различных предположения о том, что он собой представляет. Первое состояло в том, что он будет немного выпендриваться во время игры, делая необоснованные шаги и блефуя, а второе – в том, что он будет использовать строгий «книжный» подход. Наши последующие наблюдения подтвердили правильность второй гипотезы. Юрист создавал впечатление довольно посредственного игрока, избегавшего катастрофических ошибок, но не проявляющего особого мастерства. Все всякого сомнения, он – не худший из игроков, однако вряд ли может стать победителем в долгосрочной перспективе. Тем не менее мы еще не играли против него достаточно долго и не уверены ни в одной из своих гипотез до конца.
Итак, что же мы знаем о картах Юриста в настоящий момент? Единственное, в чем не приходится сомневаться, так это в том, что у него нет комбинации с картами 8 или 8, поскольку эти карты – наши. К сожалению, это снижает количество начальных комбинаций всего лишь с 1326 до 1225, причем каждая из них имеет одинаковые шансы быть у него на руках.
Тем временем мы получили от Юриста дополнительную информацию – он решил ответить на нашу ставку. Это значит, что его комбинация должна быть как минимум достойной – основная часть игроков, включая Юриста, сбрасывают карты в большинстве случаев, а не поднимают ставки перед флопом. И это значит также, что у него вряд ли очень сильная комбинация типа пары тузов, поскольку он просто ответил на нашу ставку, а не поднял ее еще выше, хотя нельзя исключать, что он хитрит[127].
Мы можем приступить к формированию вероятностной байесовской оценки карт, которые могут быть на руках у Юриста. Из прошлого опыта игры с похожими на него людьми мы знаем, что у него на руках вполне могут оказаться пары типа 9 9. Также комбинация может включать в себя туза, особенно если обе карты относятся к одной масти (например, A 5), что дает ему возможность собрать флэш. Также у него на руках могут быть так называемые одномастные коннекторы – карты типа 6 5, принадлежащие к одной масти, идущие по номиналу одна за другой и позволяющие собрать флэш или стрит. И, наконец, он мог ответить нам двумя старшими картами, например королем треф и бубновым валетом (K J).
Если бы у нас было достаточно времени, мы могли бы перечислить все комбинации, которые могут быть на руках у Юриста, и привели для каждой значение вероятности от 0 до 100 %, с учетом его действий к настоящему моменту (рис. 10.2). Именно так оценивал бы его игру компьютер, способный быстро обрабатывать вероятности.
Рис. 10.2. Вероятностное изображение возможного «диапазона рук»* у партнера по игре
* «Диапазон рук» соперника, или просто «диапазон соперника», – это определенная группа рук (карточных комбинаций), которые, по вашему мнению, могут находиться у вашего оппонента в конкретной игровой ситуации. Рука (Hand) – очень широкое понятие в покере, в том числе и комбинация карт игрока или стартовые карты. Это понятие включает в себя полный розыгрыш, начиная с принудительных ставок и раздачи карт, игры на префлопе (часть раздачи, проходящая до открытия карт флопа) до шоудауна (вскрытия карт).
Матрица, подобная приведенной на рис. 10.2, слишком сложна для применения в условиях реального мира. На практике игроки обычно разбивают диапазон возможных комбинаций карт на группы, в отношении которых оппонент будет предпринимать одинаковые действия (табл. 10.1). В данном случае самой опасной для нас на данный момент выступает группа комбинаций с парой, старшей нашей пары восьмерок.
Таблица 10.1. Возможные комбинации карт на руках оппонента до флопа
К счастью, вероятность подобного развития событий мала: игроку в холдем редко удается получить такую пару карт с самого начала. Шансы получить пару с самого начала партии составляют в холдеме примерно 3 %. Однако, учитывая, что Юрист ответил на нашу ставку, нам следует обновить просчитанное значение этой вероятности – чаще всего этот игрок сбрасывает слабые карты, а следовательно, сейчас у него на руках что-то есть. По нашим расчетам, шансы на то, что у него на руках есть пара старше наших восьмерок, с учетом его прежних действий уже выросли примерно до 6 %.
В оставшихся 94 % случаях Юрист начинает игру с комбинацией карт хуже нашей. Проблема состоит лишь в том, что на столе должно появиться еще пять карт, и хотя шансов на то, что они улучшат нашу пару, довольно мало (нам потребуется одна из двух оставшихся в колоде восьмерок), Юрист может довольно легко собрать более высокую пару, стрит или флэш.
Юрист отпивает немного кофе, пока дилер выкладывает карты флопа в центре стола. Это две трефы – король и тройка, – а также девятка червей.
K 9 3
Эти карты не сделали нашу комбинацию лучше. Остается лишь надеяться, что они не улучшили и комбинацию, которая на руках у Юристаи наша пара восьмерок все равно останется самой сильной.
Поэтому мы делаем довольно скромную ставку, добавляя 35 долл. в банк, составляющий уже 65 долл. Юрист на мгновение делает паузу, а затем отвечает на нашу ставку.
Его поступок нас не удивляет, и мы приступаем к перерасчету вероятностей его комбинации. Согласно теореме Байеса, главное – размышлять в понятиях условных вероятностей. Например, если Юрист начал игру с комбинацией типа K J, а теперь у него появилась пара королей, насколько вероятно, что он вновь ответит на нашу ставку? (Разумеется, с сильной парой на руках он вполне может это сделать, но не лучше ли для него было бы поднять ставку выше?) А что, если он начал игру с меньшей парой, например 7 7, – насколько вероятно, что он ответит нам, а не сбросит карты? Если бы у нас было больше времени, мы могли бы изучить каждую из 1326 комбинаций и соответствующим образом пересмотреть свои расчеты (табл. 10.2).
Таблица 10.2. Возможные комбинации карт на руках оппонента на флопе
Флэш-дро (Flush-draw) – четыре карты одной масти, то есть недостроенный флэш.
Стрит-дро (Straight-draw) – четыре карты, соседствующие по рангу, то есть недостроенный стрит.
Наши реальные расчеты, которые мы делаем за столом, будут куда менее точными. Тем не менее мы можем с учетом действий Юриста дать определенные, причем довольно широкие, вероятностные характеристики диапазона возможных комбинаций у него на руках. Примерно в 30 % случаев комбинация карт Юриста собиралась с учетом флопа, и он имел пару королей или более сильную комбинацию. Это хорошие комбинации, и при отсутствии сильного внешнего давления он не стал бы их сбрасывать. Имеется также 20 %-ная вероятность, что у него на руках пара хуже, чем короли, но лучше, чем наши восьмерки. Эти комбинации переигрывают нашу, однако, если мы продолжим агрессивно повышать ставки, Юрист, скорее всего, их сбросит.
Имеется также 25 %-ная вероятность, что Юрист имеет шансы собрать стрит или флэш. На данный момент его карты значительно слабее наших, однако у него есть возможность улучшить ситуацию.
И, наконец, вероятность, что у Юриста есть пара меньше нашей или нет вообще ничего, составляет 25 %, и он продолжает делать ставки в надежде на будущий блеф. Этот вариант для нас самый предпочтительный.
Вы можете сами увидеть, насколько сложно порой принимать решения в покере. Если верны одни варианты, мы должны делать максимально агрессивные ставки. Если другие, мы должны ограничиться более осторожным подходом, а если третьи, мы должны готовиться к тому, чтобы сбросить карты.
Пока мы размышляем, принимая это отнюдь не простое решение, дилер кладет на стол идеальную для нас карту, чем ощутимо заметно улучшает нашу жизнь. Это одна из двух восьмерок, остававшихся в колоде, 8, и в результате у нас возникает набор из трех одинаковых карт. Единственная комбинация, при которой мы можем проиграть, возникнет, если Юрист начал игру с парой девяток или королей, получил набор из трех одинаковых карт на флопе, а затем начал играть пассивно, чтобы заманить нас в ловушку (для этого у игроков в покер есть специальный термин «слоуплей»). Но нам не стоит чрезмерно осторожничать. Какова бы ни была комбинация у Юриста, наши шансы на победу составляют примерно 98 %. Поэтому мы делаем сравнительно крупную ставку – 100 долл. при банке в 135 долл.
Юрист еще раз отвечает на нашу ставку. Если бы у него была слабая пара или несформированная комбинация, он, скорее всего, сбросил бы карты. Соответственно, у нас появляется возможность еще сильнее сузить наше представление об имеющихся у него на руках картах.
В сущности, на данном этапе у него может остаться всего 75 комбинаций из 1326. У Юриста могла бы быть пара королей, которая заставила бы нас понервничать чуть раньше, но которую мы можем побить сейчас. И если что и может нас волновать, так это, скорее, еще одна трефа, появление которой на столе могло бы обеспечить Юристу флэш (табл. 10.3).
Вместо этого последней картой оказывается довольно безвредная пятерка пик, не позволяющая завершить флэш: K 9 3 8 5.
Таблица 10.3. Возможные комбинации карт на руках оппонента на терне
Мы добавляем 250 долл. к банку, составляющему 335 долл., надеясь, что Юрист ответит нам, имея на руках более слабую комбинацию. Однако он внезапно возвращается к жизни. «Олл-ин!» (ставка на все деньги), – очень тихо говорит он дилеру, а затем двигает в центр стола все оставшиеся у него фишки – на сумму около 1200 долл.
Что произошло только что? Теперь мы должны протестировать свои навыки байесовского мышления. Если наш прогноз о том, какие карты у него на руках, неверен, то мы легко можем совершить ошибку ценой в 1200 долл.
Мы смотрим на стол и понимаем, что единственной рукой из 1326 случайных комбинаций, которая кажется наиболее соответствующей его игре, является комбинация 7 и 6 треф (7 6). Это одномастный коннектор, поэтому он мог бы продолжить с ним игру перед флопом. На флопе эта рука обеспечивала ему флэш-дро с четырьмя трефами, и мы поставили слишком малую сумму для того, чтобы он отступил.
Хотя он и упустил флэш, но тем не менее стал сильнее: та же 8, которая превратила нашу комбинацию в «тройку», дала Юристу возможность создать стрит с любой десяткой или пятеркой. Если бы это было действительно так, то 5 на ривере завершала создание комбинации, способной победить нашу «тройку». И если это именно так, то становилось понятным его упрямое желание повышать ставки.
Стоит ли нам сдаться? Даже если вы никогда не играли в покер, имеет смысл на мгновение остановиться и подумать о том, что делать.
Ответ состоит в том, что вам, вполне возможно, не стоит сдаваться. На самом деле, при игре против множества игроков вам должно быть приятно, что в банк попадает все больше денег.
Решить задачу можно благодаря теореме Байеса. Справедливо, что «олл-ин» представляет собой невероятно сильный ход – он содержит значительно больше информации, чем действия Юриста до этого. Однако перед тем, как Юрист пошел «олл-ин», мы считали, что вероятность того, что на руках у него находятся именно 7 и 6 треф, крайне мала, возможно, всего 1 %, то есть одна возможная комбинация из миллиардов. И если мы не до конца уверены в том, что 7 6 – это единственная рука, с которой он может играть, отказ от игры был бы большой ошибкой. Для того чтобы «колл[128]» был математически правильным, наша рука должна быть хорошей примерно в 35 % случаев.
На самом деле у Юриста могли бы быть и другие возможности. Так, у него на руках может быть комбинация троек или даже пятерок, которая все равно проиграет нашей паре восьмерок. Он мог бы получить две пары с рукой типа K 5. Некоторые игроки разыгрывают таким образом пару тузов. В байесовской модели диапазона наших рук Юрист может вполне разумно предположить, что его рука лучше нашей. Достаточно хорошая, чтобы идти «олл-ин», и понятно, что он хочет забрать после розыгрыша руки как можно больше денег.
Обыграть нас могла бы и другая пара рук, помимо стрита. Если Юрист все это время медленно разыгрывал пару девяток или пару королей, то теперь он точно получит наши деньги. С другой стороны, это уравновешивается вероятностью полного блефа. Если Юрист не смог реализовать флэш-дро, то блеф – это единственный на данный момент способ выиграть банк.
Как однажды сказал Артур Конан Дойл, «если вы исключите невозможное, то, что останется, и будет правдой, сколь бы невероятной она ни казалась». Это звучит вполне логично, однако нам крайне сложно отличать невозможное от крайне маловероятного, и порой, когда мы стремимся это сделать, могут возникнуть немалые проблемы.
На этом этапе игры все руки соперников выглядят в той или иной степени маловероятными – эта раздача была достаточно необычной. Нам приходится оценивать, насколько одно невероятное событие более невероятно, чем другое, столь же невероятное, и все указывает на то, что у Юриста нет на руках комбинации 7 6. Если бы у нас была возможность рассчитать все возможности с помощью компьютера, то значение вероятности того, что мы имеем более сильную руку, все равно составит около двух третей (табл. 10.4).
Таблица 10.4. Возможные комбинации карт на руках оппонента на ривере{660}
На практике умение оценивать вероятности для своих рук у игроков в покер различается. Опытные игроки лучше, чем 99,9 % всего населения, умеют делать сравнительно хорошие вероятностные суждения в условиях неопределенности.
Честно говоря, я не знаю никакой другой игры или интеллектуального упражнения, которое так хорошо способствовало бы развитию этих навыков. Однако, когда я опубликовал информацию об этой раздаче на Two Plus (онлайновом форуме для профессиональных игроков в покер), оценка ранжировалась от почти полной уверенности в том, что у нас имеется лучшая рука, до мнения о том, что мы почти гарантированно проиграем{661}.
Мне же представляется, что оба этих вида оценки основаны на слишком высокой степени уверенности в себе. Конечно, мы не должны вести себя так, как будто ничего не знаем о руке оппонента, но в целом наши ошибки предсказания связаны с тем, что мы считаем, что в мире гораздо больше определенности, чем на самом деле. В этом случае попытка приписать оппоненту точную руку будет означать, что нам следует сдаться, однако более полная оценка вероятностей – вкупе с немалым размером банка – дает основание предполагать, что нам нужно ответить на ставку.
Покерная рука Шредингера
Если бы такая раздача появилась на телевизионном турнире на канале ESPN, показывавшем нам руки всех игроков, то анализ комментаторов выглядел бы по-разному.
Кто-то мог предположить, что от дальнейшей борьбы обязательно следует отказаться, как это было бы в том случае, когда игрок знает, что у соперника на руках имеются 7 6. В параллельной Вселенной, где могла бы разыгрываться та же раздача, но на руках у соперника были бы 3 3, комментаторы сказали бы нам, как нам повезло, что в банке оказалось так много денег.
В телевизионной трансляции 2009 г. два игрока мирового класса, Том Дван и Фил Айви, разыграли раздачу, банк которой со временем превысил миллион долларов{662}. Во время игры Айви смог дождаться волшебной карты на терне, принесшей ему 5 стрит со старшей пятеркой. К сожалению, та же самая карта обеспечила Двану стрит со старшей семеркой[129], единственную из возможных на тот момент более сильных комбинаций. «Если кто-то и сможет справиться с этой проблемой, то только Фил Айви», – сказал один из комментаторов, имея в виду, что если он сбросит карты и сдастся, то это будет характеризовать его как величайшего игрока в покер. Однако отказ от продолжения борьбы стал бы признаком плохой игры. Учитывая, что на тот момент было известно Айви, а также агрессивный характер их игры с Дваном до этого, он мог рассчитывать, на 90 %-ную вероятность того, что его рука лучше. И если бы Айви не поставил на эту руку все свои фишки, то можно было бы смело сказать, что сыграл он достаточно плохо.
Телевизионные трансляции способствуют развитию популярности покера, но одновременно они формируют у многих непрофессиональных игроков ошибочные представления о том, как играть в эту игру, уделяя слишком много внимания результатам и совсем недостаточное – правильности процесса принятия решений.
«В реальности крайне редко бывает так, что игрок выигрывает состояние на одной раздаче, – рассказал мне Дван. – По крайней мере, это бывает значительно реже, чем нас убеждают профессионалы и телевизионные шоу».
Как стать непредсказуемым
В прежние времена Дван был известен многим в сети под ником durrrr – он выбрал его сознательно, поскольку посчитал, что такое имя может привести других игроков в состояние «тилта[130]» после проигрыша. Дван разместил 50 долл. на сайте Full Tilt Poker, когда ему было 17 лет, а спустя некоторое время бросил Бостонский колледж, чтобы получить возможность играть целыми днями{663}. Его мастерство росло и развивалось, и постепенно он занял место хищника высшего порядка[131] в пищевой цепочке онлайнового покера{664}. Через его руки ежемесячно протекали миллионы долларов; иногда он проигрывал, однако выигрывал он значительно чаще{665}.
Наш разговор состоялся в 2012 г. К этому времени Дван считался одним из лучших игроков в безлимитный холдем в мире{666}. В 2009 г., имея репутацию креативного, агрессивного, но прежде всего бесстрашного игрока, он бросил вызов всем игрокам в мире (исключение составил его близкий друг Фил Гэлфонд) сыграть с ним один на один на крайне привлекательных условиях. Три сильных игрока со временем приняли вызов, и Дван выиграл два из этих матчей.
Тем не менее при всей своей браваде в быту Дван довольно скромен{667}, а его подход к размышлениям о покере и мире в целом базируется на вероятностной оценке.
Ему удается извлечь прибыль потому, что его противники слишком уверены в себе. «Во многих областях нашей жизни важно оценивать вероятности, а не искать ответы “да” или “нет”, – сказал он мне. – Люди допускают серьезную ошибку при анализе многих ситуаций, от вопроса образования общества налогоплательщиков до расчетов в магазине за овощи или оценки перспективы собственного увольнения».
Дван стремится использовать эти тенденции в своих интересах, сознательно маскируя стиль игры. Если самый важный технический навык в покере состоит в том, чтобы хорошо прогнозировать диапазон возможных рук остальных игроков, то следующий за ним по важности заключается в том, чтобы сделать вашу собственную игру непредсказуемой. «Чем лучше играют ваши партнеры, тем меньше остается у вас уверенности в том, какие карты у них на руках или что они собираются делать, – говорит Дван. – И они будут изо всех сил стремиться к манипуляциям, чтобы извлечь пользу из ваших ошибочных суждений».
И хотя я никогда не стану таким игроком, как Дван, я активно пользовался похожей логикой в те дни, когда я выступал в качестве профессионального игрока в покер. В рамках привычного для середины 2000х гг. мягкого стиля онлайнового покера я мог зарабатывать деньги, играя в консервативный жесткий покер, однако вскоре обнаружил, что более агрессивный стиль мог принести мне еще больше. Идея состояла в том, чтобы найти слепые пятна, которые могут возникать у оппонентов при оценке моих карт.
Например, когда вы повышаете ставки перед флопом, ваш соперник может посчитать, что у вас на руках большие карты типа тузов, королей или дам. Разумеется, иногда такие карты действительно попадают к вам в руки. Однако я мог повышать ставки, даже имея на руках такие же карты, о наличии которых у Юриста мы беспокоились чуть выше, – а именно 7 6. Я обнаружил, что часто, когда крупные карты типа короля или туза оказываются на столе, оппоненты начитают считать, что я собрал пару, и сдаются.
Однако если на столе оказывались менее значимые карты, у меня часто появлялась реальная возможность собрать пару или какую-то другую хорошую комбинацию. Иногда мне даже удавалось собрать с помощью этих карт такую почти невероятную комбинацию, как стрит, и отправить оппонентов в «тилт». Интересная особенность покера в том, что и самые лучшие, и худшие игроки играют довольно случайным образом, хотя и по разным причинам[132]. Таким образом, вы можете иногда одурачить противников и заставить их думать, что вы – слабый игрок, даже если при этом вы собираетесь забрать у них деньги.
В сущности, блеф и агрессивная игра в покере – это не роскошь, а необходимость, в противном случае ваша игра станет слишком предсказуемой. Пять лет назад я перестал играть в покер, и за это время он стал невероятно агрессивным. Из теории игр{668}, равно как и из множества компьютерных моделей{669}, следует, что это – оптимальный подход. Ослепить оппонента картинкой открывающихся перед ним возможностей – это лучший способ усложнить ему возможность проводить расчеты вероятности.
Иногда вы можете выявить ситуации, в которых ваши интуитивные расчеты вероятностей для оппонентов будут слишком приблизительными. Как только игрок в покер начинает считать, что его оппонент никогда не будет разыгрывать определенную руку определенным образом, допустим, никогда не блефует в определенных ситуациях, именно тогда вы начинаете брать над ним верх, заставляя его запутаться между маловероятным и невозможным.
«Я совершал много действий, крайне далеких от оптимальных, однако именно они приносили мне много денег в течение довольно длительного периода времени, – рассказал мне Дван. – Только в последние несколько лет люди наконец-то начали это понимать и стали играть лучше». Главная игра Двана – безлимитный холдем – очень подходит для подобной стратегии, поскольку благодаря размеру ставок вы потенциально способны контролировать суммы денег на кону, принимая каждый раз решение. Порой решения Двана стоят не более 100 долл., другие же могут быть связаны со ставками в 10 тыс., 100 тыс. долл. или даже больше. Стоит вам несколько раз принять правильные решения при банке в миллион долларов, и все, что вы делали, стремясь заработать 100 долл., перестает иметь какое-либо значение.
Я гораздо чаще играл в холдем с лимитом, где величина повышения ставок фиксируется на каждом этапе (до недавних пор это была самая популярная игра вне турниров; десять лет назад по всей территории США проводилось не более чем два-три интересных турнира по безлимитному покеру{670}). В покере с лимитом меньше возможностей для творчества. Тем не менее, совмещая практику с теорией, я провел пару очень успешных лет, эксплуатируя свой агрессивный подход. В 2004–2005 гг. я зарабатывал на игре в покер шестизначные суммы, а совокупная прибыль за самый удачный период моей игры составила около 400 тыс. долл.
Кривая обучаемости в области предсказаний
Различие между Дваном и мной состоит в том, что, когда он бросал вызов практически любому игроку, по любым ставкам и в любое время, я находился в «верхнем среднем классе» игроков в покер, и порой мне нужно было сознательно играть с плохими игроками, чтобы оказываться фаворитом и зарабатывать деньги. К счастью, в годы покерного бума таких плохих игроков, которых часто называют «фиш»[133], было немало.
К покеру, как и к большинству других задач, требующих того или иного типа предсказания, вполне применима идея кривой обучаемости. Главная особенность этой кривой состоит в том, что это на самом деле кривая – наш прогресс при выполнении задачи не всегда линеен. Чаще всего его можно отобразить графически примерно так, как показано на рис. 10.3, и я называю эту зависимость принципом Парето в предсказаниях.
Рис. 10.3. Принцип Парето в области предсказаний
Вы видите график, по одной оси которого откладываются усилия, а по другой – правильность предсказаний. Эти оси можно назвать и иначе – допустим, опыт, с одной стороны, и умение – с другой. Однако в любом случае общая идея остается прежней. Под усилиями или опытом я понимаю сумму денег, количество времени или объем критического мышления, который вы желаете посвятить той или иной проблеме предсказания. Под правильностью или умением я понимаю то, насколько надежными окажутся предсказания в реальном мире.
Название для кривой происходит от широко известной деловой максимы, называемой «принципом Парето» или «правилом 80–20» (пример: 80 % вашей прибыли поступает от 20 % ваших клиентов{671}). В применении к покеру ее можно сформулировать примерно так: вы можете многого добиться, регулярно используя несколько базовых правил. Например, в покере вы можете значительно снизить свои потери, научившись сдаваться с плохими картами, делать ставки на лучшие и обучаясь думать о том, какие карты оказываются на руках вашего оппонента. Если вы научитесь всему этому, то вполне возможно, что в 80 % времени вы будете принимать те же решения, что лучшие игроки в покер, такие как Дван, – даже если вы потратили на изучение игры всего 20 % того времени, которое потратил он.
Это соотношение проявляется и во многих других дисциплинах, в которых предсказания жизненно необходимы. Самые важные 20 % часто обусловлены наличием правильных данных, правильной технологии и правильных стимулов. Вам нужно иметь какую-то информацию – в идеале чем больше, тем лучше, – и вам следует убедиться в том, что она обладает соответствующим уровнем качества.
Вы должны до определенной степени овладеть инструментами, используемыми в вашей профессии. Конечно, хорошо иметь высококлассную технологию, но еще более важно знать, как использовать то, что у вас есть. Нужно заботиться о том, чтобы прогнозы были «правильными» – то есть о выявлении объективной истины, – а не о том, чтобы создавать приятные или удобные для кого-то прогнозы или говорить слова, позволяющие вам пробиться на телевизионные экраны.
Затем вы сможете продвинуться еще на несколько промежуточных шагов, развивая некоторые практические методы (эвристические правила), основанные на опыте, здравом смысле и более-менее систематическом подходе, позволяющем делать прогнозы, а не строить догадки для каждого случая.
Все это совсем непросто, многим подобные вещи не удаются. Однако, с другой стороны, они не слишком сложны, и с их помощью вы можете делать прогнозы, 80 % из которых будут соответствовать уровню прогнозов от самых точных экспертов в мире.
Иногда, однако, самое главное состоит не в том, насколько хороши ваши предсказания в абсолютном смысле, а то, насколько они хороши по сравнению с прогнозами конкурентов.
В покере вы можете принимать правильные решения в 95 % случаев и все равно потерять последнюю рубашку, играя с людьми, которые делают правильные прогнозы в 99 % случаев. Аналогичным образом, для того чтобы обыграть фондовый рынок, вы должны создавать более качественные прогнозы, чем члены команды инвесторов в хороших костюмах с магистерскими степенями, полученными в университетах «Лиги плюща»[134], с зарплатами, выраженными семизначными цифрами, и имеющие в своем распоряжении самые продвинутые компьютерные системы. В подобных случаях вам придется приложить массу дополнительных усилий для победы над конкурентами.
Вскоре вы обнаружите, что отдача от усилий станет меньше. Приобретение новых знаний и опыта, мероприятия по улучшению стратегии и дополнительные переменные, которые вы включаете в свою модель прогнозирования, будут приводить лишь к незначительным улучшениям (рис. 10.4). У вас уже есть набор полезных правил – и теперь вам потребуется понять, в чем состоят исключения из них.
Рис. 10.4. Принцип Парето в области предсказаний в конкурентной среде
Однако в случае, когда в какой-либо области царит высокая конкуренция, именно такие болезненные и не всегда приносящие видимый успех усилия позволяют зарабатывать любые суммы денег. Это своего рода «водораздел», установленный конкуренцией, и ваша прибыль будет напоминать верхушку айсберга – небольшая часть конкурентных преимуществ плавает на поверхности, однако под ней скрывается огромный массив усилий, требующихся для их поддержки.
Я старался уклоняться от работы по подобной схеме. Мне повезло – я смог воспользоваться рядом преимуществ в областях, где уровень водораздела оставался достаточно низким и, чтобы достигнуть успеха, было достаточно лишь правильно применять ряд основных правил. Одна из таких областей – бейсбол в эру, предшествовавшую «Moneyball». Билли Бин смог многого добиться, поняв несколько простых вещей – например, то, что процент успешных достижений баз на поле является более хорошим показателем для оценки наступательных качеств игрока, чем процент удачных попаданий по мячу. В наши дни это понимают почти все. Если бы в области политики у FiveThirtyEight имелся десяток клонов, то мой перевес над остальными игроками был бы в лучшем случае минимальным. Однако часто я, по сути, «конкурирую» с политическими тяжеловесами типа участников McLaughlin Group, которые даже не пытаются создавать точные предсказания. То же самое происходило и в мире покера в середине 2000х гг. Стабильный приток новых и неопытных игроков, посмотревших телевизионные трансляции и считавших, что после этого они научились играть, позволял сохранять низкий уровень водораздела.
Очень хорошо, если вы обладаете хорошими аналитическими навыками, применяемыми в целом ряде дисциплин: в высококонкурентной среде они вам очень пригодятся. Порой вы можете заработать прибыль, занимаясь удачными предсказаниями в областях, где конкуренция уступает неправильным стимулам, плохим привычкам или слепой приверженности традиции – или благодаря тому, что в вашем распоряжении будут более качественные данные или технологии. Гораздо сложнее переигрывать других там, где все остальные правильно используют основные правила и где вы можете одурачить самого себя, считая, что у вас имеется значительный перевес.
В целом обществу нужно изрядно постараться, чтобы получать более качественные предсказания (хотя эти усилия могут потребовать значительной работы с минимальной немедленной наградой). Как минимум мы должны понимать, что создаваемые нами аппроксимации следуют ряду компромиссов. Однако если вы относитесь к предсказанию как к деловому предложению, то вам будет проще найти какое-нибудь место, где вы можете почувствовать себя большой рыбой в маленьком пруду.
Экономика покерного пузыря
Из принципа Парето следует, что в области предсказаний худшими прогнозистами окажутся те, которым не удается правильно применить даже первые 20 % усилий, причем они будут намного хуже, чем лучшие из хороших. Иными словами, даже посредственные прогнозисты оказываются ближе к вершине, чем ко дну. Я уверен, что проиграл бы кучу денег, доведись мне играть в покер против Двана. Однако я бы с радостью сыграл против него, если бы при этом мне была гарантирована игра по тем же ставкам против случайного человека с улицы – в этом случае я мог бы легко рассчитывать на компенсацию своих потерь и выигрыш еще небольшой дополнительной суммы.
Мы можем проверить эту гипотезу эмпирическим путем, изучая статистические данные по игрокам в покер. Я произвел расчеты, основываясь на данных, взятых с покерного сайта, представлявших собой случайную выборку результатов игроков в безлимитный холдем за период 2008–2009 гг. Эта статистика позволила мне рассчитать, сколько денег выигрывали или проигрывали игроки в расчете на каждую раздачу с учетом ставок{672}.
Поскольку выигрыш и проигрыш в краткосрочной перспективе во многом зависят от удачи, я применил статистическую процедуру{673}, позволявшую рассчитать величину долгосрочной прибыльности игроков. Затем я расставил игроков по уровню навыков и разбил их на десять квадрантов одинакового размера. Верхний квадрант, в который входили лучшие 10 % игроков[135], соответствовал лучшему игроку за столом из 10 участников{674}. А нижние 10 % представляли собой самую крупную «фиш».
На диаграмме (рис. 10.5a) представлены мои расчеты, показывающие, насколько опытными являются на самом деле игроки в каждом квадранте. В качестве критерия опытности используется денежная сумма, выигранная или проигранная в расчете на 100 раздач при игре в безлимитный холдем со ставками 5 и 10 долл. (блайнды). Эти цифры включают в себя деньги, выигранные и проигранные другим игрокам и казино, которое либо берет небольшую долю от каждого банка за каждым столом (так называемый рейк, или комиссия), либо взимает ежечасную оплату за работу дилера{675}.
Рис. 10.5а. Результаты расчета сумм, выигранных или проигранных в пересчете на 100 раздач в безлимитном холдеме с блайндами 5 и 10 долл.
Мой расчет показывает, что лучший игрок за столом в одной из этих игр получает, в долгосрочной перспективе, среднюю прибыль порядка 110 долл. на сотню раздач.
Это очень неплохо для онлайнового казино, где раздачи происходят достаточно быстро и на 100 раздач может потребоваться один-два часа[136]. Куда менее привлекательна ситуация в традиционном казино, где для розыгрыша такого же количества раздач требуется до четырех часов, иными словами, вы можете выиграть 25–30 долл. в час.
Но самое главное состоит в том, что худшие игроки за столом теряют деньги значительно быстрее, чем их зарабатывают лучшие. Например, мои оценки показали, что худший игрок – самая большая «фиш» – теряет более 400 долл. на сотню раздач. Этот игрок настолько плох, что ему стоило бы каждый раз сбрасывать карты и отказываться от игры – это обошлось бы ему в 150 долл. на сотню раздач.
Здесь вы видите четкое статистическое эхо правила 80–20: различие между худшими и средними игроками значительно выше, чем между средними и лучшими. Действия лучших игроков почти не отличаются друг от друга, а игроки, оказавшиеся в нижней части кривой, неправильно делают даже самые основные вещи, чудовищным образом отклоняясь от оптимальной стратегии.
В классическом покерном фильме «Шулера» («Rounders»){676} персонаж Мэтта Деймона говорит, что если вы за первые полчаса, проведенных за столом, не можете выявить «сосунка», то этот «сосунок» – вы сами. Не могу полностью с этим согласиться. Может получиться так, что за столом вообще нет «сосунков». Но можно считать, что если вы в процессе игры не можете выявить одного-двух плохих игроков, то вам стоит отказаться от игры. В покере линия между успехом и поражением довольно тонка, и очень многое может зависеть от присутствия или отсутствия за столом «фиша».
В этой описанной мной игре одна «фиш» кормила множество голодных ртов. Ее присутствие позволило другим игрокам получить около 40 долл. на 100 раздач.
Этой суммы было вполне достаточно для того, чтобы половина из них осталась в плюсе, даже после вычета комиссионных казино. Покер подчиняется теории, согласно которой нижние 10 % игроков теряют деньги достаточно быстро для того, чтобы поддерживать сравнительно большой средний класс игроков, позволяя им оставаться при своих.
Но что происходит, когда «фиш» – или «сосунок» – неминуемо вылетает из-за стола? Несколько игроков с небольшим выигрышем тут же превращаются в игроков с небольшим проигрышем (рис. 10.5б). Теперь мы можем смело считать: в долгосрочной перспективе деньги будет зарабатывать лишь самый лучший игрок за столом, да и то значительно меньше, чем прежде.
Рис. 10.5б. Результаты расчета сумм, выигранных или проигранных за 100 раздач в игре в безлимитный покер с блайндами 5 и 10 долл. после проигрыша «фиш»
Более того, когда «фиш» бросает игру, это может повлиять на оставшихся. Тот игрок, кто раньше был вторым в списке плохих игроков, теперь становится основой жертвой и будет терять деньги быстрее, чем до этого. После того как он покинет место за столом, задача остающихся игроков становится еще более сложной. Вся покерная экосистема теряет прежнюю устойчивость.
Каким же образом покеру удается оставаться столь интересным? Иногда в него играют «фиши» с бездонными карманами: по расчетам сайта PokerKingBlog.com, Ги Лалиберте, руководитель Cirque du Soleil, проиграл в 2008 г. не менее 17 млн долл. в онлайновый покер{677}, где играл по высоким ставкам против оппонентов типа Двана. Но сколько бы ни составляла эта сумма, Лалиберте – это миллиардер, играющий в покер для интеллектуального удовольствия. Для него эта сумма не значила ровным счетом ничего, как для обычного американца проигрыш нескольких сотен долларов в блек-джек.
Значительно чаще ответ состоит в том, что деньги проигрывает не один игрок– «фиш», а много игроков, занимающих по очереди свое место, теряющих несколько сотен или тысяч долларов, а затем уходящих из-за стола. В традиционных казино типа «Белладжио» такие игроки могут сесть за покерный стол после игры в кости, шоу в ночном клубе или выигрыша в турнире с небольшими ставками.
Как показывает мой собственный опыт в онлайновом покере, популяция «фиш» довольно нерегулярна и зависит от законодательной среды в различных странах, количества рекламы покерных сайтов и, возможно, даже времени года{678}. Однако в период покерного бума пул игроков рос настолько быстро, что в «фиш» не было недостатка.
Такая ситуация не могла не измениться.
Как лопнул покерный пузырь
В октябре 2006 г. Конгресс, находившийся под влиянием республиканцев и стремившийся принести голоса избирателей перед следующими выборами{679}, завершал свою работу. Оказавшись загнанным в угол массой важных дел, он пропустил довольно двусмысленный закон, известный как «Акт о незаконном применении азартных игр в интернете» (Unlawful Internet Gambling Enforcement Act (UIGEA)). Строго говоря, этот закон не делал онлайновый покер незаконным. Скорее, он был нацелен на третьи стороны, организовывавшие денежные потоки на покерных сайтах.
Читать бесплатно другие книги:
