Совместимость. Как контролировать искусственный интеллект Рассел Стюарт

Предположение, что счастье есть результат и цель нравственности, не означает, что к этой цели нельзя прокладывать дорогу или советовать людям, идущим к ней, отдать предпочтение одному направлению перед другим… Никто же не утверждает, что искусство навигации не основывается на астрономии, потому что моряки не могут ждать, пока будут сделаны расчеты морского астрономического календаря. Будучи рациональными существами, моряки выходят в море, имея готовые расчеты, и все рациональные существа выходят в море жизни с умами, снабженными ответами на всеобщие вопросы о том, что хорошо и что плохо, а также на множество намного более трудных вопросов о мудрости и глупости.

Этот взгляд полностью согласуется с идеей о том, что конечная машина, сталкивающаяся с бесконечной сложностью реального мира, может вызвать лучшие последствия, если будет следовать нравственным нормам и усваивать добродетельную позицию, вместо того чтобы пытаться вычислить оптимальный порядок действий с нуля. Аналогично шахматная программа чаще выигрывает, если пользуется каталогом стандартных дебютов, алгоритмами эндшпилей и оценочной функцией, а не пытается логически построить свой путь к победе без каких-либо «нравственных ориентиров». Консеквенциалистский подход придает и некоторое значение предпочтениям убежденных сторонников сохранения заданного деонтологического правила, поскольку горечь от нарушения правила является реальным последствием. Однако это последствие не имеет бесконечного влияния.

Принцип консеквенциализма трудно оспорить — хотя многие пытались! — поскольку нелогично возражать против консеквенциализма на том основании, что это имело бы нежелательные последствия. Нельзя сказать: «Если вы последуете принципу консеквенциализма в таком-то случае, случится что-то ужасное!» Любой подобный провал стал бы всего лишь свидетельством неверного применения теории.

Допустим, Гарриет хочет совершить восхождение на Эверест. Консеквенциалистский Робби решил бы попросту поднять ее и высадить на вершину Эвереста, раз это ее желаемое последствие. По всей вероятности, Гарриет будет решительно против такого плана, ведь это не позволило бы ей преодолевать трудности, следовательно, ощутить восторг от результата, достигнутого решением сложной задачи собственными силами. Очевидно, правильно сконструированный консеквенциалистский Робби понял бы, что последствия включают все переживания Гарриет, а не только конечную цель. Он мог бы захотеть оказаться рядом в случае непреодолимых сложностей, а также гарантировать, чтобы Гарриет получила необходимую экипировку и подготовку, но он также согласился бы с правом Гарриет подвергнуть себя беспрецедентному риску смерти.

Если мы планируем создавать консеквенциалистские машины, возникает следующий вопрос: как оценить последствия, влияющие на многих людей? Возможно, ответ состоит в том, чтобы приписывать предпочтениям каждого одинаковый вес — иными словами, максимизировать сумму полезностей для каждого. Этот ответ обычно приписывается британскому философу XVIII в. Иеремии Бентаму[282] и его ученику Джону Стюарту Миллю[283], разработавшим философский подход к утилитаризму. Основная идея прослеживается вплоть до трудов древнегреческого философа Эпикура и в явном виде предстает в трактате «Мо-цзы», автором которого считается древнекитайский философ, которого звали так же. Мо-цзы работал в конце V в. до н. э. и продвигал идею цзянь ай — «всеобъемлющей заботы» (или «всеобщей любви», в зависимости от перевода) как определяющего признака нравственного действия.

Утилитаризм имеет подпорченную репутацию, отчасти из-за банального непонимания. (Безусловно, не способствует пониманию и то, что слово утилитарный в быту означает «призванный быть скорее полезным или практичным, чем привлекательным».) Утилитаризм часто считается несовместимым с личными правами, поскольку его последователь, как принято считать, без колебаний выпотрошит живого человека, чтобы пересадить его органы и спасти пять жизней. Очевидно, однако, что подобные подходы сделали бы недопустимо шаткой жизнь любого землянина, так что условному утилитаристу такое и в голову не придет. Утилитаризм ошибочно идентифицируют с весьма непривлекательной максимизацией совокупного богатства и считают, что он придает очень мало значения бедности или страданиям. В действительности версия Бентама сосредоточивалась именно на счастье человека, а Милль уверенно приписывал намного большую ценность интеллектуальным удовольствиям над простыми ощущениями («Лучше быть недовольным человеком, чем довольной свиньей»). Идеальный утилитаризм Дж. Э. Мура пошел еще дальше: он выступал за максимизацию психических состояний самоценности, олицетворяемой эстетическим постижением красоты.

Думаю, философам-утилитаристам нет необходимости специально оговаривать идеальное содержание полезности или предпочтений человека. (Еще меньше причин для этого у исследователей ИИ.) Люди могут сделать это сами. Экономист Джон Харсаньи представил подобный взгляд в форме принципа автономии предпочтений[284]:

При принятии решения о том, что хорошо и что плохо для данного индивида, решающим критерием могут быть лишь его собственные желания и его собственные предпочтения.

Таким образом, утилитаризм предпочтений Харсаньи примерно соответствует первому принципу полезного ИИ, который гласит, что единственное назначение машины — реализация предпочтений человека. Исследователи ИИ, безусловно, не должны решать, какими должны быть предпочтения человека! Как Бентам, Харсаньи рассматривает подобные принципы как руководство к принятию общественных решений; он не требует от индивидов такого бескорыстия. Не ждет он от них и идеальной рациональности: например, у них могут быть краткосрочные желания, противоречащие их «более глубоким предпочтениям». Наконец, он предлагает игнорировать предпочтения тех, кто, как вышеупомянутая Гарриет-садистка, деятельно старается уменьшить благополучие других.

Харсаньи также приводит нечто вроде доказательства того, что оптимальные нравственные решения должны максимизировать среднюю полезность во всей человеческой популяции[285]. Он выдвигает довольно слабые постулаты, аналогичные тем, что лежат в основе теории полезности индивидов. (Главный добавочный постулат: если все в популяции индифферентны к любому из двух результатов, то и агент, действующий в интересах популяции, должен быть индифферентным в отношении этих результатов.) Исходя из этих постулатов, он доказывает так называемую теорему общественного агрегирования: агент, действующий в интересах популяции индивидов, должен максимизировать взвешенную линейную комбинацию полезностей индивидов. Далее он утверждает, что «беспристрастный» агент будет использовать равные веса.

Эта теорема требует одного решающего дополнительного (и несформулированного) допущения: все индивиды имеют одни и те же фактические исходные убеждения о мире и о том, как он будет развиваться. Однако каждый родитель знает, что это неверно даже в отношении их детей, не говоря уже о людях из разных социальных слоев и культур. Что же происходит, если индивиды имеют разные убеждения? Нечто весьма странное[286]: вес, приписываемый полезности каждого индивида, должен меняться со временем пропорционально тому, насколько исходные убеждения данного индивида соответствуют раскрывающейся реальности.

Эта весьма неэгалитарная формула, хорошо знакома каждому родителю. Скажем, роботу Робби поручили приглядывать за двумя детьми, Алисой и Бобом. Алиса хочет пойти в кино и уверена, что сегодня будет дождь, Боб рвется на пляж и настаивает, что день будет солнечный. Робби мог бы заявить: «Мы идем в кино», — сделав Боба несчастным, или: «Мы идем на пляж», — сделав несчастной Алису, либо он может сказать: «Если будет дождь, пойдем в кино, а если солнце, то на пляж». Последний план делает счастливыми и Алису, и Боба, поскольку каждый из них верит своим собственным убеждениям.

Вызовы утилитаризму

Утилитаризм — одно из предложений, возникших из длительного поиска человечеством нравственного ориентира; среди их множества оно сформулировано наиболее четко — поэтому весьма уязвимо для лазеек. Философы ищут их больше ста лет. Например, Дж. Э. Мур, возражая Бентаму, делавшему акцент на максимизацию удовольствия, представлял себе «мир, в котором не существует абсолютно ничего, кроме удовольствия, — ни знания, ни любви, ни наслаждения красотой, ни нравственных качеств»[287]. В современности это наблюдение находим в замечании Стюарта Армстронга, что сверхинтеллектуальные машины, перед которыми поставлена задача максимизации удовольствия, могут «замуровать всех и каждого в бетонных гробах на героиновой игле»[288]. Другой пример: в 1945 г. Карл Поппер предложил достойную цель минимизации человеческого страдания[289], утверждая, что аморально обменивать боль одного человека на удовольствие другого, на что Р. Н. Смарт ответил, что легче всего этого достичь, добившись вымирания человеческой расы[290]. В настоящее время идея, что машина может положить конец страданиям людей, покончив с нашим существованием, является основной в дебатах об экзистенциальном риске, который несет ИИ[291]. Третьим примером является подчеркнутая Дж. Э. Муром идея реальности источника счастья, корректирующая более ранние определения, которые, как представляется, оставляют лазейку, позволяющую максимизировать счастье путем самообольщения. Современные аналоги этого варианта включают «Матрицу» (где современная реальность оказывается иллюзией, созданной компьютерным моделированием) и недавнюю работу по проблеме самообмана в обучении с подкреплением[292].

Эти и другие примеры убеждают меня, что сообщество разработчиков ИИ должно обращать пристальное внимание на атаки и контратаки, совершаемые в ходе философских и экономических дебатов вокруг утилитаризма, имеющих непосредственное отношение к нашей задаче. Две самые важные темы с точки зрения разработки ИИ-систем, полезных для множества индивидов, связаны со сравнениями полезностей между индивидами и между популяциями разной величины. Споры вокруг обеих тем ведутся не менее 150 лет, что заставляет подозревать, что путь к их удовлетворительному разрешению будет извилистым.

Дебаты вокруг межличностного сравнения полезностей важны, потому что Робби не может максимизировать сумму полезностей Алисы и Боба, пока их полезности нельзя будет сложить, а сложить их можно, только если они измеряются в одной и той же шкале. Британский логик и экономист XIX в. Уильям Стэнли Джевонс (изобретатель раннего механического компьютера, так называемого логического пианино) утверждал в 1871 г., что межличностные сравнения невозможны[293]:

Восприимчивость одного ума, насколько нам известно, может быть в тысячу раз больше, чем другого. Однако при условии, что восприимчивость различается в одинаковом соотношении по всем направлениям, мы никогда не сможем обнаружить даже самую вопиющую разницу. Таким образом, любой ум непостижим для любого другого ума, и никакой общий знаменатель чувств невозможен.

Американский экономист Кеннет Эрроу, основатель современной теории социального выбора, лауреат Нобелевской премии 1972 г., был столь же непреклонен:

Здесь мы будем придерживаться той точки зрения, что межличностное сравнение полезностей не имеет смысла и что в действительности нет смысла сравнивать благосостояние, измеряя индивидуальную полезность.

Трудность, которую имеют в виду Джевонс и Эрроу, заключается в отсутствии очевидного способа установить, оценивает ли Алиса уколы булавкой и леденцы по шкале от 1 до +1 или от 1000 до +1000 в смысле своего субъективного переживания счастья. В любом случае она отказалась бы от одного леденца, чтобы избежать одного укола. Действительно, если бы Алиса была человекоподобным роботом, внешне она могла бы вести себя так же даже в отсутствие какого бы то ни было субъективного переживания счастья.

В 1974 г. американский философ Роберт Нозик предположил, что, даже если бы межличностное сравнение полезностей было возможно, максимизация суммы полезностей все равно была бы плохой идеей, потому что вступила бы в противоречие с монстром полезности — абстрактным человеком, чьи ощущения удовольствия и боли во много раз интенсивнее, чем у обычных людей[294]. Такой человек счел бы, что любая дополнительная единица ресурсов привела бы к большему увеличению общей суммы счастья человечества, если бы досталась ему, а не другим. Тогда и отнимать ресурсы у других во благо монстра полезности также было бы хорошей идеей.

Казалось бы, это нежелательное последствие, но консеквенциализм сам по себе здесь бессилен: проблема заключается в том, как мы измеряем желательность последствий. Один из возможных ответов состоит в том, что монстр полезности — теоретический конструкт, таких людей не бывает. Однако вряд ли такой ответ сработает: в определенном смысле все люди являются монстрами полезности по сравнению, скажем, с крысами и бактериями, поэтому мы и не обращаем внимания на предпочтения крыс и бактерий, вырабатывая меры общественной политики.

Если мысль о том, что разные сущности имеют разные шкалы полезности, уже встроена в наше мышление, то кажется более чем вероятным, что и у разных людей имеются разные шкалы.

Другая возможная реакция заключается в том, чтобы воскликнуть: «Что ж, не повезло!» — и действовать исходя из предположения, что у всех одна и та же шкала, даже если это не так[295]. Можно также попытаться изучить этот вопрос научными средствами, недоступными Джевонсу, например измерить уровни дофамина или степень электрического возбуждения нейронов в ответ на удовольствие и боль, счастье и несчастье. Если химические и нервные отклики Алисы и Боба на леденец практически одинаковы, как и их поведенческие реакции (они улыбаются, причмокивают губами и т. д.), представляется нелепым настаивать, что их субъективные степени удовольствия все равно отличаются в тысячу или миллион раз. Наконец, можно было бы воспользоваться единой валютой скажем, временем (которого у всех нас, очень приблизительно, поровну), — например, соотнеся леденцы и булавочные уколы, допустим, с пятью минутами дополнительного ожидания в зоне вылета аэропорта.

Я значительно менее пессимистичен, чем Джевонс и Эрроу. Я подозреваю, что действительно имеет смысл сравнивать полезности индивидов и что шкалы могут отличаться, но не в большой степени, и что машины могут начинать с разумно общих исходных представлений о шкалах человеческих предпочтений и постепенно узнавать больше об индивидуальных шкалах путем наблюдения, возможно соотнося натурные наблюдения с результатами исследований нейробиологов.

Второй предмет дебатов — о сравнении полезности популяций разной величины — имеет значение, если решения влияют на то, кто будет существовать в будущем. Например, в фильме «Мстители: Война бесконечности» Танос формулирует и реализует теорию, что если людей станет в два раза меньше, то оставшиеся будут более чем в два раза счастливее. Это те самые наивные расчеты, из-за которых утилитаризм приобрел дурную славу[296].

Тот же вопрос — только без камней бесконечности{16} и грандиозного бюджета — рассматривался в 1874 г. британским философом Генри Сиджвиком в знаменитом труде «Методы этики»[297]. Сиджвик, очевидно, разделяя убеждение Таноса, пришел к выводу, что правильный выбор состоит в коррекции численности популяции, пока не будет достигнута максимальная совокупная мера счастья. (Очевидно, это не предполагает безграничного увеличения населения, поскольку в какой-то момент все будут обречены на голодную смерть, следовательно, станут весьма несчастными.) В 1984 г. британский философ Дерек Парфит вновь поднял этот вопрос в своей эпохальной работе «Причины и личности»[298]. Парфит утверждает, что в любой ситуации с популяцией из N очень счастливых людей имеется (согласно принципам утилитаризма) предпочитаемая ситуация с 2N человек, совсем немного менее счастливых. Это представляется чрезвычайно правдоподобным. К сожалению, это ведет на скользкую дорогу. Повторяя процесс, мы придем к так называемому Отталкивающему выводу (термин принято писать с большой буквы, вероятно, чтобы подчеркнуть его викторианские корни): самой желательной является ситуация с огромной популяцией, все представители которой вынуждены влачить едва того стоящее существование.

Как вы понимаете, вывод спорный. Сам Парфит больше 30 лет пытался найти выход из тупика, в который зашел, но безуспешно. Я подозреваю, что мы упускаем какие-то фундаментальные аксиомы, аналогичные тем, что связаны с индивидуально рациональными предпочтениями, чтобы иметь возможность выбирать между популяциями разной величины и уровня счастья[299].

Важно решить эту проблему, поскольку машины с достаточной прозорливостью способны рассмотреть планы действий, ведущие к разным размерам популяции, как поступило в 1979 г. китайское правительство, приняв политику «одна семья, один ребенок». Весьм вероятно, например, что мы будем просить у ИИ-систем помощи в поиске решений проблемы глобального изменения климата — и эти решения будут включать меры, ограничивающие или даже сокращающие численность населения[300]. В то же время, если мы решим, что увеличившееся население в действительности лучше, и припишем существенный вес благополучию потенциально многочисленного человечества, которое будет жить спустя столетия, то нам нужно будет намного активнее искать способы выхода за пределы Земли. Если расчеты машин ведут к Отталкивающему выводу или его противоположности — крохотной популяции оптимально счастливых людей, — у нас, возможно, есть повод сожалеть о своей неспособности достичь прогресса в этом вопросе.

Некоторые философы утверждают, что нам, возможно, придется принимать решения в ситуации нравственной неопределенности, — неопределенности в отношении того, какую теорию морали применить при принятии решения[301]. Одним из решений этой проблемы является приписывание определенной вероятности каждой теории морали и принятие решений с использованием «ожидаемой нравственной ценности». Непонятно, однако, имеет ли смысл приписывать вероятности нравственным теориям по аналогии с тем, как мы приписываем вероятности завтрашней погоде. (Какова вероятность, что Танос совершенно прав?) Даже если это имеет смысл, потенциально огромные различия между рекомендациями конкурирующих нравственных теорий означают, что устранение нравственной неопределенности — выяснение того, какие нравственные теории позволяют избежать неприемлемых последствий, — должно произойти до того, как мы примем подобные важные решения или доверим их машинам.

Будем оптимистами и предположим, что постепенно мы решим эти и другие проблемы, вытекающие из существования на Земле более чем одного человека. Достаточно альтруистичные и эгалитарные алгоритмы загружаются в роботов по всему миру. Всеобщее ликование и веселая музыка. Затем Гарриет возвращается домой…

Робби. Добро пожаловать домой! Устала сегодня?

Гарриет. Да, очень много работы, даже перекусить не успела.

Робби. Так ты, наверное, проголодалась!

Гарриет. Умираю с голоду! Можешь приготовить обед?

Робби. Я должен тебе кое-что сказать…

Гарриет. Что? Только не говори, что в холодильнике пусто!

Робби. Нет, но люди в Сомали нуждаются в более срочной помощи. Я отбываю немедленно. Будь добра, приготовь обед сама.

Даже если Гарриет гордится Робби и собственным вкладом в его превращение в столь возвышенную и благородную машину, она не может не удивляться, зачем было выкладывать целое состояние, чтобы купить робота, первым важным действием которого стало исчезновение. На деле, конечно, никто не купит такого робота, следовательно, такие роботы не будут создаваться. Назовем это «проблемой Сомали». Чтобы вся схема с утилитарными роботами была работоспособной, мы должны найти решение этой проблемы. В частности, Робби должен быть в некоторой мере лоялен по отношению к Гарриет — возможно, пропорционально заплаченной Гарриет за него сумме. Если общество хочет, чтобы Робби помогал и другим людям, кроме Гарриет, оно, вероятно, должно будет компенсировать Гарриет ее потери в ситуациях, когда прибегает к помощи Робби. Весьма вероятно, что роботы будут координировать свои действия, чтобы все они разом не отбыли в Сомали, — а если бы это случилось, Робби вообще не нужно было бы уезжать. Может быть, возникнут экономические отношения совершенно нового типа, способные справиться с присутствием (очевидно, беспрецедентным) миллиардов сугубо альтруистичных агентов в мире.

Хорошие, отвратительные и завистливые люди

Предпочтения людей далеко не исчерпываются удовольствием и пиццей. Они, бесспорно, распространяются на благополучие других. Даже Адам Смит, отец экономики, которого часто цитируют, когда нужно оправдать эгоизм, начал свою первую книгу с подчеркивания принципиальной важности заботы о других[302]:

Насколько бы эгоистичным ни представлялся человек, очевидно, в его природе есть некоторые принципы, заставляющие его интересоваться судьбой других и мыслить их счастье необходимым для него, хотя он ничего от него не получает, кроме удовольствия его наблюдать. Таковы жалость или сострадание, эмоции, которые мы испытываем при несчастье других, или наблюдая его, или получая очень живое о нем представление. То, что мы часто испытываем горе из-за горя других, в действительности слишком очевидно, чтобы требовать каких-либо доказательств.

В современной экономической терминологии забота о других обычно относится к категории альтруизма[303]. Теория альтруизма довольно хорошо разработана и оказывает существенное влияние, в том числе на налоговую политику. Следует отметить, что некоторые экономисты рассматривают альтруизм как еще одну форму эгоизма, призванную окружить дарителя «теплым сиянием»[304]. Безусловно, роботы должны быть осведомлены об этой возможности при интерпретации человеческого поведения, но на данный момент договоримся истолковывать сомнения в пользу людей и предположим, что они действительно пекутся о чужом благе.

Проще всего понять альтруизм, разделив предпочтения человека на два типа: связанные с собственным непосредственным благополучием и с благополучием других. (Наблюдаются значительные разногласия по поводу возможности четко их разделить, но я ими пренебрегу.) Непосредственное благополучие связано с качествами собственной жизни, такими как жилище, тепло, средства существования, безопасность и т. д., которые желательны сами по себе, а не в связи с качествами чужих жизней.

Чтобы уточнить это представление, предположим, что в мире живут только два человека, Алиса и Боб. Общая полезность для Алисы состоит из ее собственного непосредственного благополучия плюс результата перемножения некоторого коэффициента САВ на непосредственное благополучие Боба. Коэффициент заботы САВ показывает, насколько Алисе есть дело до Боба. Аналогично общая полезность для Боба состоит из его непосредственного благополучия плюс некий коэффициент заботы СВА, умноженный на непосредственное благополучие Алисы[305]. Робби пытается помочь и Алисе, и Бобу, что означает, скажем, максимизацию суммы их двух полезностей. Таким образом, Робби должен уделять внимание не только индивидуальному благополучию обоих, но и тому, насколько каждого из них заботит благополучие другого[306].

Большое значение имеют коэффициенты заботы САВ и СВА. Например, если САВ положителен, то Алиса «хорошая»: она становится более счастливой, если у Боба все благополучно. Чем больше значение положительного САВ, тем более готова Алиса пожертвовать частью своего благополучия, чтобы помочь Бобу. Если САВ равен нулю, Алиса всецело эгоистична: если бы она смогла, то отняла бы любое количество ресурсов у Боба, даже оставив его нищим и голодным. Имея дело с эгоистичной Алисой и хорошим Бобом, утилитарный Робби, очевидно, станет защищать Боба от самых разорительных посягательств Алисы. Интересно, что в обычном случае в итоговом равенстве Боб имеет меньшее непосредственное благополучие, чем Алиса, но он может иметь большее совокупное счастье, поскольку заботится о ее благополучии. Казалось бы, решения Робби очень несправедливы, если Бобу в результате достается меньше непосредственного благополучия лишь потому, что он лучше Алисы: разве результат не возмутит его и не сделает несчастным?[307] Что ж, это возможно, но это была бы другая модель, включающая недовольство разницей благополучий. В нашей простой модели Боб будет удовлетворен результатом. Действительно, в равновесной ситуации он бы противился любой попытке перенаправить ресурсы от Алисы ему, потому что это уменьшило бы его совокупное счастье. Если вам это кажется совершенно нереалистичным, рассмотрите случай, когда Алиса является новорожденной дочерью Боба.

По-настоящему проблемной для Робби является ситуация, когда САВ отрицателен: в этом случае Алиса попросту отвратительна. Подобные предпочтения я описываю термином негативный альтруизм. Как в приведенном ранее примере с садисткой Гарриет, речь идет не о заурядной зависти и эгоистичности, когда Алиса рада урвать долю Боба, чтобы увеличить собственную. Негативный альтруизм означает, что единственным источником счастья для Алисы является уменьшение чужого благополучия, даже если ее собственное непосредственное благополучие при этом не меняется.

В статье, где вводилось понятие утилитаризма предпочтений, Харсаньи объясняет негативный альтруизм «садизмом, завистью, возмущением и злобностью» и утверждает, что ими следует пренебрегать при расчете общей суммы человеческой полезности в популяции:

Никакое доброе отношение к индивиду Х не может наложить на меня нравственное обязательство помогать ему в причинении вреда третьей личности, индивиду Y.

Похоже, это область, в которой разработчикам интеллектуальных машин целесообразно, скажем так, надавить спасительным пальцем на нужную чашу весов.

К сожалению, негативный альтруизм намного более распространен, чем кажется. Он возникает чаще не из садизма и злобности[308], а из зависти и возмущения и обратной им эмоции, которую я называю гордыней (за отсутствием лучшего обозначения). Если Боб завидует Алисе, то становится несчастным из-за разницы между благополучием Алисы и собственным; чем больше разница, тем он несчастнее. Напротив, если Алиса гордится своим превосходством над Бобом, то для нее становится источником счастья тот факт, что она стоит выше него. Легко доказать, что в математическом смысле гордыня и зависть действуют примерно так же, как садизм; они заставляют Алису и Боба испытывать счастье исключительно за счет снижения благополучия друг друга, поскольку уменьшение благополучия Боба увеличивает гордыню Алисы, а уменьшение благополучия Алисы уменьшает зависть Боба[309].

Джеффри Сакс, знаменитый специалист по экономике развития, однажды рассказал мне историю, иллюстрирующую силу подобных предпочтений в мышлении людей. Он был в Бангладеш вскоре после масштабного наводнения, разорившего один из регионов страны, и разговаривал с фермером, потерявшим дом, поля, весь скот и одного из детей: «Мне очень жаль, вы, конечно, в страшном горе». «Ничего подобного, — ответил фермер. — Я прямо-таки счастлив, ведь мой проклятый сосед лишился еще и жены и всех детей!»

Экономический анализ гордыни и зависти — особенно в контексте социального положения и статусного потребления — вышел на первый план в работе американского социолога Торстейна Веблена, издавшего в 1899 г. книгу «Теория праздного класса», в которой раскрываются разрушительные следствия подобного отношения[310], В 1977 г. британский экономист Фред Хирш издал «Социальные пределы роста»[311], где ввел понятие статусного товара. Статусным товаром может быть все что угодно — машина, дом, олимпийская медаль, образование, доход или определенный акцент, — что получает свою воспринимаемую ценность не только из присущих выгод, но и из относительных свойств, в том числе малого количества или превосходства по отношению к кому-то другому. Погоня за статусными товарами, побуждаемая гордыней и завистью, имеет характер игры с нулевой суммой, иными словами, Алиса не может улучшить свое относительное положение, не ухудшив относительное положение Боба, и наоборот. (Это, очевидно, не мешает тратить на эту погоню огромные суммы.) Статусные товары получили повсеместное распространение в современной жизни, и машинам придется понять их общую значимость в предпочтениях индивидов. Более того, специалисты по теории социальной идентичности предполагают, что членство в группе и принадлежность к ней, а также статус всей группы относительно других групп являются принципиально важными составляющими самоуважения человека[312]. Итак, трудно понять поведение человека без понимания того, как индивиды воспринимают самих себя как членов групп — будь то биологического вида, населения страны, этнической группы, политической партии, профессионального круга, семьи или болельщика определенной футбольной команды.

Как и в случае садизма и злобности, мы можем предположить, что Робби должен будет приписывать малый или нулевой вес гордыне и зависти от своих планов помощи Алисе и Бобу. Однако это предложение сталкивается с некоторыми трудностями. Поскольку гордыня и зависть противодействуют заботе в отношении Алисы к благополучию Боба, будет нелегко их разделить. Может оказаться, что Алиса очень заботлива, но в то же время страдает от зависти; трудно отличить эту Алису от другой Алисы, которой лишь самую малость не наплевать на Боба, зато она совсем не завидует ему. Более того, в силу преобладания гордыни и зависти в человеческих предпочтениях критически важно учесть негативные последствия их игнорирования. Возможно, они принципиальны для самооценки, особенно в положительной форме самоуважения и восхищения другими.

Позвольте мне еще раз подчеркнуть ранее сделанное замечание: правильно сконструированные машины не будут вести себя так, как те, чье поведение они наблюдают, даже если они изучают предпочтения демонов-садистов. Возможно даже, что, оказавшись в незнакомой ситуации повседневного взаимодействия с чисто альтруистическими сущностями, мы научимся быть лучшими людьми — более альтруистичными и менее управляемыми гордыней и завистью.

Тупые, эмоциональные люди

Название этого раздела не выделяет конкретный подтип людей. Оно относится ко всем нам. Мы все невероятно тупы по сравнению с недостижимым уровнем идеальной рациональности и все подвержены эмоциональным переменам, в значительной мере управляющим нашим поведением.

Давайте начнем с тупости. Идеально рациональная сущность максимизирует ожидаемое удовлетворение своих предпочтений во всех возможных будущих жизнях, которые могла бы для себя избрать. Я не в состоянии написать число, характеризующее сложность этой проблемы принятия решения, но считаю полезным следующий мысленный эксперимент. Сначала заметьте, что количество выборов в области двигательного контроля, которые человек делает в течение жизни, составляет около 20 трлн (см. подробные расчеты в Приложении А). Далее, посмотрим, куда заведут нас вычисления методом перебора на описанном Сетом Ллойдом ноутбуке с предельными физическими возможностями, который в миллиард триллионов триллионов раз быстрее самого быстрого в мире компьютера. Поручим этому устройству перебрать все возможные последовательности слов английского языка (скажем, в порядке разминки перед Вавилонской библиотекой из рассказа Борхеса) и оставим его на год работать. Последовательности скольких слов он сможет пересчитать за это время? Тысячу страниц текста? Миллион страниц? Нет. Одиннадцать слов. Это дает некоторое представление о трудности конструирования наилучшей возможной жизни из 20 трлн действий. В общем, мы намного дальше от рациональности, чем слизень от возможности обогнать космический корабль «Энтерпрайз» из «Звездного пути» при искривлении пространства девятого уровня. Мы не имеем ни малейшего представления о том, какой должна быть рационально выбранная жизнь.

Из этого следует, что люди часто действуют против собственных предпочтений. Например, Ли Седоль во время матча, проигранного программе AlphaGo, сделал один или даже несколько ходов, гарантировавших проигрыш, и AlphaGo смогла (по крайней мере, в некоторых случаях) это зафиксировать. Однако для AlphaGo было бы неправильно сделать вывод, что Ли Седоль имеет предпочтение проиграть. Нет, было бы разумно заключить, что Ли Седоль предпочитает выиграть, но некоторые ограничения вычислительных возможностей не позволяют ему выбирать верный ход во всех случаях. Таким образом, чтобы понять поведение Ли Седоля и узнать его предпочтения, робот, следующий третьему принципу («решающим источником информации о человеческих предпочтениях является человеческое поведение»), должен сколько-нибудь разбираться в когнитивных процессах, обусловливающих это поведение. Он не может по умолчанию считать его рациональным.

Это ставит очень серьезную исследовательскую проблему перед создателями ИИ, специалистами по когнитивной науке, психологами и нейробиологами: каким образом достичь настолько глубокого понимания человеческой познавательной деятельности[313], чтобы мы (или, скорее, наши полезные машины) могли «ретроспективно вывести» из поведения человека его глубинные предпочтения, если таковые имеются? Люди отчасти справляются с этим, усваивая ценности других, руководствуясь врожденными навыками, так что, по-видимому, это возможно. У людей есть преимущество: они могут использовать собственную когнитивную архитектуру, чтобы моделировать чужую, даже не зная, что это за архитектура: «Если я хочу Х, то делаю то же самое, что мамочка, значит, мамочка, по-видимому, хочет Х».

Машины этого преимущества лишены. Они с легкостью моделируют другие машины, но не людей. Не похоже, чтобы они в скором времени получили доступ к полной модели человеческой когнитивной деятельности, будь то видовой или ориентированный на конкретных индивидов. Вместо этого имеет смысл с практической точки зрения рассмотреть основные пути отклонения людей от рациональности и изучить вопрос о том, как узнавать предпочтения по поведению, демонстрирующему эти отклонения.

Одно из очевидных различий между людьми и рациональными сущностями состоит в том, что в любой отдельный момент мы не делаем выбор из всех возможных первых шагов для всех возможных вариантов жизни. Мы очень от этого далеки. Типичный человек встроен в глубоко укорененную иерархию «стандартных подпрограмм». В общем, мы преследуем ближайшие цели, а не максимизируем предпочтения в отношении будущей жизни, и можем действовать лишь в соответствии с ограничениями стандартных подпрограмм, имеющихся у нас в настоящее время. В данную минуту, например, я печатаю это предложение: я могу выбирать, как продолжить его после двоеточия, но мне никогда не придет в голову задуматься о том, чтобы бросить его писать, а вместо этого прослушать онлайновый курс для рэперов, или сжечь дом и потребовать страховку, или о любом другом из мириад действий, которые я мог бы совершить. Вероятно, многие из них были бы лучше того, что я делаю сейчас, но с учетом моей иерархии обязательств для меня они все равно что не существуют.

Судя по всему, понимание действий человека требует понимания его иерархии стандартных подпрограмм (весьма индивидуальной): какую подпрограмму данный человек выполняет сейчас, какие краткосрочные цели преследуются в рамках этой подпрограммы и какое отношение они имеют к глубинным, долгосрочным предпочтениям. Обобщая, можно сказать, что выяснение человеческих предпочтений требует узнавания реальной структуры человеческой жизни. Каковы все те дела, которыми мы, люди, можем заниматься, поодиночке или вместе? Какие занятия характерны для разных культур и типов индивидов? Это невероятно интересные и серьезные вопросы для исследования. Очевидно, у них нет конкретного ответа, поскольку мы, люди, постоянно пополняем свой «репертуар» новыми видами деятельности и поведенческими структурами. Однако даже частичные и промежуточные ответы были бы очень полезны для интеллектуальных систем всех типов, призванных помогать людям в их повседневной жизни.

Еще одна очевидная особенность действий людей — ими часто движут эмоции. В некоторых случаях это хорошо: такие эмоции, как любовь и благодарность, без сомнения, играют роль в наших предпочтениях, и движимые ими действия могут быть рациональными, даже не являясь в полной мере преднамеренными. В других случаях эмоциональная реакция ведет к действиям, которые даже глупые люди оценивают как не особенно рациональные — разумеется, задним числом. Например, рассерженная Гарриет, в сердцах шлепнувшая заупрямившуюся 10-летнюю Алису, может сразу же пожалеть об этом поступке. Робби, наблюдающий это действие, должен бы (обычно, хотя не всегда) объяснить его злостью и разочарованием, а также недостатком самоконтроля, а не осознанным садизмом ради садизма. Чтобы эта схема работала, Робби должен иметь некоторое понимание эмоциональных состояний человека, включая их причины, развитие во времени в ответ на внешние раздражители и их влияние на действие. Специалисты по нейробиологии начинают постигать принципы некоторых эмоциональных состояний и их связь с другими когнитивными процессами[314], и существует ряд полезных работ по вычислительным методам обнаружения и прогнозирования эмоциональных состояний человека и управления ими[315], но предстоит узнать намного больше. Опять-таки машины находятся в неблагоприятном положении, когда речь идет об эмоциях: они не могут выполнить внутреннее моделирование опыта, чтобы узнать, какое эмоциональное состояние он вызовет.

Эмоции не только влияют на наши действия, но и дают ценную информацию о глубинных предпочтениях. Например, маленькая Алиса отказывается делать уроки, и Гарриет рассержена и разочарована, потому что искренне хочет, чтобы Алиса хорошо училась и смогла устроиться в жизни лучше ее самой. Если Робби наделен способностью это понять — пусть не может испытать это сам, — он очень многое узнает из далеко не рациональных действий Гарриет. Следовательно, появится возможность создать рудиментарные модели эмоциональных состояний человека, достаточные для того, чтобы избегать самых грубых ошибок в суждении о человеческих предпочтениях, исходя из поведения.

Действительно ли у людей есть предпочтения?

Вся эта книга исходит из того, что существуют варианты будущего, которые нам понравились бы, и варианты, которых мы предпочли бы избежать, скажем, наше скорое исчезновение или превращение в фермы живых батареек, как в фильме «Матрица». В этом смысле люди, разумеется, имеют предпочтения. Однако, если погрузиться в детали того, какой люди желали бы видеть свою жизнь, ситуация осложняется.

Неопределенность и ошибка

Очевидной особенностью людей, если подумать, является то, что они не всегда знают, чего хотят. К примеру, фрукт дуриан вызывает у людей разную реакцию: одним кажется, что он «по вкусу превосходит все остальные фрукты в мире»[316], а другие сравнивают его с «нечистотами, застарелой рвотой, струей скунса и использованными хирургическими тампонами»[317]. Я сознательно не стал пробовать дуриан до выхода этой книги и могу занять нейтральную позицию по этому вопросу: я попросту не знаю, к какому лагерю примкнул бы. То же самое можно сказать о многих людях в отношении будущей карьеры, будущих партнеров, будущих занятий по выходе на пенсию и т. д.

Неопределенность в отношении предпочтений бывает как минимум двух типов. Первая — это реальная неопределенность вроде той, что испытываю я в вопросе о дуриане[318]. Сколько ни размышляй, эту неопределенность не устранить. Это эмпирический факт бытия, и я могу узнать больше, попробовав дуриан, сравнив свою ДНК с ДНК любителей и ненавистников дуриана и т. д. Неопределенность второго типа является следствием ограничения вычислительных возможностей: глядя на две позиции на доске для игры го, я не могу решить, какую предпочесть, поскольку варианты развития обеих совершенно недоступны моему пониманию.

Неопределенность также возникает из того факта, что варианты выбора, которые нам предлагаются, обычно неполно сформулированы — иногда настолько неполно, что их вообще с трудом можно назвать вариантами выбора. Когда Алиса оканчивает школу, консультант по профориентации может предложить ей выбор между «библиотекарем» и «шахтером», и она вполне разумно ответит: «Я не знаю, что предпочесть». Здесь неопределенность следует из реальной неопределенности в вопросе о том, что она сама предпочитает, угольную пыль или книжную, из вычислительной неопределенности, когда она пытается понять, как можно было бы извлечь максимум возможного из обоих вариантов профессиональной карьеры, а также из бытовой неопределенности в мире, скажем, ее сомнений в плане долгосрочной жизнеспособности местной угольной шахты.

Поэтому плохая идея отождествлять человеческие предпочтения с простым выбором между неполно описанными вариантами, в которых невозможно оценить и учесть элементы неизвестной желательности. Такой выбор дает косвенное свидетельство о глубинных предпочтениях, но не составляет эти предпочтения. Вот почему я говорил о предпочтениях в понятиях будущих жизней — например, представьте, что вы могли бы увидеть в сокращенном виде два разных фильма о вашей будущей жизни, а затем выбрать из них предпочтительный. Разумеется, этот мысленный эксперимент невозможно поставить в реальности, но можно представить, что во многих случаях четкое предпочтение сформируется задолго до того, как все детали каждого фильма будут показаны и полностью восприняты. Вы можете не знать заранее, какой из них предпочтете, даже если дать вам краткое изложение сюжетов, но на реальный вопрос имеется ответ, основывающийся на том, кто вы сейчас, как есть ответ на вопрос, понравится ли вам дуриан, когда вы его попробуете.

Тот факт, что вы можете пребывать в неопределенности о собственных предпочтениях, не вызывает особых проблем для подхода на основе предпочтений к созданию доказуемо полезного ИИ. В действительности уже существуют некоторые алгоритмы, учитывающие неопределенность как Робби, так и Гарриет, в отношении предпочтений Гарриет и допускающие возможность того, что Гарриет может узнавать о своих предпочтениях одновременно с Робби[319]. Как неуверенность Робби в смысле предпочтений Гарриет можно уменьшить путем наблюдения за поведением Гарриет, так и ее неопределенность в отношении собственных предпочтений можно уменьшить, наблюдая ее реакции на то, что она испытывает. Два типа неопределенности необязательно должны быть непосредственно связаны, и Робби необязательно испытывает большую неопределенность, чем Гарриет, в вопросе о ее предпочтениях. Например, Робби может быть способен обнаружить, что Гарриет имеет сильную генетическую предрасположенность к тому, чтобы отвергнуть вкус дуриана. В этом случае он вряд ли будет сомневаться в ее предпочтениях в отношении дуриана, несмотря на то что сама она пребывает в полном неведении.

Если Гарриет может быть не уверена в собственных предпочтениях относительно будущих событий, то весьма вероятно, что она может и ошибаться. Например, она убеждена, что ей не понравится дуриан (или, скажем, зеленые яйца и ветчина{17}), и поэтому всеми силами избегает его пробовать, но, если однажды кто-то добавит немного мякоти в ее фруктовый салат, он покажется ей восхитительным. Таким образом, Робби не может предполагать, что действия Гарриет отражают точное знание о ее собственных предпочтениях: одни могут всецело опираться на опыт, а другие — главным образом на догадки, предубеждения, страх неизвестности или необоснованные обобщения[320]. Достаточно тактичный Робби мог бы очень существенно помочь Гарриет, предупреждая ее о подобных ситуациях.

Опыт и память

Некоторые психологи поставили под сомнение саму идею о едином «я», чьи предпочтения доминируют в том смысле, который подразумевает сформулированный Харсаньи принцип автономии предпочтений. Самым видным из этих психологов является мой бывший коллега по Беркли Даниэль Канеман. Получивший в 2002 г. Нобелевскую премию за работу по поведенческой экономике, Канеман является одним из самых влиятельных мыслителей в сфере изучения человеческих предпочтений. Его недавняя книга «Думай медленно… решай быстро» довольно подробно описывает серию экспериментов, убедивших его, что существует два «я» — экспериментирующее «я» и запоминающее «я», — предпочтения которых конфликтуют[321].

Экспериментирующее «я» измеряется гедонометром, в представлении британского экономиста XIX в. Фрэнсиса Эджворта, «идеально точным инструментом, психофизической машиной, постоянно регистрирующей степень удовольствия, испытываемого индивидом, в точном соответствии с вердиктом его сознания»[322]. Согласно гедонистическому утилитаризму, совокупная ценность любого опыта для индивида сводится к сумме гедонистических ценностей каждого мгновения этого опыта. Это представление одинаково подходит к смакованию мороженого и к проживанию целой жизни.

Напротив, запоминающее «я» «распоряжается» принятием решений. Это «я» выбирает новый опыт на основе памяти о прошлом опыте и его желательности. Эксперименты Канемана свидетельствуют, что представления запоминающего и экспериментирующего «я» очень сильно различаются.

Простейший эксперимент, позволяющий это понять, состоит в погружении руки испытуемого в холодную воду. Он проводится в двух разных режимах: при первом рука погружается на 60 секунд в воду температурой 14 °C, во втором за погружением на 60 секунд в воду при 14 °C следует погружение на 30 секунд в воду с температурой 15 °C (это температура океанской воды в Северной Калифорнии — достаточно холодно, чтобы практически никто не заходил в воду без гидрокостюма). Все испытуемые называют опыт неприятным. Испытав оба режима (в любом порядке с интервалом в 7 минут), участники эксперимента отвечают на вопрос, какой режим они предпочли бы повторить. Подавляющее большинство предпочитают повторить схему 60 + 30, а не погружение только на 60 секунд.

Канеман предполагает, что с точки зрения экспериментирующего «я» 60 + 30 должно быть строго хуже, чем 60, поскольку включает 60 и еще один неприятный опыт. Тем не менее запоминающее «я» выбирает 60 + 30. Почему?

Объяснение Канемана заключается в том, что запоминающее «я» смотрит на прошлое через весьма причудливые розовые очки, обращая внимание главным образом на «пиковую» ценность (наибольшую или наименьшую гедонистическую ценность) и на «конечную» ценность (гедонистическую ценность в конце опыта). Продолжительность разных частей опыта по большей части не учитывается. Пиковые уровни дискомфорта в схемах 60 и 60 + 30 одинаковы, но конечные уровни разные: в случае 60 + 30 вода на один градус теплее. Если запоминающее «я» оценивает опыт по пиковой и конечной ценности, а не путем суммирования гедонистических ценностей на промежутке времени, то 60 + 30 лучше, что и было обнаружено. Модель «пиковой — конечной ценности» объясняет многие другие, столь же странные наблюдения, описанные в литературе о предпочтениях.

Судя по всему, Канеман (вероятно, справедливо) относится к собственным открытиям двояко. Он предполагает, что запоминающее «я» «попросту ошиблось» и выбрало не тот опыт, потому что его память является дефектной и неполной; он считает это «плохой новостью для верящих в рациональность выбора». В то же время он пишет: «Теория благополучия, игнорирующая желания людей, не может быть надежной». Предположим, к примеру, что Гарриет попробовала пепси и колу и теперь уверенно предпочитает пепси; было бы абсурдом заставлять ее пить колу, исходя из суммы показаний секретного гедонометра, собираемых при каждой пробе.

Дело в том, что никакой закон не требует, чтобы наши предпочтения в отношении того или иного опыта определялись как сумма гедонистических ценностей в отдельные моменты времени. Действительно, стандартные математические модели сосредоточиваются на максимизации суммы вознаграждений [323], но исходным мотивом для этого является математическое удобство. Подтверждения появились позже в виде допущений, согласно которым рационально принимать решения, суммируя вознаграждения [324], но эти допущения необязательно выполняются в реальности. Допустим, Гарриет выбирает одну из двух последовательностей гедонистических ценностей: [10, 10, 10, 10, 10] и [0, 0, 40, 0, 0]. Вполне возможно, что она просто предпочтет вторую последовательность; никакой математический закон не заставит ее делать выбор, исходя из суммы, а не, скажем, максимума.

Канеман признает, что ситуация дополнительно осложняется решающей ролью для благополучия ожиданий и памяти. Память о единичном приятном опыте — своей свадьбе, рождении ребенка, вечере, посвященном сбору ежевики и приготовлению варенья, — способна поддерживать человека долгие годы тяжелой работы и разочарований. Возможно, запоминающее «я» оценивает не только опыт как таковой, но и его совокупное влияние на будущую ценность жизни. Предположительно, именно запоминающее, а не экспериментирующее «я» — лучший судья в вопросе о том, что будет отложено в памяти.

Время и изменение

Очевидно, что разумные люди в XXI в. не захотят перенимать предпочтения, скажем, римского общества II в. с его гладиаторскими бойнями на потеху публики, экономикой на основе рабства и жестоким истреблением покоренных народов. (Незачем подробно разбирать очевидные параллели этих характеристик в современном обществе.) Нормы морали совершенствуются со временем, по мере развития — или дрейфа, если вы предпочитаете этот термин, — нашей цивилизации. Это, в свою очередь, предполагает, что будущим поколениям может показаться совершенно отвратительным наше сегодняшнее отношение, скажем, к благополучию животных. Поэтому важно, чтобы машины, перед которыми поставлена задача реализации человеческих предпочтений, имели возможность реагировать на постепенные изменения этих предпочтений, а не фиксировали их намертво. Три принципа, описанных в главе 7, естественным образом учитывают эти изменения, поскольку требуют, чтобы машины изучали и выполняли нынешние предпочтения нынешних людей, — великого множества разных людей — а не один идеализированный комплекс предпочтений или же предпочтения разработчиков машин, возможно, давно умерших[325].

Возможность изменения типичных предпочтений человеческой популяции за историческое время естественным образом сосредоточивает внимание на вопросе о том, как формируются предпочтения каждого индивида, и о пластичности предпочтений взрослых людей. На наши предпочтения, безусловно, влияет наш организм: так, мы обычно избегаем боли, голода и жажды. Строение нашего тела, однако, остается практически неизменным, следовательно, остальные предпочтения должны зависеть от влияния культуры и семьи. Весьма вероятно, что дети постоянно осуществляют, в той или иной форме, процесс обучения с подкреплением на основе обратной связи, учась обнаруживать предпочтения родителей и сверстников, чтобы объяснить их поведение. Затем дети усваивают эти предпочтения как собственные. Даже у взрослых предпочтения меняются под влиянием СМИ, властей, друзей, работодателей и собственного непосредственного опыта. Возможно, например, что многие сторонники Третьего рейха начинали не с гедонистического садизма и жажды расовой чистоты.

Изменение предпочтений вызывает трудность для теорий рациональности, на уровне как индивида, так и социума. Например, предложенный Харсаньи принцип автономии предпочтений, как представляется, гласит, что каждый имеет право на свои предпочтения, какими бы они ни были, и никто не смеет на них посягать. Однако предпочтения ни в коей мере не являются неприкасаемыми, они затрагиваются и модифицируются постоянно по мере накопления опыта. Машины не могут не модифицировать человеческие предпочтения, поскольку машины модифицируют человеческий опыт.

Важно, хотя иногда трудно, отделять изменение предпочтений от обновления, которое происходит, когда изначально пребывающая в неопределенности Гарриет больше узнает о собственных предпочтениях посредством опыта. Обновление предпочтений способно заполнять разрывы в самопознании и, возможно, добавлять определенности предпочтениям, которые прежде были туманными и произвольными. Напротив, изменение предпочтений — это не процесс, являющийся следствием получения дополнительных данных о том, в чем предпочтения индивида в действительности заключаются. В крайнем проявлении можно представить его как следствие приема наркотиков и даже операции на мозге — оно происходит вследствие процессов, которые мы даже можем не понимать и не принимать.

Изменение предпочтений сопряжено с проблемами по крайней мере по двум причинам. Во-первых, непонятно, каких предпочтений следует придерживаться при принятии решения — тех, что Гарриет имеет на момент, когда оно принимается, или тех, что будут у нее во время и после событий, вытекающих из этого решения. Например, в биоэтике это очень актуальная дилемма, потому что предпочтения людей в отношении медицинского вмешательства и паллиативного ухода меняются, подчас резко, когда они серьезно заболевают[326]. При условии, что эти изменения не являются следствием снижения интеллекта, какие из этих предпочтений следует признать?[327]

Во-вторых, не просматривается очевидного рационального основания для изменения (в отличие от обновления) предпочтений индивида. Если Гарриет предпочитает А, а не Б, но имеет возможность выбрать опыт, который, как ей известно, может заставить ее отдать предпочтение Б перед А, с какой стати она станет это делать? Ведь в результате она станет выбирать Б, чего сейчас не хочет!

Вопрос об изменении предпочтений в драматической форме представлен в легенде об Одиссее и сиренах. Сирены, мифологические существа, своим пением завлекали мореплавателей на гибельные скалы средиземноморского острова. Одиссей, желая услышать их пение, приказал спутникам закупорить свои уши воском, а его привязать к мачте и ни при каких обстоятельствах не поддаваться, если он станет умолять освободить его. Очевидно, он хотел, чтобы спутники уважали его изначальные предпочтения, а не те, которые появятся у него, когда сирены его зачаруют. Эта легенда дала название книге норвежского философа Юна Эльстера [328], посвященной слабости воли и другим вызовам теоретическому представлению о рациональности.

Зачем интеллектуальным машинам сознательно браться за модификацию предпочтений людей? Ответ прост: чтобы наши предпочтения было проще удовлетворить. Мы видели это в главе 1 на примере оптимизации переходов по ссылкам в социальных сетях. Один из возможных ответов: машины должны считать человеческие предпочтения неприкосновенными — ничто, изменяющее их, не должно быть разрешено. К сожалению, это совершенно невозможно. Само существование такого подспорья, как полезный робот, скорее всего, окажет влияние на предпочтения человека.

Возможное решение состоит в том, чтобы машины изучали человеческие метапредпочтения, а именно — предпочтения в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми. Обратите внимание на использование формулировки «процессы изменения предпочтений», а не «изменения предпочтений». Дело в том, что стремление индивида изменить свои предпочтения в определенном направлении часто равносильно тому, чтобы уже иметь такие предпочтения. В действительности в таких случаях предметом желания является способность лучше реализовывать предпочтения. Например, если Гарриет говорит: «Я хочу, чтобы мои предпочтения изменились так, чтобы я не хотела пирожное так сильно, как сейчас», — значит, она уже предпочитает будущее с меньшим потреблением сладкого; чего она хочет на самом деле, это изменить свою когнитивную архитектуру так, чтобы ее поведение больше соответствовало этому предпочтению.

Под «предпочтениями в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми» я подразумеваю, например, представление о том, что человек может сформировать «лучшие» предпочтения, поездив по миру и познакомившись с большим разнообразием культур, влившись в круг увлеченных интеллектуалов, всесторонне изучающих широкий спектр нравственных традиций, или потратив какое-то время на уединенные размышления о смысле жизни. Я бы назвал эти процессы нейтральными в отношении предпочтений, поскольку не приходится ожидать, что такой процесс изменит предпочтения человека в каком-либо выделенном направлении, хотя и признаю, что некоторые могут решительно со мной не согласиться.

Конечно, не все процессы, нейтральные в отношении предпочтений, желательны. Например, вряд ли кто-нибудь рассчитывает, что разовьет «лучшие» предпочтения путем битья по своей голове. Прохождение приемлемого процесса изменения предпочтений аналогично проведению эксперимента с целью узнать, как функционирует мир: никогда заранее не знаешь, чем обернется эксперимент, но все-таки ждешь, что новое состояние ума принесет тебе пользу.

Мысль о том, что существуют приемлемые пути к изменению предпочтений, как представляется, связана с идеей о наличии приемлемых методов модификации поведения, когда, например, наниматель конструирует ситуацию выбора так, чтобы люди делали «лучший» выбор в отношении пенсионных накоплений. Часто это можно сделать, воздействуя на «нерациональные» факторы, влияющие на выбор, а не путем ограничения выбора или «налогообложения» «плохого» выбора. «Подталкивание»[329], книга экономиста Ричарда Талера и правоведа Касса Санстейна, предлагает широкий спектр предположительно приемлемых методов и возможностей «влияния на поведение людей, с тем чтобы они жили дольше, здоровее и счастливее».

Неясно, действительно ли методы модификации поведения изменяют только поведение. Если при устранении «подталкивания» модифицированное поведение сохраняется — что, предположительно, является желаемым результатом такого рода вмешательств, — значит, что-то изменилось в когнитивной архитектуре индивида (именно она превращает глубинные предпочтения в поведение) или в его глубинных предпочтениях. Весьма вероятно сочетание того и другого. Ясно, однако, что стратегия подталкивания предполагает, что все разделяют предпочтение «жить дольше, здоровее и счастливее». Каждое подталкивание опирается на конкретное определение «лучшей» жизни, что, как представляется, противоречит идее автономии предпочтений. Возможно, целесообразнее было бы не подталкивать, а разрабатывать нейтральные в отношении предпочтений вспомогательные процессы, помогающие людям достигать большей согласованности своих решений и когнитивной архитектуры с глубинными предпочтениями. Например, можно разработать когнитивные вспомогательные средства, которые высвечивают долгосрочные последствия решений и учат людей распознавать зерна этих последствий в настоящем[330].

Очевидно, нам нужно лучше понимать процессы возникновения и формирования человеческих предпочтений хотя бы потому, что это помогло бы нам создавать машины, избегающие случайных и нежелательных изменений человеческих предпочтений наподобие тех, что вносят алгоритмы выбора контента социальных сетей. Разумеется, вооружившись этим пониманием, мы замахнемся и на разработку изменений, которые приведут к «лучшему» миру.

Можно заметить, что необходимо предоставить намного больше возможностей для «совершенствующего» опыта, нейтрального в отношении предпочтений, такого как путешествия, дебаты и обучение аналитическому и критическому рассуждению. Мы могли бы, например, дать каждому старшекласснику возможность прожить по несколько месяцев по меньшей мере в двух разных культурах, отличающихся от его культурной среды.

Почти наверняка мы захотим пойти дальше — скажем, провести социальные и образовательные реформы, повышающие коэффициент альтруизма (веса, приписываемого каждым индивидом благополучию других), в то же время снижая коэффициенты садизма, гордости и зависти. Будет ли это хорошей идеей? Следует ли нам привлечь машины для помощи в этом процессе? Это, безусловно, соблазнительно. Сам Аристотель писал: «Главная забота политика — породить определенный характер в гражданах и сделать их добрыми и расположенными к благородным деяниям». Давайте просто признаем, что существуют риски, связанные с преднамеренным конструированием предпочтений в глобальном масштабе. Мы должны действовать крайне осторожно.

Глава 10. Проблема решена?

Если нам удастся создать доказуемо полезные ИИ-системы, то мы устраним опасность утраты контроля над сверхинтеллектуальными машинами. Человечество могло бы продолжить их разработку и получить невообразимые выгоды от возможности направить намного больший интеллект на развитие нашей цивилизации. Мы освободились бы от векового рабства, поскольку вместе с сельскохозяйственными, промышленными и офисными роботами сумели бы максимально использовать жизненный потенциал. С точки зрения этого золотого века мы оглядывались бы на свое сегодняшнее существование и видели нечто вроде описанной Томасом Гоббсом жизни без государства: одинокой, бедной, ужасной, жестокой и короткой{18}.

Или нет? Что, если хрестоматийные злодеи перехитрили бы наших «телохранителей» и высвободили неконтролируемую силу сверхинтеллекта, против которой у человечества нет защиты? Если бы мы и выжили, то постепенно слабели бы, передавая все больше своих знаний и умений машинам. Машины могли бы посоветовать нам этого не делать, понимая долгосрочную ценность автономии человека, но, вероятно, мы бы настояли на своем.

Полезные машины

Стандартная модель, лежащая в основе значительной части технологий XX в., опирается на машины, оптимизирующие фиксированную, поступающую извне целевую функцию. Как мы видели, эта модель имеет фундаментальные недостатки. Она работает, только если задача гарантированно является полной и верной или если оборудование можно легко отключить. Оба эти условия перестанут выполняться по мере роста возможностей ИИ.

Если поступающая извне целевая функция может быть неверной, то для машины не имеет смысла действовать так, словно она всегда верная. Отсюда вытекает мое предложение полезных машин, то есть таких, от которых можно ожидать действий, направленных на достижение наших целей. Поскольку эти цели находятся в нас, а не в них, машинам понадобится больше узнавать о наших реальных желаниях путем наблюдения за тем, что мы выбираем и как. Машины, сконструированные подобным образом, должны быть покорны людям: они будут спрашивать разрешения, действовать с осторожностью в отсутствие четких ориентиров и позволять себя выключить.

Эти начальные условия ориентированы на упрощенную идеализированную среду, но я уверен, что они сохранятся и при переносе в более реалистичное окружение. Мои коллеги уже успешно применили аналогичный подход к таким практическим проблемам, как взаимодействие автономного автомобиля с водителем[331]. Например, машины с автопилотом удручающе плохо воспринимают знак «4 стопа»{19} на перекрестках, если неясно, у кого преимущество. Когда же эта задача формулируется в виде игры в помощника, машина предлагает новаторское решение: она немного сдает назад, чтобы показать, что решительно не намерена двигаться первой. Человек на другой стороне перекрестка понимает этот сигнал и начинает движение, уверенный, что столкновения не будет. Очевидно, мы, эксперты-люди, могли бы подумать об этом решении и запрограммировать его в транспортном средстве, но этого не сделали; машина совершенно самостоятельно изобрела эту форму коммуникации.

Я полагаю, что по мере приобретения большего опыта в других средах мы будем удивлены спектром и гибкостью поведения машин в ходе их взаимодействия с человеком. Мы настолько привыкли к тупости машин, демонстрирующих негибкое, заданное программой поведение или преследующих четкие, но неверные цели, что можем быть поражены тем, насколько чувствительными они становятся. Технология доказуемо полезных машин составляет ядро нового подхода к разработке ИИ и основу новых отношений между людьми и машинами.

Представляется также возможным применить аналогичные идеи к перестройке других «машин», призванных служить людям, начиная с обычных программных систем. Нас учат создавать программное обеспечение, соединяя вспомогательные подпрограммы, каждая из которых имеет четко определенную спецификацию, описывающую, какой выход будет получен при любом данном входе, — как у кнопки извлечения квадратного корня на калькуляторе. Эта спецификация является прямым аналогом цели, заданной ИИ-системе. Вспомогательная подпрограмма не должна отключаться и возвращать управление более высоким уровням программного комплекса, пока не получит результат, отвечающий спецификации. (Это должно напомнить вам об ИИ-системе, упорствующей в своем узколобом преследовании поставленной цели.) Лучшим подходом было бы допустить в спецификации неопределенность. Например, подпрограмме, выполняющей некие ужасно сложные математические вычисления, обычно дается предел погрешности, определяющий требуемую точность ответа, и она должна выдавать ответ, верный в этих пределах. Иногда для этого необходимо несколько недель расчетов. Возможно, лучше быть менее точными в отношении допустимой ошибки, чтобы подпрограмма могла вернуться через 20 секунд и сообщить: «Я нашла настолько-то точное решение. Этого достаточно, или вы хотите, чтобы я продолжила?» В некоторых случаях вопрос может передаваться через всю иерархию вплоть до высшего уровня программного комплекса, чтобы человек-пользователь мог давать системе дальнейшие указания. Ответы человека помогли бы уточнить спецификацию на всех уровнях.

Рассуждения того же типа можно применить и к таким структурам, как правительства и корпорации. Очевидные промахи властей включают чрезмерное внимание, уделяемое предпочтениям (финансовым, а также политическим) некоторых лиц, облеченных властью, и пренебрежение предпочтениями тех, кем они управляют. Выборы призваны сообщить правительству о предпочтениях людей, но, как представляется, имеют удивительно узкий охват (порядка одного байта информации каждые несколько лет) для столь комплексной задачи. Во многих странах правительство есть всего лишь средство для какой-то группы людей навязать свою волю другим. Корпорации дальше заходят в стремлении узнать предпочтения клиентов через исследования рынка или непосредственную обратную связь в форме решений о покупке. В то же время формирование человеческих предпочтений с помощью рекламы, культурного влияния и даже зависимости от химических веществ считается приемлемым способом ведения бизнеса.

Управление ИИ

ИИ способен преобразовать мир, и процессом преобразования необходимо каким-то образом управлять. Если судить просто по числу проектов разработки эффективного управления ИИ, то дела у нас идут блестяще. Буквально каждый желающий создает комитет, совет или международную экспертную группу. Международный экономический форум выделяет почти 300 отдельных проектов выработки этических принципов ИИ. Содержимое моей электронной почты можно описать как одно бесконечное приглашение на «Глобально-всемирный саммит-конференцию-форум по проблеме будущего международного управления социальным и этическим воздействием формирующихся технологий ИИ».

Все это очень отличается от картины, наблюдавшейся в сфере ядерной технологии. После Второй мировой войны все инструменты контроля в ядерной сфере были у США. В 1953 г. президент США Дуайт Эйзенхауэр предложил ООН создать международный орган регулирования развития ядерной технологии. В 1957 г. начало работать Международное агентство по атомной энергии; это единственный всемирный контролер в области безопасного и полезного использования атомной энергии.

Напротив, в сфере ИИ влияние сильно рассредоточено. Как минимум США, Китай и ЕС финансируют многочисленные исследования ИИ, но практически все они ведутся вне надежных стен национальных лабораторий. Исследователи ИИ в университетах являются частью обширного, взаимодействующего международного сообщества, спаянного общими интересами, конференциями, соглашениями о кооперации и профессиональными обществами, например АААI (Ассоциация по продвижению ИИ) и IEEE (Институт инженеров электротехники и электроники, включающий десятки тысяч исследователей и практиков в области ИИ). Вероятно, большая часть инвестиций в исследования и разработку ИИ сейчас осуществляется корпорациями разного масштаба. Ведущими игроками на 2019 г. являются Google (включая DeepMind), Facebook, Amazon, Microsoft и IBM в США, Tencent, Baidu и, до некоторой степени, Alibaba в Китае — все они из числа крупнейших корпораций мира[332]. Все, кроме Tencent и Alibaba, являются членами Partnership on AI, профессионального консорциума, включившего в число своих принципов обещание кооперации в области обеспечения безопасности ИИ. Наконец, хотя огромное большинство людей не могут считаться специалистами по ИИ, специалисты демонстрируют по меньшей мере некоторую готовность принимать в расчет интересы человечества.

Итак, некоторые игроки имеют определяющее влияние. Их интересы не вполне совпадают, но они разделяют общее стремление сохранить контроль над ИИ-системами по мере роста их возможностей. (Другие цели, в том числе избежать массовой безработицы, являются общими для властей и университетских исследователей, но необязательны для корпораций, рассчитывающих быстро заработать на максимально широком внедрении ИИ.) Скрепить этот общий интерес и прийти к скоординированным усилиям помогают учреждения с организационным потенциалом, которые устраивают различные мероприятия. Помимо профессиональных обществ, способных объединить исследователей ИИ, и Partnership on AI, объединяющего корпорации и некоммерческие организации, традиционными координаторами являются ООН (правительства и исследователи) и Всемирный экономический форум (правительства и корпорации). Кроме того, «Большая семерка» предложила создать Международную экспертную группу по проблемам ИИ, рассчитывая, что она разовьется в аналог Межправительственного совета ООН по борьбе с изменением климата. Многообещающие отчеты множатся как грибы после дождя.

Дает ли вся эта деятельность какие-то надежды на реальный прогресс в области контроля ИИ? Как ни странно, ответ положительный — по крайней мере, прогресс уже заметен. Власти многих стран создают консультативные советы, чтобы способствовать процессу правового регулирования; возможно, самым ярким примером является Высшая экспертная группа по искусственному интеллекту (ЕС). Появляются соглашения, законы и стандарты в таких областях, как конфиденциальность пользователя, обмен данными и предупреждение расовой нетерпимости. Власти и корпорации упорно трудятся над выработкой законов для автомобилей с автопилотом — законов, которые неизбежно приобретут международный характер. Имеется договоренность, что если мы хотим получить ИИ-системы, которым сможем доверять, то решения, предлагаемые ИИ, должны быть объяснимыми, и это уже отчасти реализовано в установлениях Общего регламента по защите данных Европейского союза. В Калифорнии новый закон запрещает ИИ-системам представлять людей в определенных обстоятельствах. Последние два момента — объяснимость и представительство — безусловно, имеют определенные последствия для вопросов безопасности и контроля ИИ.

В настоящее время отсутствуют реализуемые на практике рекомендации, которыми могли бы воспользоваться правительства и другие организации для решения вопросов контроля над ИИ-системами. Такие установления, как «ИИ-системы должны быть надежными и контролируемыми», ничего не дают, поскольку эти понятия пока не имеют точного значения, а также из-за отсутствия общепринятой инженерной методологии обеспечения этой безопасности и контролируемости. Однако будем оптимистами и представим, что всего через несколько лет продуктивность подхода к созданию ИИ на принципе «доказуемой полезности» доказана как математическим анализом, так и практической реализацией в форме полезных приложений. Например, у нас появляются личные цифровые помощники, которым можно доверить пользоваться нашими кредитными картами, фильтровать звонки и электронную почту и управлять нашими финансами, потому что они адаптировались под наши личные предпочтения и знают, когда можно действовать самостоятельно, а когда лучше обратиться за указаниями. Наши автономные автомобили научились хорошим манерам при взаимодействии друг с другом и с водителями, а домашние роботы прекрасно справляются даже с самым невыносимым дошкольником. По счастью, ни одна кошка не была зажарена на ужин и ни разу на торжественном обеде членов Партии зеленых не было подано китовое мясо.

На этом этапе представляется вполне уместным составление шаблонов разработки программного обеспечения, которым должны соответствовать разные типы приложений, чтобы их можно было продавать или подключать к интернету, как сейчас приложения должны пройти ряд программных тестов, прежде чем их пустят в App Store или Google Play. Продавцы программного обеспечения могут предложить собственные шаблоны, если сумеют доказать их соответствие требованиям безопасности и контролируемости (на тот момент уже тщательно проработанным). Будут созданы механизмы информирования о проблемах и обновления программных комплексов, выдающих нежелательное поведение. Тогда будет иметь смысл также разработать профессиональные кодексы поведения, основанные на идее доказуемой безопасности программ ИИ, и интегрировать соответствующие теоремы и методы в программы подготовки мотивированных практиков в области ИИ и машинного обучения.

Для опытного спеца из Кремниевой долины это может звучать довольно наивно. Любого рода регулирование встречает здесь яростное сопротивление. Если мы привыкли к тому, что фармацевтические компании обязаны доказывать безопасность и (благоприятную) эффективность путем клинических испытаний, чтобы получить возможность продавать продукт потребителям, индустрия программного обеспечения следует другому комплексу правил, а именно их пустому множеству. «Компания придурков, потягивающих „Ред булл“»[333] в фирме — разработчике программного обеспечения может выпустить продукт или обновление, которые могут повлиять буквально на миллиарды человек, без какого-либо контроля незаинтересованной стороны.

Однако сфера технологий неизбежно должна будет признать, что от ее продуктов очень многое зависит, следовательно, важно, чтобы они не причиняли вреда. Это значит, что появятся законы, управляющие характером отношений с людьми, запрещающие разработки, которые, скажем, последовательно манипулируют предпочтениями или формируют зависимость. Я не сомневаюсь, что переход от нерегулируемого мира к регулируемому будет болезненным. Будем надеяться, что для преодоления сопротивления профессиональной среды не потребуется катастрофа масштаба Чернобыльской (или хуже).

Недобросовестное использование ИИ

Регулирование может быть болезненным для разработчиков программного обеспечения, но станет невыносимым для «Доктора Зло», строящего планы по захвату мира в тайном подземном бункере. Без сомнения, криминальный элемент, террористы и некоторые страны могут иметь стимул обойти любые ограничения, налагаемые на устройство разумных машин, чтобы их можно было использовать для контроля оружия или для разработки и осуществления преступных действий. Опасно не столько то, что системы злоумышленников могут оказаться успешными, сколько то, что они могут потерять контроль над плохо разработанными интеллектуальными системами — в особенности получившими вредоносные задачи и доступ к оружию.

Это не причина отказываться от регулирования (в конце концов, у нас есть законы против убийства, хотя они часто нарушаются), однако возникает очень серьезная политическая проблема. Мы уже проигрываем в борьбе с хакерскими программами и киберпреступлениями. (В недавнем отчете даются оценки в более чем 2 млрд потерпевших и около $600 млрд ежегодных потерь[334].) Противостоять вредоносному программному обеспечению в форме высокоинтеллектуальных программ будет намного сложнее.

Некоторые, в том числе Ник Бостром, предложили использовать собственные полезные сверхинтеллектуальные ИИ-системы для обнаружения и уничтожения любых вредоносных или любым образом неправильно ведущих себя ИИ-систем. Безусловно, нам нужно будет использовать все доступные средства, в то же время сводя к минимуму влияние на личную свободу, но образы людей, теснящихся в бункерах, беспомощных против титанических сил, высвобожденных взбунтовавшимся сверхразумом, мало утешают, даже если часть этих сил на нашей стороне. Было бы намного лучше найти способы задавить вредоносный ИИ в зародыше.

Правильным первым шагом стала бы успешная, скоординированная международная кампания против киберпреступлений, включающая расширение Будапештской конвенции о киберпреступности. Тогда была бы сформирована организационная схема возможных будущих мероприятий по предупреждению появления неконтролируемых ИИ-программ. В то же время потребуется широкое взаимодействие культур по вопросу о том, что создание таких программ, намеренное или случайное, является в долгосрочной перспективе самоубийственным поступком, сопоставимым с созданием возбудителей пандемий.

Умственная деградация и автономия человека

Самые известные романы Э. М. Форстера, в том числе «Говардс Энд» и «Поездка в Индию», исследовали британское общество и его классовую систему первой половины XX в. В 1909 г. он написал примечательную научно-фантастическую повесть «Машина останавливается». Повесть поражает предвидением: в ней мы видим то, что сегодня называем интернетом, видеоконференциями, iPad, массовыми открытыми дистанционными курсами (МООК), а также массовое ожирение и избегание личных контактов. Машина, упомянутая в заглавии, — это всеобъемлющая интеллектуальная инфраструктура, удовлетворяющая все потребности людей. Люди все больше зависят от нее, но все хуже понимают, как она работает. Инженерное знание уступает место обрядовым заклинаниям, в конечном счете не способным остановить постепенное ухудшение работы Машины. Главный герой, Куно, видит, что всех ждет, но бессилен это остановить[335]:

Как вы не понимаете… Ведь это мы умираем, а единственное, что здесь еще живет по-настоящему, — это Машина! Мы создали Машину, чтобы она исполняла нашу волю, но не можем заставить ее исполнить нашу волю сейчас. Она похитила у нас чувство пространства и ощущение прикосновения, размыла все отношения между людьми, парализовала наше тело и волю… Мы существуем лишь как кровяные тельца, циркулирующие в ее артериях, и если бы она смогла работать без нас, то дала бы нам умереть. О, я не знаю лекарства от этого, или, вернее, знаю лишь одно-единственное — снова и снова говорить людям, что вижу холмы Уэссекса, как видел их Альфред в день победы над данами{20}.

На Земле жило свыше 100 млрд человек. Они (мы) затратили порядка 1 трлн человеко-лет на приобретение и передачу знания, чтобы наша цивилизация могла существовать. До сих пор единственной возможностью ее выживания являлось воссоздание знания в умах новых поколений. (Бумага — прекрасный способ передачи, но она не делает ничего, пока знание, записанное на ней, не будет постигнуто разумом другого человека.) Теперь мир меняется: все в большей мере становится возможным помещать наше знание в машины, которые самостоятельно могут поддерживать нашу цивилизацию для нас.

С исчезновением практического стимула передачи нашей цивилизации следующему поколению станет очень трудно обратить процесс вспять. Триллион лет суммарного обучения окажется, буквально, потерянным. Мы превратимся в пассажиров прогулочного лайнера, управляемого машинами, в круизе, который продолжается вечно, — в точном соответствии с предвидением мультфильма «ВАЛЛ-И».

Убежденный консеквенциалист скажет: «Очевидно, это нежелательное последствие чрезмерной автоматизации! Правильно сконструированные машины никогда этого не сделают!» Верно, но вдумайтесь, что это означает. Машины могут хорошо понимать, что автономия и компетенция человека — это важные аспекты того, как мы предпочитаем проводить свою жизнь. Они могут добросовестно настаивать, чтобы люди сохраняли контроль над собственным благополучием и ответственность за него, — иными словами, машины скажут «нет». Однако мы, близорукие, ленивые люди, необязательно с ними согласимся. Это пример трагедии общих ресурсов в действии: каждому отдельному человеку, возможно, покажется бессмысленным тратить долгие годы самоотверженной учебы на приобретение знаний и навыков, которыми машины уже владеют, но если все будут думать так, человечество коллективно утратит автономию.

Решение этой проблемы, как представляется, носит культурный, а не технический характер. Нам понадобится движение в сторону переформирования наших идеалов и предпочтений в направлении автономии, способности к деятельности и знаниям, прочь от сибаритства и зависимости — если хотите, современная, окультуренная версия воинского идеала древних спартанцев. Это будет означать конструирование человеческих предпочтений во всемирном масштабе наряду с радикальными изменениями в том, как функционирует наше общество. Чтобы не ухудшить плохую ситуацию, нам может потребоваться помощь сверхинтеллектуальных машин, как в оформлении решений, так и в реальном процессе обретения равновесия каждым индивидом.

Любому родителю маленького ребенка знаком этот процесс. Когда ребенок проходит стадию беспомощности, выполнение родительских обязанностей требует постоянно меняющегося равновесия между полюсами: делать для ребенка все и целиком или полностью предоставить его самому себе. На определенном этапе ребенок начинает понимать, что родитель прекрасно может завязать ему шнурки, но сознательно не делает этого. Это ли будущее человеческой расы — вечно находиться на положении ребенка, на попечении совершенных машин? Думаю, нет. Хотя бы потому, что дети не могут выключить своих родителей. (Слава богу!) В нашем современном мире в действительности нет аналога отношениям, которые сложатся у нас в будущем с полезными интеллектуальными машинами. Нам еще предстоит узнать, чем закончится игра.

Приложение А. Поиск решений

Выбор действия на основе прогноза будущего и оценки результатов возможных последовательностей действий — фундаментальная способность интеллектуальных систем. Ваш сотовый телефон делает это всякий раз, как вы спрашиваете у него, в каком направлении двигаться. На рис. 14 приведен типичный пример: как попасть из текущего местоположения, 19-й пирс, в целевое, Койт-Тауэр. Алгоритм должен знать, какие действия ему доступны; в случае навигации по карте, как правило, каждое действие связано с фрагментом дороги, соединяющим два соседних перекрестка. В данном примере у 19-го пирса доступно лишь одно действие: повернуть направо и ехать по Эмбаркадеро до следующего перекрестка. Затем имеется выбор: продолжить движение или резко повернуть налево на Бэттери-стрит. Алгоритм последовательно исследует все эти возможности, пока не находит маршрут. Обычно мы добавляем некоторые указания, исходя из здравого смысла, например предпочтение улиц, ведущих прямо к цели, а не в сторону от нее. Благодаря этим указаниям и еще нескольким хитростям алгоритм очень быстро находит оптимальное решение — обычно за несколько миллисекунд, даже в случае поездки по сложным маршрутам.

Поиск маршрута на карте — очевидный и всем известный пример, но, возможно, недостаточно объективный, поскольку отдельных локаций очень мало. Например, в США имеется лишь около 10 млн перекрестков. Казалось бы, большое число, но это ничто по сравнению с количеством отдельных позиций в пятнашках. Пятнашки — это игра с сеткой 4 4, где находятся 15 пронумерованных фишек и пустое место. Перемещая фишки, нужно достичь целевой конфигурации, скажем, расположить их все по порядку номеров. В пятнашках около 10 трлн состояний (в миллион раз больше, чем перекрестков в США!); пазл с 24 клетками допускает около 8 триллионов триллионов состояний. Это пример того, что в математике называется комбинаторной сложностью, — очень быстрого увеличения количества комбинаций с ростом числа «подвижных элементов» задачи. Вернемся к карте США: если компания-грузоперевозчик хочет оптимизировать движение 100 своих грузовиков по территории страны, количество возможных состояний составит 10700.

Отказ от надежды на рациональные решения

Многие игры отличаются комбинаторной сложностью, в том числе шахматы, шашки, нарды и го. Поскольку правила го просты и изящны (рис. 15), я использую эту игру для примера. Задача сформулирована четко: выиграть, окружив больше территории, чем противник. Возможные действия также понятны: клади камень на свободное пересечение. Как и в случае навигации по карте, очевидный способ принятия решения о действии состоит в том, чтобы представить разные варианты будущего, вытекающие из разных последовательностей действий, и выбрать наилучший. Вы спрашиваете себя: «Если я сделаю это, как может поступить мой противник? Что я сделаю тогда?» Эта мысль продемонстрирована на рис. 16 на примере го размерности 3 3. Даже для доски 3 3 я могу показать лишь малую часть возможных вариантов будущего, но, надеюсь, мысль ясна. Действительно, этот способ принятия решений кажется проявлением самого обычного здравого смысла.

Проблема в том, что в го существует более 10170 возможных позиций для полноразмерной доски 19 19. Если найти гарантированно кратчайший маршрут на карте относительно легко, найти гарантированную победу в го почти нереально. Даже если гонять алгоритм миллиард лет, он сможет исследовать лишь крохотную часть полного дерева возможностей. Отсюда вытекает два вопроса. Первый: какую част дерева должна исследовать программа? Второй: какой ход она должна сделать, исходя из той части древа, которую исследовала?

Сначала ответим на второй вопрос. Основная идея, используемая практически во всех прогностических программах, состоит в том, чтобы приписывать оценку ценности ответвлениям дерева — самым отдаленным будущим состояниям — и затем двигаться назад, выясняя, насколько хороши варианты выбора ближе к корню[336]. Например, посмотрев на две позиции в нижней части схемы на рис. 16, можно дать оценку +5 (с точки зрения черных) позиции слева и +3 позиции справа, поскольку камень белых в углу намного более уязвим, чем сбоку. Если эти оценки верны, то черные могут ожидать от белых хода вбок, что приведет к позиции, представленной справа; следовательно, разумно приписать ценность +3 начальному ходу черных в центр. С небольшими вариациями это схема, использованная шахматной программой Артура Самуэля, победившей своего создателя в 1955 г.[337], Deep Blue, обыгравшей чемпиона мира по шахматам Гарри Каспарова в 1997 г., и AlphaGo, одолевшей бывшего чемпиона мира по го Ли Седоля в 2016 г. Для Deep Blue написали фрагмент программы, оценивавший позиции как ответвлений, на основании, главным образом, своего собственного знания шахмат. Программы Самуэля и AlphaGo изучили их сами по опыту тысяч или миллионов тренировочных игр.

Первый вопрос — какую часть дерева должна исследовать программа — является примером одного из самых важных вопросов в сфере ИИ: какие вычисления должен делать агент? В случае игровых программ это жизненно важно, поскольку они располагают малым, фиксированным временем, и тратить его на бесцельные расчеты — верный путь к проигрышу. Для людей и других агентов, действующих в реальном мире, это еще важнее, потому что реальный мир несравненно сложнее: без качественного выбора никакое количество вычислений не сделает ни малейшей зарубки в проблеме принятия решения о том, как действовать. Если вы ведете машину и на дорогу выходит лось, нет смысла размышлять о том, следует ли обменять евро на фунты стерлингов или черным сделать первый ход в середину доски.

Способность людей управлять своей вычислительной деятельностью так, чтобы принимать разумные решения в разумное время, по меньшей мере столь же потрясающа, как и их способность верно воспринимать информацию и рассуждать. Представляется, что мы приобретаем ее естественно и без усилий. Когда отец учил меня играть в шахматы, то объяснил мне правила, но не учил конкретным умным алгоритмам выбора, какую часть дерева исследовать, а какую игнорировать.

Как это происходит? На основании чего мы направляем ход своих мыслей? Ответ заключается в том, что вычисление ценно лишь постольку, поскольку повышает качество ваших решений. Процесс выбора вычислений называется метарассуждением, что означает рассуждение о рассуждении. Как действия можно выбирать рационально, исходя из ожидаемой ценности, так и вычисления. Это так называемое рациональное метарассуждение[338]. Оно строится на очень простой идее:

Выполняйте те вычисления, которые обеспечат наибольшее ожидаемое повышение качества решения, и прекращайте их, когда затраты (выраженные во времени) превысят ожидаемое улучшение.

Вот и все. Никаких новомодных алгоритмов! Этот простой принцип обеспечивает эффективное вычислительное поведение применительно к широкому спектру задач, включая шахматы и го. Представляется вероятным, что наш мозг реализует похожий процесс, что объясняет, почему нам не нужно изучать новые алгоритмы рассуждения, привязанные к конкретной игре, всякий раз, как мы учимся играть в новую игру.

Разумеется, исследование дерева возможностей, вырастающего в будущее из нынешнего состояния, не единственный путь к решению. Часто более разумно двигаться ретроспективно от цели. Например, наличие лося на дороге предполагает цель избежать столкновения с лосем, что, в свою очередь, предполагает три возможных действия: резко повернуть налево, резко повернуть направо или ударить по тормозам. Не предполагаются такие действия, как обмен евро на фунты стерлингов или помещение черного камня в центр доски. Таким образом, цели оказывают на наше мышление прекрасный эффект фокусировки. Никакие современные игровые программы не используют это преимущество; на самом деле они в массе своей рассматривают все возможные допустимые действия. Это одна из (многих) причин того, что я не боюсь, что AlphaZero захватит мир.

Заглянем дальше

Предположим, вы решили сделать определенный ход на доске для игры в го. Прекрасно! Теперь вы должны совершить его на практике. В реальном мире для этого нужно протянуть руку к чаше с камнями, взять камень, расположить руку над выбранным местом и положить камень точно на обозначенную точку, спокойно или эмоционально, в зависимости от того, как это принято в го.

Каждая из этих стадий, в свою очередь, состоит из сложного взаимодействия команд восприятия и двигательного контроля, включающего мышцы и нервы руки и глаз. Пока вы тянетесь за камнем, нужно следить, чтобы тело не потеряло равновесие из-за смещения центра тяжести. Тот факт, что вам не нужно участие сознания для выбора этих действий, не означает, что они не выбираются вашим мозгом. Например, в чаше может быть много камней, но ваша рука — на самом деле ваш мозг, обрабатывающий сенсорную информацию, — все равно должна выбрать, какой из них взять.

Практически все, что мы делаем, устроено подобным образом. Когда мы ведем машину, мы можем выбрать перестроиться в левый ряд, но это действие включает несколько других: посмотреть в зеркало и налево через плечо, иногда скорректировать скорость и повернуть рулевое колесо, одновременно следя за ходом маневра, пока он не будет завершен. Во время разговора обыденный ответ, например «хорошо, я сверюсь с календарем и перезвоню вам», предполагает произнесение 16 слогов, каждый из которых требует нескольких сотен точно скоординированных команд двигательного контроля мышцам языка, губ, челюсти, гортани и органов дыхания. Когда вы говорите на своем родном языке, это автоматический процесс, что очень похоже на выполнение вспомогательных подпрограмм компьютерной программы. То, что эти сложные последовательности действий могут стать обыденными и автоматическими, выступая в роли единых действий в еще более комплексных процессах, является фундаментальной характеристикой человеческой когнитивной системы. Если приходится произносить слова на языке, которым хуже владеешь, — например, спрашивая дорогу на Шебжешин по-польски, — то вспоминаешь о том периоде жизни, когда чтение и письмо были сложными задачами, требующими мыслительных усилий и большой практики.

Итак, реальная задача, стоящая перед вашим мозгом, состоит не в выборе хода на доске для го, а в отправке команд двигательного контроля мышцам. Если переключить внимание с уровня ходов го на уровень команд двигательного контроля, проблема выглядит совершенно иначе. Человеческий мозг может посылать команды примерно каждые 100 мс. У нас примерно 600 мышц, следовательно, теоретический максимум составляет около 6000 выполнений действий в секунду, 20 млн в час, 200 млрд в год, 20 трлн за всю жизнь. Используйте их мудро!

Допустим, мы пытаемся применить алгоритм типа AlphaZero для решения проблемы принятия решения на этом уровне. Играя в го, AlphaZero смотрит вперед ходов на 50. Однако 50 шагов команд двигательного контроля дают вам всего несколько секунд проникновения в будущее! Недостаточно для 20 млн команд двигательного контроля в ходе часового матча в го и совершенно точно слишком мало для триллиона (col1¦0¦) шагов, совершаемых в процессе написания диссертации на соискание степени PhD. Таким образом, хотя AlphaGo заглядывает в партию го дальше любого человека, эта способность, похоже, не помогает в реальном мире. Это не та возможность заглянуть вперед, что нам нужна.

Я, разумеется, не утверждаю, что для написания диссертации необходимо заранее спланировать триллион мышечных действий. Сначала составляются лишь весьма абстрактные планы: скажем, выбор университета в Беркли или другом месте, выбор научного руководителя или темы исследования, обращение за финансированием, получение студенческой визы, переезд в выбранный город, проведение исследований и т. д. Чтобы сделать выбор, вы просто размышляете необходимое количество времени, пока решение не станет ясным. Если выполнимость некоторых абстрактных шагов, скажем, получения визы, неясна, вы еще думаете, возможно, собираете информацию, то есть делаете план более конкретным в деталях: это может быть выбор типа визы, на который вы имеете право, сбор необходимых документов и подача заявления. На рис. 17 показан абстрактный план и уточнение шага «Получить визу» из трех шагов. Когда наступает время выполнять план, его начальные шаги должны быть уточнены по всей цепочке вплоть до примитивного уровня, чтобы ваше тело могло их осуществить.

AlphaGo просто не способна мыслить подобным образом: единственные действия, которые она когда-либо обдумывает, — это примитивные действия, происходящие в последовательности от начального состояния. У нее нет понятия абстрактного плана. Пытаться применить AlphaGo в реальном мире — все равно что писать роман, гадая, какая буква должна быть первой, А, Б, В и т. д.

В 1962 г. Герберт Саймон подчеркнул важность иерархической организации в знаменитой статье «Архитектура сложности»[339]. Исследователи ИИ с начала 1970-х гг. разработали различные методы создания и уточнения иерархически организованных планов[340]. Некоторые из получившихся систем способны разрабатывать планы в десятки миллионов шагов — например, организовывать производственную деятельность большой фабрики.

Сейчас мы имеем достаточно хорошее теоретическое понимание значения абстрактных действий — того, как определить их практический эффект[341]. Рассмотрим для примера абстрактное действие «Приехать в Беркли» из рис. 17. Его можно выполнить многими способами, каждый из которых по-разному повлияет на мир. Вы можете решить поплыть туда на корабле зайцем, прилететь в Канаду и пешком перейти границу, нанять частный бизнес-джет и т. д. Однако пока вам незачем обдумывать все эти варианты. Если вы уверены, что существует способ сделать это, не требующий слишком много времени и денег или не сопряженный с таким риском, чтобы поставить под угрозу весь план, вы можете просто включить шаг «Приехать в Беркли» в план и не сомневаться, что план будет выполнен. Подобным образом можно строить высокоуровневые планы, которые со временем превратятся в миллиарды или триллионы примитивных шагов, даже не задумываясь о том, что это за шаги, пока не настанет время их выполнять.

Конечно, ничто из этого невозможно без иерархии. Без высокоуровневых действий, таких как получение визы и написание диссертации, мы не можем составить абстрактный план получения PhD. Без действий еще более высокого уровня вроде получения PhD и основания компании не можем планировать получить PhD и основать компанию. В реальном мире мы потерялись бы без обширной библиотеки действий на десятках уровней абстракции. (В игре го очевидная иерархия действий отсутствует, поэтому большинство из нас действительно теряется в ней.) В настоящее время, однако, все существующие методы иерархического планирования основываются на создаваемой человеком последовательности абстрактных и конкретных действий. Мы пока не понимаем, как можно научиться практическому формированию таких иерархий из опыта.

Приложение Б. Знание и логика

Логика — это наука о рассуждении на основе точного знания. Она носит всецело общий характер, независимо от предмета, а именно, знание может быть абсолютно о чем угодно. Логика, таким образом, есть неотъемлемая часть нашего понимания универсальной разумности.

Главным условием логики является формальный язык с точными значениями предложений этого языка, так, чтобы имелся однозначный процесс определения того, является ли предложение истинным или ложным в данной ситуации. Вот и все. Если это условие выполнено, мы можем писать осмысленные алгоритмы рассуждения, составляющие новые предложения из уже известных. Эти новые предложения гарантированно будут вытекать из предложений, которые система уже знает, следовательно, обязательно будут истинными в любой ситуации, в которой истинны исходные предложения. Это позволяет машине отвечать на вопросы, доказывать математические теоремы или разрабатывать планы, которым гарантирован успех.

Хорошим примером является алгебра, изучаемая в старших классах (хотя, возможно, у кого-то это пробудит тяжелые воспоминания). Ее формальный язык включает такие предложения, как 4х + 1 = 2y — 5. Это предложение истинно в ситуации, когда х = 5 и y = 13, и ложно при х = 5 и y = 6. Из этого предложения можно вывести другое, например y = 2х + 3, и в любом случае, когда первое предложение истинно, второе также гарантированно будет истинным.

Основная идея логики, выработанная независимо в древних Индии, Китае и Греции, состоит в том, что одни и те же понятия с точным значением и обоснованной логикой можно использовать в предложениях совершенно обо всем, не только о числах. Канонический пример исходит из утверждений «Сократ — человек» и «Все люди смертны» и делает из них вывод «Сократ смертен»[342]. Этот вывод является строго формальным в том смысле, что не опирается ни на какую дополнительную информацию о том, кто такой Сократ или что значит человек и смертен. Тот факт, что логическое рассуждение является строго формальным, означает, что возможно написать алгоритм, который это делает.

Пропозиционная логика

Нам с вами для понимания возможностей и перспектив ИИ важны два типа логики, по-настоящему существенные: пропозиционная логика и логика первого порядка. Разница между ними имеет принципиальный характер для понимания текущей ситуации в сфере разработки ИИ и ее вероятного развития.

Давайте начнем с более простой пропозиционной логики. Предложения составляются только из двух типов объектов: символов, обозначающих утверждения, которые могут быть истинными или ложными, и логических связок: и, или, нет и если… то (дальше я приведу пример). Эти логические связки иногда называют Булевыми, в честь Джорджа Буля, логика XIX в., вдохнувшего новую жизнь в эту сферу знания, предложив новые математические идеи. Это то же самое, что логические элементы компьютерных чипов.

Практические алгоритмы формирования рассуждения в пропозиционной логике известны с начала 1960-х гг.[343][344] Хотя задача универсального рассуждения в худшем случае может потребовать экспоненциального времени[345], современные алгоритмы пропозиционной логики решают задачи с миллионами пропозиционных символов и десятками миллионов предложений. Это основной инструмент составления гарантированно исполнимых логистических планов, верификации дизайна чипов перед их производством и проверки корректности программных приложений и протоколов безопасности перед их использованием. Замечательно, что один алгоритм — алгоритм формирования рассуждений пропозиционной логики — решает все задачи, если они сформулированы как задачи на рассуждение. Очевидно, это шаг на пути к универсальности интеллектуальных систем.

К сожалению, шаг довольно скромный, поскольку язык пропозиционной логики не слишком выразителен. Давайте рассмотрим, что это означает на практике, если попытаться выразить главное правило допустимых ходов в го: «Игрок, имеющий право хода, может поместить камень на любую незанятую точку пересечения линий»[346]. Первый шаг — решить, какие пропозиционные символы подойдут для описания ходов и игровых позиций го. Значимое базовое предположение — находится ли камень определенного цвета в определенном положении в определенное время. Итак, нам понадобятся такие символы, как Белый_Камень_На_5_5_В_Ходе_38 и Черный_Камень_На_5_5_В_Ходе_38. (Помните, что, как и в случае человека, смертного и Сократа, алгоритму формирования рассуждения не нужно знать значение символа.) Тогда логическое условие возможности для белых сделать ход на пункт (5,5) в процессе 38 хода будет иметь вид:

(не Белый_Камень_На_5_5_в_Ходе_38)

и (не Черный_Камень_На_5_5_В_Ходе_38).

Иными словами, в данном пункте нет ни белого, ни черного камня. Вроде бы просто. К сожалению, в пропозиционной логике это придется расписывать по отдельности для каждого положения на каждом ходе игры. Поскольку за одну игру имеется 361 положение и около 300 ходов, это означает больше 100 000 копий правила! Для правил, описывающих захваты и повторы, в которых участвует несколько камней и пунктов, ситуация ухудшается, и мы быстро заполняем правилами миллионы страниц.

Очевидно, что реальный мир намного больше доски для игры в го. В нем намного больше 361 местоположения и 300 временных шагов, а также множество других типов объектов, помимо камней. В общем, перспектива использования пропозиционного исчисления для описания знания о реальном мире совершенно безнадежна.

Проблему представляет не только огромный до нелепого размер свода правил, но и большой объем опыта, который потребуется обучающейся системе, чтобы усвоить правила из примеров. Если человеку достаточно одного-двух примеров, чтобы составить общее представление о том, как ставить камень на доску, захватывать камни и т. д., то интеллектуальной системе на основе пропозиционной логики пришлось бы показывать примеры перемещений и захватов по отдельности для каждого пункта и каждого хода. Система не может сделать обобщение на основе немногочисленных примеров, как это делает человек, поскольку не имеет возможности сформулировать общее правило. Это ограничение распространяется не только на системы, основанные на пропозиционной логике, но на любые системы с сопоставимыми выразительными возможностями. Например, Байесовы сети, вероятностные родственники систем пропозиционной логики, и нейронные сети, являющиеся основой подхода к созданию ИИ на основе глубокого обучения.

Логика первого порядка

Следующий вопрос: существует ли более выразительный логический язык? Нам подойдет тот, на котором возможно сообщить системе правила игры в го следующим образом:

для всех пунктов на доске и для всех временных шагов выполняются правила…

Логика первого порядка, предложенная немецким математиком Готлобом Фреге в 1879 г., позволяет писать правила именно так[347]. Ключевое различие между пропозиционной логикой и логикой первого порядка состоит в том, что если первая предполагает, что мир состоит из предложений, являющихся истинными или ложными, то вторая рассматривает мир как состоящий из объектов, которые могут быть связаны друг с другом разными способами. Например, в нем могут быть местоположения, соседствующие друг с другом, моменты времени, непрерывно следующие один за другим, камни, занимающие местоположения в определенные моменты времени, и ходы, допустимые в определенные моменты времени. Логика первого порядка позволяет утверждать, что определенное свойство истинно для всех объектов в мире. Таким образом, можно написать:

для всех временных шагов t, и для всех местоположений l, и для всех цветов с, если с имеет право делать ход в момент времени t и l не занято в момент времени t, то для с допустимо поместить камень в местоположение l в момент времени t.

Добавив еще несколько пояснений и дополнительных предложений, определяющих местоположения на доске, два цвета и значение понятия незанятый, получаем начало полных правил игры в го. На языке логики первого порядка они занимают практически столько же места, сколько и наша фраза.

Развитие логического программирования в конце 1970-х гг. принесло изящный и эффективный метод логического рассуждения, воплотившийся в языке программирования «Пролог». Программисты научились строить на этом языке логические рассуждения, выполнявшиеся со скоростью в миллионы шагов в секунду, что позволило осуществить практическое применение логики. В 1982 г. правительство Японии объявило об огромных инвестициях в разработку ИИ на основе «Пролога», в так называемый проект «Пятое поколение»[348]. Об аналогичных инициативах сообщили США и Великобритания[349][350].

К сожалению, «Пятое поколение» и другие похожие проекты выдохлись в конце 1980-х и начале 1990-х гг., отчасти из-за неспособности логики первого порядка работать с неопределенной информацией. Они стали воплощением возникшего вскоре уничижительного понятия «старый добрый ИИ» (Good Old-Fashioned AI, GOFAI)[351]. Стало модно вообще отвергать логику как не имеющую отношения к ИИ. Многие исследователи ИИ, работающие в настоящее время в сфере глубокого обучения, ничего не знают о логике. Думаю, эта мода пройдет: если вы признаете, что мир содержит объекты, связанные друг с другом различными способами, то логика первого порядка не может не быть для вас очевидной, поскольку дает базовую математику для объектов и отношений. Это мнение разделяют Демис Хассабис, генеральный директор Google DeepMind [352]:

Глубокое обучение в его сегодняшнем состоянии можно рассматривать как аналог чувствительной коры нашего головного мозга — зрительной или слуховой коры. Конечно, настоящий интеллект далеко не сводится к этому, его нужно перекомпоновать в рассуждение более высокого уровня и символическое рассуждение, с чем классический ИИ пытался разобраться в 1980-х гг.

…Мы бы хотели, чтобы эти системы доросли до символического уровня рассуждения — математики, речи и логики. Это очень важная часть нашей работы.

Итак, вот важнейшие уроки первых 30 лет исследования ИИ: программе, которая знает что-то, в любом практическом смысле, нужна способность репрезентации и рассуждения, по меньшей мере сопоставимая с той, что предлагается логикой первого порядка. На данный момент мы не знаем, какую именно форму примет эта способность. Возможно, она будет встроена в системы вероятностного рассуждения, в системы глубоко обучения или в гибридную схему, которую еще предстоит изобрести.

Приложение В. Неопределенность и вероятность

Если логика создает общий фундамент для рассуждения на основе точного знания, то теория вероятности охватывает рассуждения на основе неопределенной информации (частным случаем которой является точное знание). Неопределенность — нормальная эпистемологическая ситуация для агента в реальном мире. Хотя основные идеи теории вероятности были разработаны в XVII в., лишь недавно появилась возможность формальным образом создавать и обрабатывать большие вероятностные модели.

Основы теории вероятности

Теория вероятности имеет общую с логикой мысль о существовании возможных миров. Обычно начинают с определения того, что это за миры. Например, если я бросаю обычную шестигранную игральную кость, то имею шесть миров (иногда их называют результатами): 1, 2, 3, 4, 5, 6. Выпадет из них только один, но я заранее не знаю, какой именно. Теория вероятности предполагает, что можно присвоить вероятность каждому миру; в случае моей игральной кости я приписываю каждому миру вероятность 1/6. (Эти вероятности оказались равны, но так бывает не всегда; единственное требование — чтобы в сумме они составляли 1.) Теперь я могу спросить, например: «Какова вероятность того, что выпадет четное число?» Чтобы это узнать, я просто складываю вероятности трех миров, для которых число является четным: 1/6 + 1/6 + 1/6 = .

Очевиден также учет новых данных. Допустим, оракул говорит мне, что выпадет простое число (то есть 2, 3 или 5). Это исключает миры 1, 4 и 6. Я просто беру вероятности, соответствующие оставшимся возможным мирам, и пропорционально увеличиваю их так, чтобы сумма осталась равной 1. Теперь вероятность выпадения 2, 3 и 5 составляет в каждом случае 1/3, а вероятность, что мой бросок принесет четное число, становится всего 1/3, поскольку осталось лишь одно четное число, 2. Процесс обновления вероятностей с появлением новых данных является примером Байесова обновления.

Похоже, в вероятностях нет ничего сложного! Даже компьютер может складывать числа, в чем же проблема? Проблема возникает, если миров больше нескольких штук. Например, если я бросаю кость 100 раз, это дает 6100 результатов. Немыслимо начинать процесс вероятностного рассуждения, присваивая номер каждому из них в отдельности. Подсказкой, как работать с этой сложностью, служит тот факт, что броски кости являются независимыми, если известно, что кость правильная, а именно — результат каждого броска не влияет на вероятность результатов любого другого броска. Таким образом, независимость помогает структурировать вероятности сложной совокупности событий.

Допустим, я играю в настольную игру «Монополия» со своим сыном Джорджем. Моя фишка попадает на «Посещение», а Джорджу принадлежит желтый набор, имущество которого находится в 16, 17 и 19 полях от «Посещения». Следует ли ему купить дома для желтого набора сейчас, чтобы мне пришлось платить ему завышенную арендную плату в случае попадания на эти поля, или лучше подождать следующего круга? Это зависит от вероятности выпадения поля из желтого набора в нынешнем круге.

Вот правила бросания костей в «Монополии»: выбрасываются две кости, и фишка передвигается в соответствии с выпавшей суммой; при выпадении дублей игрок снова бросает кости и делает ход; если вторично выпадают дубли, игрок бросает кости и ходит в третий раз (однако, если и третий бросок оказывается дублем, игрок отправляется в тюрьму). Итак, я могу выбросить, скажем, 4–4, затем 5–4, всего 17, или 2–2, затем 2–2, затем 6–2, всего 16. Как и прежде, я просто складываю вероятности всех миров, в которых попадаю на желтое. К сожалению, таких миров много. В общей сложности, можно выбросить до шести костей, и миры исчисляются тысячами. Более того, броски уже не независимы, поскольку второго броска не будет, если первый не окажется дублем. В то же время если зафиксировать ценность первой пары костей, то ценность второй пары будет независимой. Можно ли учесть подобную зависимость?

Байесовы сети

В начале 1980-х гг. Джуда Перл предложил формальный язык под названием Байесовы сети, который позволяет во многих ситуациях реального мира отображать вероятность очень большого числа результатов в очень сжатой форме[353].

На рис. 18 представлена Байесова сеть, описывающая бросание костей в «Монополии». Единственные вероятности, которые нужно подставить, это равные 1/6 вероятности выпадения значений 1, 2, 3, 4, 5, 6 в отдельных бросках кости (D1, D2 и т. д.), а именно — 36 номеров вместо нескольких тысяч. Для объяснения точных значений сети нужна кое-какая математика[354], но основная мысль состоит в том, что стрелки обозначают отношения зависимости — например, значение Дубли12 зависит от значений D1 и D2. Аналогично значения D3 и D4 (следующий бросок двух костей) зависят от Дубли12, потому что если Дубли12 имеет значение ложно, то D3 и D4 равны 0 (то есть отсутствию следующего хода).

Как и в случае пропозиционной логики, существуют алгоритмы, способные ответить на любой вопрос по любой Байесовой сети, для которой имеются данные. Например, мы можем спросить, какова вероятность попадания на желтое, которая, оказывается, составляет около 3,88 %. (Это значит, что Джордж может подождать, прежде чем покупать дома для желтого набора.) Мы можем задать чуть более амбициозный вопрос о вероятности события Попадание на желтое при условии, что при втором броске выпадает дубль 3. Алгоритм самостоятельно устанавливает, что в этом случае первый бросок должен принести дубль, и приходит к выводу, что ответ — около 36,1 %. Это пример Байесова обновления: когда добавляется новое свидетельство (что результат второго броска — дубль 3), вероятность Попадания на желтое меняется с 3,88 % до 36,1 %. Аналогично вероятность того, что я буду бросать кости трижды (Дубли34 истинно), составляет 2,78 %, тогда как вероятность трех моих бросков при условии, что я попаду на желтое, — 20,44 %.

Байесовы сети позволяют строить системы на основе знания, свободные от ошибок, свойственных экспертным системам на основе правил, которые создавались в 1980-х гг. (Если бы сообщество разработчиков ИИ меньше сопротивлялось применению теории вероятности в начале 1980-х гг., то могло бы избежать «зимы ИИ», последовавшей после того, как лопнул пузырь этих экспертных систем.) Уже выпущены тысячи приложений в широком спектре областей, от медицинской диагностики до предотвращения терроризма[355].

Байесовы сети создают механизм отображения необходимых вероятностей и выполнения вычислений для осуществления Байесова обновления в случае множества комплексных задач. Как и пропозиционная логика, однако, они имеют довольно ограниченную способность отображать общее знание. Во многих приложениях репрезентация Байесовой сети становится очень большой и повторяющейся. Например, как правила го в пропозиционной логике приходится повторять для каждого пункта, так и основанные на вероятности правила «Монополии» должны быть повторены для каждого игрока, каждого местоположения, где игрок может оказаться, и каждого хода игры. Такие огромные сети практически невозможно создать самостоятельно, приходится пользоваться кодом, написанном на традиционном языке, например С++, чтобы генерировать и объединять многочисленные фрагменты Байесовых сетей. Это рационально в инженерном решении конкретной задачи, но становится препятствием для универсальности, поскольку код С++ должен писаться заново для каждого приложения специалистом.

Языки вероятностной логики первого порядка

К счастью, оказывается,что можно сочетать выразительность логики первого порядка со способностью Байесовых сетей сжато передавать вероятностную информацию. Это сочетание дает нам лучшее от обоих миров: вероятностные системы на основе знания способны обслуживать намного более широкий круг ситуаций реального мира, чем каждый из этих двух методов в отдельности. Например, мы легко можем выразить вероятностное знание о наследовании генетической информации:

для всех особей c, f и m,

если f — отец c, а m — мать c

и как f, так и m имеют группу крови АВ,

то c имеет группу крови АВ с вероятностью 0,5.

Сочетание логики первого порядка и вероятностной логики дает нам нечто гораздо большее, чем способ выражения неопределенной информации о множестве объектов. Причина в том, что при добавлении неопределенности в миры, содержащие объекты, мы получаем два новых типа неопределенности: не только неопределенность относительно фактов, являющихся истинными или ложными, но также неопределенность в вопросе о том, какие объекты существуют, и о том, где какие объекты находятся. Эти виды неопределенности являются вездесущими. Мир не предстает со списком характеристик, как викторианская пьеса; нет, вы постепенно узнаете о существовании объектов путем наблюдения.

Иногда знание о новых объектах бывает достаточно определенным, например, когда вы открываете окно в номере отеля и впервые видите базилику Сакре-Кёр{21}. Бывает оно и неопределенным, как в случае, когда вы ощущаете легкое потряхивание, которое может быть вызвано и землетрясением, и проходящим поездом подземки. Если идентичность Сакре-Кёр вполне однозначна, то идентичность поезда подземки — нет: возможно, вы ездили на этом самом поезде сотни раз, не осознавая, что это тот же самый поезд. Иногда нам не нужно устранять неопределенность. Обычно я не даю имена всем помидорам в банке с черри и не слежу за самочувствием каждого, если, конечно, мне не нужно описывать ход эксперимента с целью исследования гниения помидоров. Напротив, я стараюсь следить за каждым из аспирантов, которые у меня учатся. (Однажды в моей группе оказались двое стажеров-исследователей, имевших одинаковые имена и фамилии, очень похожие друг на друга внешне и работавшие над тесно связанными темами; я, по крайней мере, считаю, что их было именно двое.) Проблема в том, что мы непосредственно воспринимаем не идентичность объектов, а какие-то аспекты их внешнего облика (его характеристики). Объекты, как правило, не снабжены регистрационными знаками, являющимися их уникальными идентификаторами. Идентичность — это нечто такое, что наш ум иногда приписывает объектам в каких-то своих целях.

Сочетание теории вероятности и выразительного формального языка — достаточно новая область ИИ, часто именуемая вероятностным программированием[356]. Создано несколько десятков языков вероятностного программирования, или PPL, многие из которых получили свои выразительные возможности от обычных языков программирования, а не от логики первого порядка. Все PPL-системы имеют способность представлять и логически обрабатывать комплексное неопределенное знание. Приложения включают систему Microsoft TrueSkill, ежедневно оценивающую миллионы геймеров; модели элементов человеческой когнитивной системы, прежде не поддававшихся объяснению механистическими гипотезами, таких как способность обучиться новым визуальным категориям объектов по единственному образцу[357]; и всемирный мониторинг сейсмической активности в рамках Договора о всеобъемлющем запрещении ядерных испытаний (ДВЗЯИ) для выявления тайных ядерных взрывов[358].

Системы мониторинга ДВЗЯИ собирают данные о движении земной коры в реальном времени с помощью глобальной сети, включающей более 150 сейсмографов, они призваны идентифицировать все происходящие на Земле сейсмические события выше определенной магнитуды и помечать подозрительные. Очевидно, в этой задаче присутствует множество экзистенциальных неопределенностей, поскольку мы заранее не знаем, какие события произойдут; более того, подавляющее большинство сигналов в этих данных — просто шум. Имеется и неопределенность идентичности: всплеск сейсмической энергии, зарегистрированный станцией А в Антарктиде, может исходить или не исходить от того же события, что и другой всплеск, который зафиксировала станция Б в Бразилии. Слушать Землю все равно что слушать тысячи одновременных зашифрованных разговоров, которые еще и заглушаются взаимным наложением.

Как мы решаем эту задачу с помощью вероятностного программирования? Казалось бы, нужен какой-то умный алгоритм, чтобы сортировать все возможности. В действительности, благодаря методу систем, основанных на знании, нам вообще не приходится изобретать новые алгоритмы. Мы просто используем PPL, чтобы выразить то, что знаем о геофизике: как часто случаются события в регионах природной сейсмической активности, с какой скоростью сейсмические волны распространяются в земной коре и насколько они шумные. Затем мы добавляем данные и запускаем алгоритм вероятностного рассуждения. Получающаяся система мониторинга, NET-VISA, функционирует как часть режима контроля запрета испытаний с 2018 г. На рис. 19 показана регистрация NET-VISA ядерного испытания в Северной Корее.

Наблюдение за миром

Одной из самых важных задач вероятностного рассуждения является отслеживание состояния частей мира, недоступных для прямого наблюдения. В большинстве видеоигр и настольных игр в этом нет необходимости, потому что вся релевантная информация наблюдаема, но в реальном мире это редкость.

Примером служит одна из первых серьезных автомобильных аварий с участием автономного автомобиля. Она произошла на перекрестке Саут-Макклинток-драйв и Ист-Дон-Карлос-авеню в Темпе (Аризона) 24 марта 2017 г.[359] Как показано на рис. 20, автомобиль с автопилотом «Вольво» (V), двигаясь на юг по Макклинток, въезжает на перекресток в тот самый момент, когда сигнал светофора меняется на желтый. Ряд «Вольво» свободен, поэтому машина продолжает движение через перекресток с прежней скоростью. Затем автомобиль «Хонда» (H), какое-то время остававшийся невидимым появляется из-за линии остановившихся машин, и происходит столкновение.

Страницы: «« 123456 »»

Читать бесплатно другие книги:

Другая женщина
Другая женщина
Джонс Сэнди
Лёка и Дмитрий, Варвара и Глеб, Андрей и Ирина встречают друг друга слишком поздно… «Солнечный удар»...
Стеллар. Трибут
Стеллар. Трибут
Прокофьев Роман
О чем эта книга?О тайнах мира, разрушенного сущностями, приходящими из Грани. О Черной Луне, об Одер...
Пока медведица на небе
Пока медведица на небе
Ефимова Юлия
Страшная война не проходит бесследно. Она эхом доносится из прошлого, даже в наше мирное время, заст...
Петр Первый
Петр Первый
Толстой Алексей
Библиотека проекта «История Российского государства» – это рекомендованные Борисом Акуниным лучшие п...
Мальчик одноразовый
Мальчик одноразовый
Монастырский Сергей
Вовчик был влюбчив. Но влюблялся ненадолго. На две недели. Больше он боялся. Потому что будет уже се...
Лживая взрослая жизнь
Лживая взрослая жизнь
Ферранте Элена
"Лживая взрослая жизнь" – это захватывающий, психологически тонкий и точный роман о том, как нелегко...