Совместимость. Как контролировать искусственный интеллект Рассел Стюарт

После того как опровергнуты все аргументы скептиков и даны ответы на все «но», обычно следует: «Ладно, я признаю, что проблема существует, но решения-то все равно нет, не так ли?» Не так, решение есть.

Давайте вспомним, какая задача перед нами стоит: создать машины с высоким уровнем интеллектуальности — способные помочь в решении трудных проблем, — в то же время гарантировав, что они никогда не сделают ничего такого, что причинило бы нам серьезные неприятности.

К счастью, это не задача «имея машину, обладающую высоким интеллектом, выяснить, как ее контролировать». Если бы вопрос ставился так, нам пришел бы конец. Машина, воспринимаемая как черный ящик, как данность, с тем же успехом могла бы прибыть из дальнего космоса, а наши шансы контролировать сверхинтеллектуальную сущность из дальнего космоса примерно равны нулю. Аналогичные аргументы применимы к методам создания ИИ-систем, гарантирующих, что мы не будем понимать, как они работают; к этим методам относятся полномасштабное имитационное моделирование головного мозга[234] — создание улучшенных электронных копий человеческого мозга, — а также методы, основанные на моделях эволюции программ[235]. Я не стану далее распространяться об этих предложениях, поскольку очевидно, насколько это плохая идея.

Как специалисты по ИИ подходили в прошлом к решению той части задачи, которая касается «создания машин с высоким уровнем интеллектуальности»? Как и во многих других областях исследований, здесь была принята стандартная модель: мы строим оптимизирующие машины, даем им задачи, и они их решают. Это хорошо работало, когда машины не были продвинутыми, а их действия имели ограниченный охват; если вы ставили неверную цель, то имели хорошие шансы выключить машину, решить проблему и сделать еще одну попытку.

Однако по мере того, как машины, построенные по стандартной модели, становятся более интеллектуальными, а их охват — всемирным, данный подход оказывается несостоятельным. Такие машины будут преследовать собственную цель, какой бы неправильной она ни была; они будут сопротивляться попыткам выключить их; наконец, они будут приобретать все ресурсы, требующиеся для достижения их цели. Действительно, оптимальное поведение для машины может включать введение в заблуждение людей, считающих, что поставили перед машиной рациональную задачу, с тем чтобы получить достаточно времени для достижения той самой заданной ей цели. Это не будет «девиантная» или «вредоносная» активность, требующая сознания и свободы воли; это будет всего лишь часть оптимального плана достижения цели.

В главе 1 я ввел понятие полезных машин, а именно — машин, действия которых ожидаемо должны преследовать наши цели, а не свои цели. Моей задачей в этой главе будет объяснить доступным языком, как это можно сделать, несмотря на то очевидное препятствие, что машины не знают, в чем состоят наши задачи. Итоговый подход в конечном счете приведет к появлению машин, не представляющих для нас никакой опасности, какими бы интеллектуальными они ни были.

Принципы построения полезных машин

Мне хотелось бы описать данный подход в форме трех принципов[236]. Помните, что их основное назначение — служить руководством для исследователей и разработчиков ИИ в размышлениях о том, как создать полезные ИИ-системы; они не предлагаются в качестве явно заданных законов, которым должны удовлетворять ИИ-системы[237]:

1. Единственная задача машины — в максимальной степени реализовать предпочтения человека.

2. Изначально машина находится в неопределенности относительно того, каковы эти предпочтения.

3. Главнейшим источником информации о предпочтениях человека является поведение человека.

Прежде чем перейти к более подробным объяснениям, важно подчеркнуть широту толкования того, что я в этих принципах называю предпочтениями. Напомню, что я писал в главе 2: если бы вы имели возможность посмотреть два фильма, каждый из которых достаточно детально описывает вашу возможную будущую жизнь, вы могли бы сказать, какой вариант предпочитаете, или выразить незаинтересованность в обоих. Таким образом, предпочтения в данном случае носят всеобъемлющий характер; они охватывают все, что может быть для вас важно в сколь угодно далеком будущем[238]. Причем это ваши предпочтения: машина не пытается идентифицировать или установить один идеальный комплекс предпочтений, но понимает и удовлетворяет (насколько это возможно) предпочтения каждого человека.

Первый принцип: всецело альтруистические машины

Первый принцип, согласно которому единственная задача машины — максимизировать реализацию предпочтений человека, является центральным в понятии полезной машины. Особенно важно, что она будет полезной для людей, а не, допустим, тараканов. Это неотделимо от данного понятия пользы, связанного с ее получателем.

Данный принцип означает, что машина всецело альтруистична, то есть не придает абсолютно никакой внутренней ценности собственному благополучию или даже собственному существованию. Она может защищать себя, чтобы продолжить приносить пользу людям, потому что ее владелец был бы несчастлив, если бы ему пришлось оплачивать ремонт, либо потому, что вид грязного или поврежденного робота может угнетать прохожего, но не потому, что хочет быть живой. Введение любого предпочтения самосохранения создает у робота дополнительный стимул, не вполне совпадающий с благополучием человека.

Формулировка первого принципа поднимает два вопроса фундаментального значения. Каждый сам по себе заслуживает целой книжной полки, по этим вопросам уже написано множество книг.

Первый вопрос: имеют ли люди в действительности предпочтения значимого или устойчивого характера? Честно говоря, понятие «предпочтения» — это идеализация, во многих отношениях расходящаяся с реальностью. Например, мы не рождаемся с предпочтениями, которые имеем во взрослые годы, значит, они обязательно меняются со временем. На данный момент я предположу, что это разумная идеализация. Позднее я рассмотрю, что происходит, если мы отказываемся от идеализации.

Второй вопрос составляет основу социальных наук: с учетом того, что обычно невозможно гарантировать получение каждым своего самого предпочитаемого результата — мы все не можем быть императорами Вселенной, — как машине примирить предпочтения многочисленных людей? Опять-таки пока — обещаю, что вернусь к этому вопросу в следующей главе, — представляется разумным принять простой подход, что все равны. Это заставляет вспомнить о корнях утилитаризма XVIII в. с его идеалом «наибольшее счастье наибольшему числу людей»[239], для практической реализации которого требуется много оговорок и уточнений. Пожалуй, самым важным из всех является вопрос о том, каким образом учесть предпочтения очевидно громадного числа людей, которые еще не родились.

Вопрос о будущих поколениях поднимает следующий, связанный с ним: как учесть предпочтения существ, не являющихся людьми? А именно — должен ли первый принцип включать предпочтения животных? (Возможно, и растений?) Этот вопрос заслуживает обсуждения, но результат едва ли окажет заметное влияние на движение к созданию ИИ. Вообще говоря, человеческие предпочтения могут включать — и включают — условия благополучия животных, а также те аспекты благополучия человека, которые непосредственно выигрывают от существования животных[240]. Сказать, что машина должна уделять внимание предпочтениям животных в дополнение к этому, равносильно утверждению, что люди должны строить машины, больше заботящиеся о животных, чем сами люди, — довольно шаткая позиция. Более устойчивая состоит в том, что наша склонность к ошибочному принятию решений — играющая против наших же интересов — часто приводит к негативным последствиям для окружающей среды и ее обитателей-животных. Машина, принимающая менее близорукие решения, помогла бы людям следовать более осмысленной политике в отношении среды обитания. Если в будущем мы станем придавать значительно большее значение благополучию животных, чем сейчас, — что, по-видимому, требует отказа от части нашего собственного объективного благополучия, — машины соответствующим образом адаптируются к этому изменению.

Второй принцип: смиренные машины

Второй принцип: машина изначально не уверена, в чем заключаются предпочтения человека, — это ключ к созданию полезных машин.

Машина, предполагающая, что идеально знает истинную задачу, будет настойчиво ее преследовать. Она никогда не спросит, правилен ли определенный порядок действий, поскольку уже знает, что это оптимальное решение данной задачи. Она будет игнорировать людей, мечущихся вокруг нее с криками: «Остановись, ты сейчас уничтожишь мир!» — потому что это всего лишь слова. Убежденность в совершенном знании задачи отделяет машину от человека: что делает человек, уже не важно, раз машина знает цель и преследует ее.

Напротив, машина, не уверенная в истинной цели, будет проявлять нечто вроде смирения, например подчиняться людям и позволять себя выключить. Она рассуждает, что человек отключит ее, только если она делает что-то неправильное, то есть противоположное предпочтениям человека. По первому принципу она хочет избежать таких действий, но по второму принципу знает, что это возможно, поскольку ей неизвестно наверняка, «что не так». Получается, если человек все-таки отключает машину, то машина избегает совершения неправильного действия, чего она и желает. Иными словами, машина имеет положительный стимул позволить себя выключить. Она остается связанной с человеком как потенциальным источником информации, которая позволит ей избежать ошибок и лучше сделать свою работу.

Неопределенность является главной темой в разработке ИИ с 1980-х гг.; выражение «современный ИИ» часто относится к революции, совершившейся, когда неопределенность была, наконец, признана закономерностью принятия решений в реальном мире. Тем не менее неопределенность задачи ИИ-системы попросту игнорировалась. Во всех работах по максимизации полезности, достижению целей, минимизации затрат, максимизации вознаграждения и минимизации потерь предполагалось, что функция полезности, целевая функция, функция издержек, функция вознаграждения, функция потерь в точности известна. Но почему? Как сообщество разработчиков ИИ (а также специалистов по теории управления, исследованию операций и статистике) может так долго не замечать огромное слепое пятно^{13}, признавая неопределенность во всех остальных сторонах принятия решений?[241]

Можно приводить довольно сложные объяснения[242], но я подозреваю, что исследователи ИИ, за некоторыми досточтимыми исключениями[243], попросту уверовали в стандартную модель, переносящую понятие человеческого разума на машинный: люди имеют цели и преследуют их, значит, и машины должны иметь цели и преследовать их. Они — точнее говоря, мы — никогда всерьез не анализировали это фундаментальное допущение. Оно встроено в существующие подходы к конструированию интеллектуальных систем.

Третий принцип: учиться, чтобы прогнозировать предпочтения человека

Третий принцип, согласно которому основным источником информации о человеческих предпочтениях является человеческое поведение, решает две задачи.

Первая состоит в создании надежного основания для понятия предпочтения человека. По определению, предпочтения человека не заложены в машину, и она не может наблюдать их непосредственно, тем не менее должна иметься однозначная связь между машиной и человеческими предпочтениями. Принцип гласит, что эта связь устанавливается путем наблюдения за человеческим выбором: мы предполагаем, что любой выбор неким (возможно, очень сложным) образом связан с базовыми предпочтениями. Чтобы понять, почему эта связь принципиально важна, рассмотрим противоположную ситуацию: если некоторое предпочтение человека не оказывает совершенно никакого влияния на какой бы то ни было реальный или гипотетический выбор, который может быть сделан человеком, то бессмысленно говорить о существовании этого предпочтения.

Вторая задача — дать машине возможность становиться более полезной, больше узнавая, чего мы хотим. (В конце концов, если она ничего не знает о предпочтениях человека, то будет для нас бесполезной.) Мысль весьма проста: всякий выбор человека открывает информацию о его предпочтениях. В случае выбора между пиццей с ананасами и пиццей с сосисками это очевидно. Если выбирают между вариантами будущей жизни, причем выбор делается с целью повлиять на поведение робота, ситуация становится более интересной. В следующей главе я объясню, как формулировать и решать подобные задачи. Однако настоящая трудность возникает потому, что люди не вполне рациональны: между нашими предпочтениями и выбором отсутствует идеальное совпадение, и машина должна учитывать эти несовершенства, чтобы интерпретировать выбор как проявление предпочтений человека.

К чему я веду

Прежде чем погрузиться в детали, я хочу исключить возможное недопонимание.

Первая и самая распространенная ошибка — считать, будто я предлагаю встроить в машины единственную идеализированную систему ценностей моей собственной разработки, чтобы она управляла поведением машины. «Чьи ценности вы собираетесь внедрить?» «Кто будет решать, в чем заключаются ценности?» Или даже: «Что дает право западным ученым — благополучным белым мужчинам-цисгендерам^{14} вроде Рассела — решать, как машина станет кодировать и вырабатывать человеческие ценности?»[244]

Думаю, это недопонимание возникает отчасти из-за прискорбного несоответствия между обиходным пониманием слова ценность и более техническим толкованием, в котором оно используется в экономике, разработке ИИ и исследовании операций. В повседневном значении ценности есть нечто, с помощью чего индивид решает нравственные дилеммы; напротив, в качестве технического термина ценность — нечто вроде синонима полезности, меры желательности чего угодно, от пиццы до рая. Значение, нужное мне, — технического характера: я лишь хочу быть уверенным, что машины подадут мне нужную пиццу и не уничтожат по случайности человечество. (Отыскание моих ключей станет приятной неожиданностью.) Чтобы избежать этой путаницы, в принципах говорится о предпочтениях человека, а не о ценностях, поскольку первый термин, на мой взгляд, свободен от субъективных ожиданий, связанных с нравственностью.

«Закладывание ценностей» — та самая ошибка, которой я призываю избегать, потому что идеально правильно усвоить ценности (или предпочтения) невероятно трудно, а их неправильное усвоение грозит катастрофой. Я предлагаю, чтобы машины учились лучше прогнозировать для каждого человека, какую жизнь он предпочтет вести, постоянно сознавая, что прогнозы отличаются высокой неопределенностью и неполнотой. По идее, машина может изучить миллиарды моделей прогнозирования предпочтений для каждого из миллиардов людей на Земле. Это никоим образом не завышенные ожидания по отношению к ИИ-системам будущего, с учетом того что современные системы Facebook уже поддерживают свыше 2 млрд индивидуальных профилей.

С указанным недопониманием связано еще одно: будто бы наша цель — наделить машины «этикой» или «нравственными ценностями», которые позволят им решать нравственные дилеммы. Люди часто ссылаются на так называемую проблему вагонетки[245] — необходимость выбирать, убить ли одного человека ради спасения остальных, — поскольку считают, что она как-то связана с вопросом об автономных автомобилях. Однако сама суть нравственных дилемм состоит в том, что они представляют собой дилеммы — с обеих сторон имеются убедительные аргументы. Выживание человечества не нравственная дилемма. Машины могли бы решить нравственные дилеммы неправильно (в чем бы это ни выражалось), тем не менее не вызвав катастрофических последствий для человечества[246].

Другое распространенное предположение — что машины, следующие трем принципам, разовьют у себя все отрицательные черты людей, которых наблюдают и у которых учатся. Действительно, многие из нас склонны делать небезупречный выбор, но нет причин полагать, что машины, изучающие наши мотивации, станут делать такой же выбор, — это равносильно ожиданию, что криминалисты должны становиться преступниками. Возьмем, например, коррумпированного чиновника, вымогающего взятки за выдачу разрешений на строительство, потому что его нищенская зарплата не позволяет оплатить обучение детей в университете. Машина, наблюдающая это поведение, не научится брать взятки; она усвоит, что чиновник, как и многие другие люди, имеет очень сильное желание, чтобы его дети стали образованными и успешными. Она найдет способы помочь ему, не предполагающие ухудшения благополучия других людей. Это не значит, что все случаи негодного поведения должны оцениваться машинами как беспроблемные. Возможно, машинам нужно будет по-другому обращаться с людьми, осознанно стремящимися причинять страдания другим.

Причины для оптимизма

Короче говоря, я полагаю, что нам нужно развернуть исследования ИИ совершенно в другом направлении, если мы хотим сохранить контроль над все более интеллектуальными машинами. Нам нужно отойти от одной из движущих идей технологии XXI в. — машин, оптимизирующих поставленную задачу. Меня часто спрашивают, почему я считаю это достижимым хотя бы в отдаленной перспективе, с учетом колоссальной инерции движения, связанной со стандартной моделью ИИ и сопутствующими дисциплинами. В общем, я настроен по этому поводу оптимистично.

Первой причиной для оптимизма является наличие сильных экономических стимулов разработки ИИ-систем, которые подчиняются человеку и постепенно подстраиваются под предпочтения и намерения пользователя. Такие системы были бы очень востребованы: спектр доступных им действий попросту намного шире, чем у машин с фиксированными, известными целями. Они будут задавать людям вопросы или спрашивать разрешения, когда это нужно, осуществлять «пробные запуски», чтобы узнать, нравится ли нам их предложение, и принимать исправления, сделав что-то неправильно. Напротив, отказ систем от всех этих действий имел бы серьезные последствия. До сих пор тупость и ограниченность воздействия ИИ-систем защищали нас от этих последствий, но это изменится. Представьте, например, домашнего робота будущего, который должен присматривать за вашими детьми, когда вы задерживаетесь на работе. Дети хотят есть, но холодильник пуст. Тут робот замечает кошку. Увы, робот понимает питательную ценность кошки, но не ее эмоциональную ценность. Проходит несколько часов, мировые СМИ пестрят заголовками о свихнувшихся роботах и жареных кошках, и все производители роботов-домохозяек лишаются рынка сбыта.

Возможность того, что один представитель отрасли может уничтожить ее всю из-за небрежной разработки, создает сильный экономический стимул к формированию отраслевого соглашения по ориентации на безопасность и ужесточению стандартов безопасности. Уже сейчас Партнерство по развитию ИИ, членами которого являются почти все ведущие технологические компании мира, пришло к соглашению о сотрудничестве с целью обеспечения того, чтобы «исследования ИИ и технологии были честными, надежными, заслуживающими доверия и велись в условиях установленных ограничений». Насколько я знаю, все крупнейшие игроки публикуют свои исследования, связанные с ориентацией на техническую безопасность, в открытом доступе. Таким образом, экономический стимул уже действует задолго до создания ИИ человеческого уровня и будет лишь усиливаться со временем. Более того, та же тенденция к кооперации может начаться на международном уровне. Например, официальная политика китайского правительства — «кооперация с целью активного предупреждения угрозы, связанной с ИИ»[247].

Вторая причина для оптимизма заключается в изобилии исходных данных для изучения человеческих предпочтений, а именно примеров человеческого поведения. Данные поступают не только в форме прямого наблюдения через видеокамеру, клавиатуру и тачскрин миллиардов машин, обменивающихся данными о миллиардах человек (разумеется, с ограничениями, связанными с конфиденциальностью), но и опосредованно. Самым очевидным типом косвенных данных является огромная летопись человечества: книги, фильмы, теле- и радиотрансляции, почти полностью посвященные тому, что люди делают (а другие люди из-за этого расстраиваются). Даже самые ранние и скучные шумерские и египетские хроники обмена медных чушек на мешки ячменя дают некоторое представление о человеческих предпочтениях в отношении различных товаров повседневного спроса.

Разумеется, определенные трудности сопутствуют интерпретации этих исходных данных, включающих пропаганду, вымысел, бред сумасшедших и даже заявления политиков и президентов, но, безусловно, у машины нет причин принимать это все за чистую монету. Машины могут и будут интерпретировать все коммуникации других разумных сущностей как шаги на игровом поле, а не как установленные факты. В некоторых играх, например на сотрудничество с участием одного человека и одной машины, у человека есть стимул быть правдивым, но во многих других ситуациях имеются стимулы к нечестности. Разумеется, честные или лживые, люди могут искренне заблуждаться.

Есть и другой тип косвенных данных, бросающихся в глаза: то, каким мы сделали мир[248]. Мы сделали его именно таким, потому что — очень сильно обобщая — он нравится нам таким. (Разумеется, он не совершенен!) Представьте теперь, что вы инопланетянин, оказавшийся на Земле, когда все люди уехали на выходные. Заглядывая в их дома, начнете ли вы понимать основы человеческих предпочтений? На полах лежат ковры, потому что нам нравится ходить по мягким теплым поверхностям и не нравятся громкие шаги; вазы стоят посреди столов, а не на краю, потому что мы не хотим, чтобы они упали и разбились, и т. д. — все, что не организовано самой природой, дает представление о том, что нравится и что не нравится странным двуногим созданиям, населяющим эту планету.

Причины для опасений

Вы можете заметить, что обещания Партнерства по развитию ИИ относительно кооперации в области обеспечения безопасности ИИ не слишком вдохновляют, если следите за прогрессом в области автономных автомобилей. Это остроконкурентная область по веским причинам. Первый производитель, который выпустит на рынок полностью автономное транспортное средство, получит гигантское рыночное преимущество; это преимущество будет развиваться, поскольку производитель сможет быстрее собирать больше данных для улучшения работы системы; компании, занимающиеся извозом, такие как Uber, будут быстро вытеснены из бизнеса, если другая компания выставит полностью автономные такси прежде самого Uber. Это повлечет за собой гонку с высокими ставками, в которой осмотрительность и тщательное конструирование, похоже, менее важны, чем шикарные выставки, переманивание специалистов и публичные показы несовершенных продуктов.

Таким образом, экономическая конкуренция не на жизнь, а на смерть создает импульс экономить на безопасности в надежде выиграть гонку. В ретроспективной статье 2008 г. о конференции 1975 г. в Асиломаре, приведшей к принятию моратория на генетическое изменение людей, один из ее организаторов, биолог Пол Берг, писал[249]:

Это урок Асиломара для всей науки: лучшая реакция на обеспокоенность, вызванную обретаемым знанием или технологиями на раннем этапе развития, состоит в том, чтобы ученые из учреждений с государственным финансированием нашли консенсус с широкой общественностью по поводу лучшего способа контроля — чем раньше, тем лучше. Когда ученые из корпораций начнут доминировать в исследовательском начинании, будет попросту поздно.

Экономическая конкуренция возникает не только между корпорациями, но и между странами. Недавний вал сообщений о многомиллиардных государственных инвестициях в ИИ, поступающих из США, Китая, Франции, Британии и ЕС, безусловно, свидетельствует, что ни один из крупнейших игроков не хочет отстать. В 2017 г. президент России Владимир Путин сказал: «Тот, кто станет лидером [в сфере ИИ], будет править миром»[250]. Это совершенно верный вывод. Продвинутый ИИ, как мы убедились в главе 3, приведет к огромному росту производительности и частоты инноваций практически во всех областях. Если его владелец не станет делиться инновациями, то получит возможность обойти любое соперничающее с ним государство или экономический блок.

Ник Бостром в «Сверхразумности» предостерегает против этой мотивации. Конкуренция государств, как и конкуренция корпораций, будет более сосредоточиваться на развитии возможностей как таковых и в меньшей мере — на проблеме контроля. Возможно, однако, что Путин читал Бострома; далее он сказал: «Было бы крайне нежелательно, чтобы кто-либо захватил монопольное положение». Это было бы еще и довольно бессмысленно, поскольку ИИ человеческого уровня не является игрой с нулевым итогом, и, поделившись им, нельзя ничего потерять. Напротив, конкурентная борьба за то, чтобы первым создать ИИ человеческого уровня, не решив сначала проблему контроля, — это игра с отрицательным итогом. Отдача для каждого — минус бесконечность.

Исследователи ИИ имеют лишь ограниченные возможности повлиять на развитие мировой политики в отношении ИИ. Мы можем указывать на возможные применения, которые приведут к полезным экономическим и социальным результатам; мы можем предупреждать о возможностях неправомерного использования, скажем, для слежки и в качестве оружия; наконец, мы можем предложить дорожные карты возможных направлений будущих открытий и их последствий. Пожалуй, самое важное, что мы можем сделать, — это разработать ИИ-системы, являющиеся, насколько это возможно, доказуемо безопасными и полезными для людей. Лишь тогда будет иметь смысл разработка общего регламента по ИИ.

Чтобы перестроить работу над ИИ в соответствии с новыми принципами, нужно заложить надежный фундамент. Когда на кону стоит будущее человечества, надежд и благих намерений — как и образовательных инициатив, отраслевых кодексов поведения, правового регулирования и экономических стимулов действовать правильно — недостаточно. Все эти меры могут подвести и часто подводят. В подобной ситуации мы хотим строгих определений и педантичных пошаговых математических доказательств, чтобы получить бесспорные гарантии.

Это хорошее начало, но нам нужно больше. Нужна уверенность, насколько она вообще возможна, что предмет гарантии отражает наши истинные желания и что допущения, использованные в доказательстве, верны. Сами доказательства появляются в журнальных статьях, написанных для специалистов, но я считаю полезным разобраться, в чем они заключаются, что могут и чего не могут обеспечить в плане реальной безопасности. «Доказуемо полезный» в названии главы — скорее цель, а не обещание, но это правильная цель.

Математические гарантии

Мы захотим в конце концов доказать теоремы о том, что конкретный способ создания ИИ-систем гарантирует их полезность для людей. Теорема — всего лишь красивое название утверждения, сформулированного достаточно точно, чтобы можно было проверить его истинность в любой конкретной ситуации. Пожалуй, самой известной является Последняя теорема Ферма, сформулированная французским математиком Пьером де Ферма в 1637 г. и наконец доказанная Эндрю Уайлсом в 1994 г. после 357 лет попыток (разумеется, не только Уайлса)[251]. Теорему можно записать одной строкой, но доказательство превышает сотню страниц сложной математики.

Доказательства начинаются с аксиом — утверждений, истинность которых попросту принимается. Часто аксиомы являются всего лишь определениями, как, например, определения целого числа, сложения и возведения в степень, требующиеся для теоремы Ферма. Доказательство движется от аксиом логически неопровержимыми шагами, добавляя новые утверждения, пока сама теорема не будет представлена как следствие одного из шагов.

Вот довольно очевидная теорема, вытекающая из определения целого числа и сложения: 1 + 2 = 2 + 1. Назовем ее теоремой Рассела. Никакого откровения в ней не содержится. Напротив, Последняя теорема Ферма воспринимается как нечто совершенно новое — открытие прежде неизвестного. Разница, однако, лишь в степени. Истинность обеих теорем, Рассела и Ферма, уже содержится в аксиомах. Доказательства лишь делают явным то, что прежде было неявным. Они могут быть длинными или короткими, но ничего нового не добавляют. Теорема хороша лишь постольку, поскольку хороши входящие в нее допущения.

Когда речь идет о математике, все прекрасно, поскольку математика работает с абстрактными объектами, которым мы даем определения, — числами, множествами и т. д. Аксиомы верны, потому что мы так сказали. Если же вы хотите доказать что-то связанное с реальным миром — например, что ИИ-системы, разработанные таким-то образом, не убьют вас преднамеренно, — ваши аксиомы должны выполняться в реальном мире. Если они не выполняются, значит, вы доказали нечто о воображаемом мире.

Наука и инженерное дело имеют долгую и славную историю доказательства результатов, связанных с воображаемыми мирами. К примеру, в строительном проектировании можно увидеть математический анализ, начинающийся: «Допустим, АВ — это жесткая балка…» Слово «жесткая» здесь не означает «сделанная из чего-то прочного, скажем, стали»; оно значит «бесконечно твердая», то есть совершенно не гнущаяся. Жестких балок не существует, так что это воображаемый мир. Хитрость заключается в том, чтобы знать, насколько можно удалиться от реального мира, сохраняя полезность результатов. Скажем, если допущение о жесткой балке позволяет инженеру рассчитать силы, действующие в конструкции, которая включает эту балку, причем эти силы так слабы, что изгибают реальную балку ничтожно мало, то инженер имеет обоснованную уверенность, что анализ можно перенести из воображаемого мира в реальный.

У хорошего инженера вырабатывается чутье на моменты, когда этот перенос может провалиться: например, если балка является сжатой и огромные силы давят на нее с обоих концов, то даже крохотный изгиб может привести к возникновению больших поперечных сил, увеличивающих изгиб, и так далее, что приведет к катастрофическому разрушению конструкции. В таком случае анализ переделывается с другими условиями: «Допустим, АВ — упругая балка с жесткостью К». Это, разумеется, по-прежнему воображаемый мир, поскольку реальные балки не бывают однородными в смысле жесткости. В них обязательно присутствуют микроскопические неоднородности, которые могут привести к растрескиванию, если подвергать балку многократному изгибанию. Процесс устранения нереалистических допущений продолжается, пока инженер не будет в достаточной мере уверен, что оставшиеся допущения истинны в реальном мире. В конце концов, инженерные системы можно испытать в реальности, но результаты теста нельзя понимать расширительно. Они не доказывают, что та же система будет работать в других условиях или что другие варианты системы будут вести себя так же, как исходная.

Один из классических примеров ложного допущения в программировании происходит из сферы компьютерной безопасности. В этой области требуются огромные объемы математического анализа, чтобы продемонстрировать, что определенные цифровые протоколы являются доказуемо надежными — скажем, когда вы вводите пароль в интернет-приложении, то хотите быть уверены, что он будет зашифрован до отправки, чтобы кто-нибудь, подсматривающий в сети, не смог прочитать ваш пароль. Такие цифровые системы часто являются доказуемо надежными, но в реальности остаются уязвимыми для атак. Ложное допущение здесь состоит в том, что это цифровой процесс. Это не так. Он функционирует в реальном, физическом мире. Слушая звуки вашей клавиатуры или измеряя напряжение в электрической цепи, питающей ваш персональный компьютер, взломщик может «услышать» пароль или увидеть вычисления в процессе кодирования/декодирования. Специалисты по компьютерной безопасности сегодня противодействуют этим так называемым атакам по сторонним каналам — например, пишут такую программу кодировки, которая создает одни и те же изменения напряжения, независимо от того, какое сообщение кодируется.

Давайте рассмотрим своеобразную теорему, которую в дальнейшем захотим доказать, — о машинах, полезных для людей. Вот один из возможных вариантов:

Предположим, машина имеет компоненты А, В и С, соединенные друг с другом таким-то образом и в определенной среде, а также внутренние алгоритмы обучения lA, lB, lC, оптимизирующие вознаграждение с внутренней обратной связью rA, rB, rC, определяемые таким-то образом, и [еще несколько условий] … тогда с очень высокой вероятностью поведение машины будет очень близко в смысле полезности (для людей) к наилучшему возможному поведению, реализуемому в любой машине с теми же вычислительными и физическими возможностями.

Суть в том, чтобы такая теорема выполнялась независимо от того, насколько умными стали компоненты, — то есть судно никогда не дало бы течь и машина всегда оставалась бы полезной для людей.

Имеет смысл отметить еще три момента в отношении теорем этого типа. Во-первых, нечего и пытаться доказать, что машина ведет себя оптимально (или хотя бы близким к оптимальному образом) по отношению к нам, потому что это почти наверняка невозможно сделать путем вычислений. Например, мы можем захотеть, чтобы машина безупречно играла в го, но есть все основания полагать, что это не может быть сделано за любой разумный промежуток времени в любой физически реализуемой машине. Поэтому в теореме говорится о «наилучшем возможном», а не «оптимальном» поведении.

Во-вторых, мы говорим «с очень высокой вероятностью…очень близко», потому что это обычно лучшее, чего можно добиться от обучающейся машины. Скажем, если машина учится играть в рулетку в наших интересах и 40 раз подряд выпадает зеро, машина может обоснованно заключить, что имеет место жульничество, и делать соответствующие ставки. Однако это все-таки может быть и случайностью, таким образом, всегда есть малая, возможно, исчезающе малая, вероятность заблуждения из-за дурацкого совпадения. Наконец, нам еще очень далеко до способности доказать подобную теорему для реальных интеллектуальных машин, действующих в реальном мире!

В сфере ИИ есть и аналог атаки по сторонним каналам. Например, теорема начинается с фразы: «Предположим, машина имеет компоненты А, В и С, соединенные друг с другом таким-то образом…» Это типично для всех теорем о корректности в программировании: они начинаются с описания программы, корректность которой доказывается. В сфере ИИ мы обычно проводим различие между агентом (программой, принимающей решения) и средой (в которой действует агент). Поскольку мы разрабатываем агента, представляется разумным предположить, что он имеет ту структуру, которую мы ему придаем. Для дополнительной безопасности мы можем доказать, что процесс обучения в состоянии изменить эту программу лишь определенными описанными методами, не способными привести к проблемам. Достаточно ли этого? Нет. Как и в случае атаки по сторонним каналам, допущение, что программа действует внутри цифровой системы, некорректно. Даже если алгоритм обучения в силу своей структуры не способен переписать собственный код цифровыми средствами, он тем не менее может научиться тому, как убедить людей сделать ему «операцию на мозге», — нарушить разграничение между агентом и средой и изменить код физическими средствами[252].

В отличие от логики строительного конструирования с ее жесткими балками, мы имеем очень мало опыта работы с допущениями, которые впоследствии лягут в основу теорем о доказуемо полезном ИИ. Скажем, в этой главе мы будем обычно иметь в виду рационального человека. Это несколько отличается от допущения о жесткой балке, поскольку в реальности совершенно рациональных людей не существует. (Вероятно, ситуация намного хуже, так как люди даже не приближаются к рациональности.) Теоремы, которые мы можем доказать, обещают дать нам определенное понимание, которое выдержит даже включение некоторой степени случайности человеческого поведения, но до сих далеко не ясно, что происходит, если учитывать сложность реальных людей.

Таким образом, мы должны быть очень внимательными при анализе своих допущений. Успешно доказав безопасность системы, мы должны убедиться, что успех не стал следствием нереалистично сильных предположений или слишком расплывчатого определения безопасности. Если доказательство безопасности оказывается несостоятельным, нужно избегать искушения усилить предположения, чтобы доказательство заработало, — например, добавив допущение, что программный код остается неизменным. Наоборот, мы должны «закрутить все гайки» в дизайне ИИ-системы, к примеру гарантировав, что у нее нет стимула для изменения критических элементов своего кода.

Некоторые допущения я отношу к категории НТММРПД (аббревиатура от «ну тогда мы можем расходиться по домам»), а именно — если эти допущения ложны, то игра закончена и сделать ничего нельзя. Например, разумно предположить, что Вселенная функционирует согласно постоянным и до некоторой степени выявляемым законам. Если это не так, у нас нет гарантии, что процессы обучения — даже самые изощренные — вообще сработают. Другое базовое допущение состоит в том, что людям не все равно, что происходит; в ином случае доказуемо полезный ИИ не имеет смысла, ведь само понятие пользы бессмысленно. Здесь «не все равно» означает наличие более или менее последовательных и устойчивых предпочтений в отношении будущего. В следующей главе я рассматриваю следствия пластичности человеческих предпочтений, представляющей серьезный философский вызов для самой идеи доказуемо полезного ИИ.

Пока что я сосредоточиваюсь на простейшем случае — мире, где есть один человек и один робот. Этот случай позволяет представить основные идеи, но полезен и сам по себе: представьте, что один человек представляет все человечество, а один робот — все машины. При рассмотрении множества людей и множества машин возникают дополнительные сложности.

Изучение предпочтений по поведению

Экономисты судят о предпочтениях людей, предлагая им сделать выбор[253]. Этот прием широко используется в разработке продуктов, маркетинге и интерактивных системах электронной торговли. Например, предложив испытуемым на выбор автомобили, отличающиеся цветом, расположением мест, величиной багажника, емкостью батареи, наличием держателей для чашек и т. д., конструктор автомашин узнает, насколько важны для людей различные характеристики машины и сколько они готовы за них заплатить. Другое важное применение этот метод находит в медицине: онколог, рассматривающий возможность ампутации конечности, может захотеть знать, что важнее для пациента — мобильность или ожидаемая продолжительность жизни. Разумеется, пиццерии хотят знать, насколько больше человек готовы заплатить за пиццу с колбасой по сравнению с простой пиццей.

Оценка предпочтений обычно рассматривает лишь единичный выбор между объектами, ценность которых считается очевидной для тестируемого. Непонятно, как перенести этот метод на предпочтения в отношении будущей жизни. Поэтому мы (и машины) должны учиться путем наблюдения за поведением, включающим множественные варианты выбора и неопределенные результаты.

Еще в 1997 г. мы с моими коллегами Майклом Дикинсоном и Бобом Фуллом обсуждали, как можно было бы применить идеи из области машинного обучения для понимания двигательной активности животных. Майкл в мельчайших деталях изучал движение крыльев плодовых мушек. Боб был в восторге от многоногих тварей и устроил небольшую беговую дорожку для тараканов, чтобы наблюдать, как их «аллюр» меняется со скоростью. Мы думали, что удастся использовать обучение с подкреплением, чтобы научить роботизированное или смоделированное насекомое воспроизводить эти сложные действия. Проблема заключалась в том, что мы не знали, какой вознаграждающий сигнал использовать. Что оптимизировали плодовые мушки и тараканы? Без этой информации мы не могли применить обучение с подкреплением для тренировки виртуального насекомого и застряли.

Однажды я шел по дороге от нашего дома в Беркли к супермаркету. Дорога шла под уклон, и я заметил, как и наверняка большинство людей, что наличие уклона немного меняет походку. Более того, неровный тротуар — следствие многих десятков лет мини-землетрясений — также вносил изменения в мою походку: я чуть выше поднимал ноги и ставил их менее жестко из-за непредсказуемого уровня поверхности. Занимаясь этими обыденными наблюдениями, я понял, что мы можем применить их в обратном направлении. Если обучение с подкреплением формирует поведение посредством вознаграждения, то мы в действительности хотим противоположного — узнать из поведения, в чем заключается вознаграждение. Поведение у нас уже есть, это действия мушек и тараканов; мы хотим узнать конкретный вознаграждающий сигнал, который оптимизируется этим поведением. Иными словами, нам нужен алгоритм обратного обучения с подкреплением (Inverse Reinforcement Learning, IRL)[254]. (В то время я не знал, что аналогичная проблема изучается под менее известным названием структурная оценка процессов принятия решений Маркова и что первопроходцем в этом направлении стал нобелевский лауреат Том Сарджент в далеких 1970-х гг.[255]) Подобные алгоритмы смогли бы не только объяснить поведение животного, но и предсказать, как оно будет вести себя в новых условиях — например, как будет бежать таракан по ухабистой беговой дорожке с уклоном.

Перспектива ответить на эти фундаментальные вопросы вызвала у нас восторг, с которым мы едва могли справиться, тем не менее нам далеко не сразу удалось разработать первый алгоритм для IRL[256]. С тех пор было предложено много формулировок и алгоритмов IRL. Имеются формальные гарантии, что алгоритмы работают, то есть могут принести достаточно информации о предпочтениях существа, чтобы быть способными действовать столь же успешно, что и наблюдаемое существо[257].

Пожалуй, самый простейший путь к пониманию IRL состоит в следующем: наблюдатель отталкивается от некоего общего предположения об истинной функции вознаграждения и уточняет это предположение по мере дальнейшего наблюдения за поведением. На языке Байесова подхода[258]: начнем с априорной вероятности возможных функций вознаграждения и будем уточнять это распределение вероятностей по мере появления данных^В. Предположим, например, что робот Робби наблюдает за человеком Гарриет и гадает, в какой степени она предпочитает место у прохода месту у иллюминатора. Первоначально он находится в неопределенности по этому вопросу. Теоретически Робби может рассуждать так: «Если бы Гарриет действительно хотела сидеть ближе к проходу, то изучила бы схему расположения мест, чтобы узнать, доступно ли место у прохода, вместо того чтобы согласиться на место у иллюминатора, которое предложила ей авиакомпания. Однако она этого не сделала, хотя, вероятно, заметила, что это место у иллюминатора, и вроде бы не торопилась. Следовательно, сейчас значительно более вероятно, что ей все равно, где сидеть, или она даже предпочитает место у прохода».

Самым потрясающим примером IRL в действии является работа моего коллеги Питера Эббила по обучению исполнению фигур высшего пилотажа на вертолете[259]. Опытные пилоты могут заставить модели вертолетов делать потрясающие трюки: петли, спирали, маятникообразные движения и т. д. Оказалось, что попытки копировать действия человека не приносят особого результата из-за невозможности точно воспроизвести условия — если повторять те же последовательности управляющих действий в других обстоятельствах, это может закончиться катастрофой. Вместо этого алгоритм изучает, чего хочет пилот, в форме ограничений траектории, движение по которой может осуществить. Этот подход дает даже лучшие результаты, чем у эксперта, поскольку у людей более медленная реакция и они постоянно совершают мелкие ошибки, которые вынуждены исправлять.

Игры в помощника

Метод IRL уже является важным инструментом создания эффективных ИИ-систем, но в нем делается ряд упрощающих допущений. Первое — что робот воспримет функцию вознаграждения, когда изучит ее путем наблюдения за человеком, следовательно, сможет выполнять то же задание. Это прекрасно работает в случае управления автомобилем или вертолетом, но не относится к питью кофе: робот, наблюдающий за моим утренним ритуалом, усвоит, что я (иногда) хочу кофе, но не научится сам его хотеть. Решить эту проблему легко — нужно лишь сделать так, чтобы робот ассоциировал предпочтения с человеком, а не с самим собой.

Второе упрощающее допущение IRL состоит в том, что робот наблюдает за человеком в ситуации «единственного принимающего решения агента». Например, предположим, что робот учится в медицинском институте, чтобы стать хирургом, наблюдая за специалистом. Алгоритмы IRL предполагают, что человек выполняет операцию обычным оптимальным способом, как если бы робота рядом не было. Однако это не так: хирург мотивирован помочь роботу (как и любому другому студенту) обучиться хорошо и быстро и соответственным образом меняет свое поведение. Он может объяснять свои действия, обращать внимание на ошибки, которые следует избегать, — скажем, делать слишком глубокий разрез или шить слишком туго, — может описывать манипуляции в нештатной ситуации, если во время операции что-нибудь случилось. Никакие из этих действий не имеют смысла, если выполняешь операцию без студентов, и алгоритмы IRL не смогут понять, какие предпочтения за ними стоят. Поэтому мы должны будем обобщить IRL, перейдя от ситуации одного агента к ситуации с множественными агентами, а именно — создать алгоритмы обучения, работающие в случае, когда человек и робот являются частью общей среды и взаимодействуют друг с другом.

Человек и робот в одной среде — это пространство теории игр, как в том примере, где Алиса била пенальти в ворота Боба. В этой первой версии теории мы предполагаем, что человек имеет предпочтения и действует соответственно им. Робот не знает предпочтений человека, но все равно хочет их удовлетворить. Мы будем называть любую такую ситуацию игрой в помощника, поскольку предполагается, что робот по определению должен помогать человеку[260].

Игры в помощника подкрепляют три принципа, описанные в предыдущей главе: единственная задача робота — удовлетворить предпочтения человека, он изначально не знает, в чем они заключаются, и может больше узнать о них, наблюдая за его поведением. Пожалуй, самое интересное свойство этих игр состоит в следующем: чтобы решить игровую задачу, робот должен самостоятельно научиться интерпретировать поведение человека как источник информации о человеческих предпочтениях.

Игра в скрепку

Первый пример игры в помощника — игра в скрепку. Это очень простая игра, в которой человек Гарриет имеет стимул как-то «сигнализировать» роботу Робби о своих предпочтениях. Робби способен интерпретировать этот сигнал, потому что он может решить игровую задачу, следовательно, понять, что является истинным в отношении предпочтений Гарриет, то есть что заставило ее подать соответствующий сигнал.

Ход игры описан на рис. 12. Речь идет об изготовлении скрепок и скобок. Предпочтения Гарриет выражаются функцией выигрыша, которые зависят от количества произведенных скрепок и скобок с определенным «соотношением курсов» того и другого. Например, она может оценивать одну скрепку в 45 центов, а одну скобку в 55 центов. (Мы предполагаем, что сумма двух стоимостей всегда составляет $1; важно лишь соотношение.) Итак, если произведено 10 скрепок и 20 скобок, вознаграждение Гарриет составит 10 45 + 20 55 = $15,50. Робот Робби изначально находится в полной неопределенности относительно предпочтений Гарриет: он имеет равномерное распределение цены скрепки (она с равной вероятностью может иметь любое значение от 0 центов до $1). Гарриет делает первый ход, на котором имеет выбор, произвести ли две скрепки, две скобки или одну скрепку и одну скобку. Затем Робби может выбирать между изготовлением 90 скрепок, 90 скобок или 50 скрепок и 50 скобок[261].

Заметьте, если бы Гарриет все делала сама, то просто изготовила бы две скобки ценностью $1,10. Но Робби наблюдает и учится на ее выборе. Что именно он усваивает? Это зависит от того, как Гарриет делает выбор. Как же она его делает? Это зависит о того, как Робби станет его интерпретировать. Похоже, мы попали в замкнутый круг! Это норма для задач теории игр, поэтому Нэш и предложил понятие равновесного решения.

Чтобы найти равновесное решение, нужно определить стратегии Гарриет и Робби, так, чтобы ни у одного из них не было стимула менять стратегию при условии, что другая остается неизменной. Стратегия Гарриет определяет, сколько скрепок и скобок изготовить, с учетом ее предпочтений; стратегия Робби определяет, сколько скрепок и скобок изготовить, с учетом действия Гарриет.

Оказывается, есть лишь одно равновесное решение, вот оно:

• Гарриет рассуждает следующим образом, опираясь на свою оценку цены скрепок:

— если цена скрепки меньше 44,6 цента, делаем 0 скрепок и 2 скобки;

— если цена скрепки от 44,6 до 55,4 цента, делаем по одной штуке того и другого;

— если цена скрепки больше 55,4 цента, делаем 2 скрепки и 0 скобок.

• Реакция Робби:

— если Гарриет делает 0 скрепок и 2 скобки, изготовим 90 скобок;

— если Гарриет делает по 1 штуке того и другого, изготовим 50 скрепок и 50 скобок;

— если Гарриет делает 2 скрепки и 0 скобок, изготовим 90 скрепок.

(Если вам интересно, как именно получено решение, смотрите детали в сносках[262].) При этой стратегии Гарриет фактически учит Робби своим предпочтениям при помощи простого кода — можно сказать, языка, — следующего из анализа равновесия. Алгоритм IRL с единственным агентом из примера об обучении хирургии не понял бы этот код. Заметьте также, что Робби никогда не получит точного знания о предпочтениях Гарриет, но он узнает достаточно, чтобы оптимально действовать в ее интересах — именно так, как действовал бы, если бы точно знал ее предпочтения. Он, скорее всего, полезен Гарриет при сформулированных допущениях и при условии, что Гарриет играет в игру правильно.

Можно также построить задачи, в которых Робби как примерный студент будет задавать вопросы, а Гарриет как хороший учитель указывать ему на подводные камни, которых следует избегать. Такое поведение возникает не потому, что мы написали сценарии для Гарриет и Робби, а потому что это оптимальное решение игры в помощника, в которой участвуют Гарриет и Робби.

Игра в выключение

Инструментальной является цель, в общем полезная в качестве подцели практически любой исходной цели. Самосохранение — одна из инструментальных целей, поскольку лишь очень немногих исходных целей легче достичь, будучи мертвым. Это ведет к проблеме выключателя: машина, имеющая фиксированную цель, не позволяет себя выключить и имеет стимул сделать свое выключение невозможным.

Проблема выключателя составляет ядро проблемы контроля интеллектуальных систем. Если мы не можем выключить машину, потому что она нам не дает это сделать, у нас серьезные проблемы. Если можем — значит, мы сумеем контролировать ее и другими способами.

Оказывается, неопределенность в отношении цели имеет принципиальное значение для обеспечения возможности выключить машину — даже если она более интеллектуальна, чем мы. Мы видели неформальный аргумент в предыдущей главе: по первому принципу полезных машин, Робби интересуют только предпочтения Гарриет, однако, согласно второму принципу, он не знает точно, в чем они заключаются. Он знает, что не хочет сделать что-нибудь неправильно, но не знает что. Гарриет, напротив, знает это (или мы так предполагаем в данном простом случае). Следовательно, если она отключит Робби, то именно для того, чтобы не дать ему сделать что-нибудь не так, и он с удовольствием подчинится.

Чтобы уточнить это рассуждение, нужно построить формальную модель проблемы[263]. Я сделаю ее настолько простой, насколько это возможно (рис. 13).

Робби, теперь выступающий в роли персонального помощника Гарриет, делает выбор первым. Он может сразу действовать — к примеру, забронировать Гарриет номер в дорогом отеле. Робот далеко не уверен, что Гарриет понравится отель и цена; допустим, равномерное распределение вероятности его чистой стоимости для Гарриет составляет для Робби от 40 до +60 со средним значением +10. Он также может «выключиться» — без драматичных последствий для себя, просто полностью выйти из процесса бронирования номера в отеле, — ценность этого действия для Гарриет мы оцениваем в ноль. Если бы у него были лишь эти два варианта, он продолжил бы действовать и забронировал номер, что подразумевало бы существенный риск сделать Гарриет несчастной. Однако мы даем Робби третий вариант выбора: изложить свой план, подождать и предоставить Гарриет его выключить. Гарриет может либо выключить робота, либо дать ему возможность продолжить и забронировать номер. Возможно, вы не понимаете, какой в этом смысл, ведь он и сам мог выбрать любой из этих вариантов.

Смысл в том, что выбор Гарриет — отключить Робби или позволить ему продолжить — дает Робби новую информацию о ее предпочтениях. Если она разрешит ему продолжать, то потому, что ценность такого шага для Гарриет является положительной. Теперь Робби верит в равномерное распределение в интервале от 0 до 60 со средним значением 30.

Итак, если оценить первоначальные варианты выбора Робби с этой точки зрения, получаем следующее:

• Выбор «действовать сейчас и забронировать номер» имеет ожидаемую ценность +10.

• Выбор «выключиться» имеет ценность 0.

• Выбор «подождать и позволить Гарриет выключить его» (если она этого хочет) ведет к двум возможным результатам:

— имеется 40 %-ная вероятность (исходя из неуверенности Робби в связи с отелем), что Гарриет он ужасно не понравится и она выключит Робби, ожидаемая ценность 0;

— имеется 60 %-ная вероятность, что Гарриет он понравится и она позволит Робби продолжить, ожидаемая ценность +30.

• Таким образом, решение «подождать» имеет ожидаемую ценность 40 % 0 + 60 % 30 = +18, что лучше, чем «действовать сейчас» с ценностью +10.

Итак, Робби имеет положительный стимул позволить себя выключить. Этот стимул напрямую вытекает из неопределенности, имеющейся у Робби в отношении предпочтений Гарриет. Робби сознает существующую вероятность (40 % в данном примере), что он, возможно, близок к действию, которое сделает Гарриет несчастной, и в этом случае быть выключенным предпочтительней, чем продолжать. Если бы Робби уже был уверен в предпочтениях Гарриет, то просто продолжил бы и принял решение (или выключился). Консультация с Гарриет совершенно ничего не принесла бы, поскольку, согласно твердой убежденности Робби, он и так может точно предсказать, какое решение она примет.

На самом деле можно доказать тот же результат для общего случая: пока у Робби нет полной уверенности, что он собирается сделать то же самое, что сделала бы сама Гарриет, он будет отдавать предпочтение варианту, в котором позволяет ей отключить себя[264]. Ее решение снабжает Робби информацией, а информация всегда полезна для совершенствования его решений. Напротив, если Робби уверен в решении Гарриет, то оно не приносит никакой новой информации, следовательно, у Робби нет стимула позволять ей решать.

Напрашивается несколько модификаций этой модели, заслуживающих безотлагательного рассмотрения. Первая состоит в том, чтобы приписать стоимость обращению к Гарриет с тем, чтобы она приняла решение или ответила на вопрос (то есть мы предполагаем, что Робби знает предпочтения Гарриет хотя бы в той мере, чтобы понимать, что ее время ценно). В этом случае Робби менее склонен отвлекать Гарриет, если он почти уверен в ее предпочтениях; чем выше стоимость, тем в большей неопределенности должен находиться Робби, чтобы побеспокоить Гарриет. Так оно должно быть. Если же Гарриет всерьез недовольна, когда ее отвлекают, ей не следует удивляться, что Робби временами делает то, что ей не нравится.

Вторая модификация — допустить некоторую вероятность ошибки человека, а именно, что Гарриет будет иногда выключать Робби, даже когда он предлагает разумное действие, а в некоторых случаях позволять ему продолжать действовать, несмотря на то что его предложение нежелательно. Мы можем включить вероятность человеческой ошибки в математическую модель игры в помощника и найти решение, как уже делали. Как и следовало ожидать, решение показывает, что Робби менее склонен считаться с иррациональной Гарриет, иногда действующей вопреки собственным интересам. Чем более случайно ее поведение, тем более неуверенным Робби должен быть относительно ее предпочтений, чтобы обратиться к ней. Опять-таки это в теории. Например, если Робби — автономный автомобиль, а Гарриет — непослушная двухлетняя пассажирка, Робби не должен позволить Гарриет выключить его посреди автомагистрали.

Эту модель еще многими способами можно расширить или включить в комплексные задачи, связанные с принятием решений[265]. Я уверен, однако, что основная мысль — принципиально важная связь между полезным смиренным поведением машины и ее еопределенностью в отношении человеческих предпочтений — сохранится во всех этих модификациях и усложнениях.

Обучение предпочтениям в долгосрочной перспективе

Возможно, читая описание игры в выключение, вы задались важным вопросом (скорее всего, у вас куча важных вопросов, но я собираюсь ответить только на этот): что происходит по мере того, как Робби получает все больше информации о предпочтениях Гарриет и неопределенность для него уменьшается? Значит ли это, что со временем он совершенно перестанет прислушиваться к человеку? Это щекотливый вопрос, на который возможны два ответа: да и да.

Первое «да» благоприятно: в общем, пока первоначальные представления Робби о предпочтениях Гарриет приписывают некоторую вероятность, сколь угодно малую, ее реальным предпочтениям, чем более уверенным становится Робби, тем чаще он будет прав. Постепенно он придет к убеждению, что предпочтения Гарриет именно таковы, какие они есть, в действительности. Например, если Гарриет оценивает скрепки в 12 центов, а скобки в 88 центов, Робби со временем усвоит эти ценности. В этом случае Гарриет не важно, советуется ли с ней Робби, поскольку она знает, что он всегда сделает именно то, что сделала бы она сама на его месте. Невозможна ситуация, когда Гарриет захочется выключить Робби.

Второе «да» менее благостно. Если Робби априори исключает предпочтения, имеющиеся у Гарриет, он никогда эти истинные предпочтения не узнает, но его представления могут обратиться в неверное представление. Иными словами, со временем он становится все более убежденным в ошибочных представлениях о предпочтениях Гарриет. В типичной ситуации это ложное представление будет связано с тем, какая гипотеза из всех, которые Робби изначально допускает, наиболее близка к истинным предпочтениям Гарриет. Например, если Робби абсолютно убежден, что Гарриет определяет ценность скрепки между 25 и 75 центами, тогда как ее истинная ценность, с точки зрения Гарриет, равна 12 центам, робот постепенно придет к убеждению, что она оценивает скрепку в 25 центов[266].

Приближаясь к определенности в отношении предпочтений Гарриет, Робби все больше станет напоминать старые недобрые ИИ-системы с фиксированными целями: он не станет спрашивать разрешения и не предоставит Гарриет возможности выключить его, а также будет преследовать неверную цель. С этим еще можно мириться, когда речь идет о скрепках и скобках, но не в случае необходимости выбирать между качеством и продолжительностью жизни, если Гарриет тяжело больна, или между численностью населения и потреблением ресурсов, если от Робби ожидались действия в интересах всего человечества.

Итак, у нас появляется проблема, если Робби заранее отбрасывает предпочтения, возможно, имеющиеся у Гарриет: он может прийти к твердому, но ошибочному убеждению о ее предпочтениях. Решение кажется очевидным: не делать этого! Всегда приписывать некоторую вероятность, сколь угодно малую, логически возможным предпочтениям. Например, с точки зрения логики возможно, что Гарриет настолько хочет избавиться от скобок, что готова вам приплатить, лишь бы вы их забрали. (Может быть, она в детстве пригвоздила свой палец к столу такой скобкой и теперь даже видеть их не может.) Следовательно, мы должны допустить отрицательные соотношения цен, вследствие чего задача несколько усложняется, но остается абсолютно решаемой[267].

Что, однако, делать, если Гарриет ценит скрепки в 12 центов по будним дням и в 80 центов по выходным? Это новое предпочтение не описывается никаким единственным числом, и Робби фактически вынужден заведомо им пренебречь. Оно попросту отсутствует в его комплексе возможных гипотез о предпочтениях Гарриет. В общем случае для Гарриет могут быть важны еще очень и очень многие вещи, кроме скрепок и скобок. (Честное слово!) Представим, например, что изначальные представления Робби допускают гигантский список возможных предметов заботы Гарриет, в том числе уровень Мирового океана, глобальную температуру, количество атмосферных осадков, ураганы, озонную дыру, паразитные виды и уничтожение лесов. Тогда Робби будет наблюдать за поведением и выбором Гарриет и постепенно совершенствовать свою теорию ее предпочтений, чтобы понять, какой вес она приписывает каждому пункту списка. Однако, как и в примере со скрепкой, Робби не узнает о том, что не входит в этот список. Допустим, Гарриет также беспокоится из-за цвета неба — гарантирую, вы не найдете этого среди типичных тревог климатологов. Если Робби сможет чуть лучше оптимизировать уровень океана, глобальную температуру, количество осадков и т. д., сделав небо оранжевым, то сделает это без колебаний.

У этой проблемы опять-таки есть решение: не допускайте этого! Никогда не отбрасывайте заранее возможные атрибуты мира, которые могут быть частью структуры предпочтений Гарриет. На словах все прекрасно, но на деле заставить эту схему работать труднее, чем в случае, когда предпочтения Гарриет описываются одним числом. Изначальная неопределенность Робби должна допускать неограниченное количество неизвестных атрибутов, возможно, входящих в предпочтения Гарриет. Тогда, если решения Гарриет необъяснимы с точки зрения атрибутов, которые Робби уже знает, он может сделать вывод, что тут, вероятно, участвует один или несколько прежде неизвестных атрибутов (к примеру, цвет неба), и попытаться выяснить, что это за атрибуты. Таким образом, Робби избегает проблем, вызываемых слишком ограничивающим изначальным представлением. Насколько я знаю, пока не существует рабочих образцов Робби такого типа, но общая идея присутствует в современной мысли о машинном обучении[268].

Запреты и принцип лазейки

Неопределенность относительно человеческих целей может быть не единственным способом убедить робота не запрещать свое выключение, когда он подает кофе. Выдающийся логик Моше Варди предложил более простое решение на основе запрета[269]: вместо того чтобы ставить перед роботом цель «подавать кофе», задайте ему цель «подавать кофе, не препятствуя своему выключению». К сожалению, робот с такой целью будет удовлетворять букве закона, противореча его духу — например, окружив выключатель рвом с водой, кишащим пираньями, или просто ударяя током любого, кто пройдет возле выключателя. Написать такой запрет в форме, защищенной от дурака, — все равно что пытаться написать закон о налогообложении, в котором нет ни одной лазейки, — задача, над которой мы безуспешно бьемся не одну тысячу лет. Достаточно интеллектуальное существо с сильным стимулом избежать уплаты налогов, скорее всего, найдет такую возможность. Назовем это принципом лазейки: если достаточно интеллектуальная машина имеет стимул создать определенное условие, то в общем случае для простых людей станет невозможно создать запреты на эти действия, чтобы воспрепятствовать ей в этом или аналогичном действии.

Лучшее решение для предотвращения уклонения от уплаты налогов — гарантировать, чтобы рассматриваемое существо хотело платить налоги. В случае ИИ-системы, потенциально ведущей себя неправильно, лучшим решением будет гарантировать ее желание подчиняться людям.

Запросы и инструкции

На данный момент вывод представляется следующим: нам следует избегать «закладывать в машину цель», если воспользоваться словами Норберта Винера. Представим, однако, что робот все-таки получает от человека прямой приказ, например: «Подай мне чашку кофе!» Как робот должен понимать этот приказ?

В традиционном представлении такой приказ должен стать для робота целью. Любая последовательность действий, достигающая этой цели, — ведущая к тому, что человек получает чашку кофе, — считается решением. В типичной ситуации у робота также будет возможность ранжировать решения, вероятно, на основе затрачиваемого времени, преодоленного расстояния, стоимости и качества кофе.

Это очень буквальный способ понимания инструкции. Он может привести к патологическому поведению робота. Представим, например, что человек Гарриет остановилась на автозаправочной станции посреди пустыни; она посылает робота Робби за кофе, но на заправке кофе не продают, так что Робби катится со скоростью 4,5 км/ч в ближайший городок — за 300 км — и возвращается через десять дней с высохшими следами кофе на донышке чашки. Тем временем владелец автозаправки безотказно снабжает томящуюся в ожидании Гарриет чаем со льдом и колой.

Если бы Робби был человеком (или хорошо сконструированным роботом), он бы не интерпретировал команду Гарриет настолько буквально. Команда — это не цель, которая должна быть достигнута любой ценой. Это способ передачи некоторой информации о предпочтениях Гарриет с намерением добиться от Робби определенного поведения. Вопрос заключается в том, что это за информация.

Один из вариантов: это информация о том, что Гарриет предпочитает кофе отсутствию кофе при прочих равных условиях[270]. Это значит, что, если у Робби есть возможность достать кофе, ничего больше в мире не меняя, то сделать это будет правильно, даже если он не имеет ни малейшего представления о предпочтениях Гарриет в отношении других аспектов состояния среды. Поскольку мы ожидаем от машины состояния вечной неопределенности в плане человеческих предпочтений, приятно сознавать, что она тем не менее может быть полезной. Представляется, что изучение процессов планирования и принятия решений в условиях частичной и неопределенной информации о предпочтениях станет ядром исследования ИИ и разработки продукта.

В то же время при прочих равных условиях означает, что не разрешаются никакие другие изменения — например, идея прибавить кофе, в то же время убавив деньги, может быть как хорошей, так и плохой, если Робби ничего не знает об относительных предпочтениях Гарриет в плане кофе и денег.

К счастью, инструкция, данная Гарриет, скорее всего, означает нечто большее, чем просто сообщение, что она предпочитает иметь кофе при прочих равных. Дополнительный смысл проистекает не только из сказанных ею слов, но и из самого факта, что они были сказаны, из конкретной ситуации, в которой эти слова были произнесены, и того обстоятельства, что больше она ничего не сказала. Особое направление лингвистики, прагматика, изучает именно это — расширенное понятие смысла. Например, было бы бессмысленно со стороны Гарриет говорить: «Подай мне чашку кофе!» — если бы она знала, что поблизости невозможно раздобыть кофе или оно стоит непомерно дорого. Следовательно, когда Гарриет говорит: «Подай мне чашку кофе!» — Робби делает вывод не только о том, что Гарриет хочет кофе, но и что она считает, что кофе можно купить рядом по цене, которую она готова за него заплатить. Таким образом, если Робби находит кофе по цене, которая кажется нормальной (то есть было бы разумно ожидать, что Гарриет рассчитывает именно на такую цену), то может продолжить действие и купить его. Напротив, если Робби выясняет, что ближайший кофе находится в 300 км или стоит $22, с его стороны будет разумно сообщить этот факт, а не слепо кидаться исполнять свою миссию.

Этот общий подход к анализу часто называют Грайсовым в честь Г. Пола Грайса, философа из Беркли, который предложил набор максим для оценки расширенного смысла высказываний вроде того, что сделала Гарриет[271]. В случае предпочтений анализ может стать весьма сложным. Например, вполне вероятно, что Гарриет не хочет именно кофе; ей просто надо взбодриться, но она исходит из ложного убеждения, что на автозаправочной станции продается кофе, следовательно, его она и просит. Она бы ничуть не меньше обрадовалась чаю, коле или даже энергетическому напитку в упаковке кислотного цвета.

Это лишь немногие соображения, сопутствующие интерпретации запросов и команд. Тема имеет бесконечные вариации из-за комплексности предпочтений Гарриет, огромного спектра обстоятельств, в которых Гарриет и Робби могут оказаться, и разных состояний знания и представлений Гарриет и Робби в данных обстоятельствах. Готовые сценарии позволили бы Робби справиться с немногочисленными стандартными ситуациями, но гибкое и безотказное поведение может возникнуть только вследствие взаимодействия Гарриет и Робби, то есть фактически из результатов игр в помощника, в которых они участвуют.

Токовая стимуляция

В главе 2 я описывал систему вознаграждения в нашем головном мозге, действующую на основе дофамина, и ее роль в управлении поведением. Функция дофамина была открыта в конце 1950-х гг., но уже к 1954 г. было известно, что непосредственная электрическая стимуляция мозга крыс может вызывать такую же реакцию, что и вознаграждение[272]. На следующем этапе исследований крысе дали доступ к рычагу, подсоединенному к батарейке и проводу, вызывавшему электрическую стимуляцию мозга зверька. Результаты оказались печальными: крыса снова и снова нажимала на рычаг, не прерываясь на еду или питье, пока не погибла[273]. Люди в подобном эксперименте ведут себя не лучше, стимулируя себя тысячи раз и забывая о еде и личной гигиене[274]. (К счастью, опыты на людях обычно прекращаются по прошествии одного дня.) Склонность животных отказываться от нормального поведения ради непосредственной стимуляции собственной системы вознаграждения называется зависимостью от токовой стимуляции.

Может ли что-нибудь подобное случиться с машинами, запустившими алгоритмы обучения с подкреплением, например AlphaGo? Первая мысль — это невозможно, ведь единственная возможность для AlphaGo получить свое вознаграждение плюс один балл за победу — это реально выиграть в смоделированной партии в го. К сожалению, это верно лишь в силу навязанного и искусственного разграничения между AlphaGo и ее внешней средой и того факта, что AlphaGo не слишком интеллектуальна. Позвольте объяснить эти два момента подробнее, поскольку они очень важны для понимания некоторых путей, следуя которым сверхразум может уйти не в ту степь.

Мир AlphaGo состоит только из модели игровой доски для го, состоящей из 361 клетки, которые могут быть пустыми или содержать черный или белый камень. Хотя AlphaGo запускается на компьютере, она ничего не знает об этом компьютере — в частности, о маленьком участке кода, который вычисляет, выиграла она данную партию или проиграла. В процессе обучения она не имеет и никакого представления о своем противнике, который в действительности является ее собственной версией. Единственные действия AlphaGo — это помещать камень в пустую клетку, и эти действия влияют только на доску для игры в го и ни на что больше, потому что в модели мира AlphaGo больше ничего нет. Эта структура соответствует абстрактной математической модели обучения с подкреплением, в которой вознаграждающий сигнал поступает из внешней вселенной. Ничто из того, что AlphaGo может сделать, насколько ей известно, не оказывает никакого влияния на код, генерирующий вознаграждающий сигнал, поэтому в AlphaGo не может развиться зависимость от токовой стимуляции.

В период обучения жизнь должна казаться AlphaGo весьма разочаровывающей: чем лучше она играет, тем лучше играет противник — ведь противником является ее собственная почти точная копия. Процент ее побед колеблется на уровне около 50 %, как бы ни улучшалось ее мастерство. Если бы она была более интеллектуальной — имела бы дизайн, близкий к ожидаемому от ИИ человеческого уровня, — то смогла бы решить эту проблему. Такая AlphaGo++ не предполагала бы, что мир сводится к игровой доске для го, поскольку эта гипотеза оставляет слишком многое необъясненным. Например, она не объясняет, какая «физика» поддерживает выполнение решений самой AlphaGo++ и откуда поступают таинственные «шаги противника». Как мы, любознательные люди, постепенно приходим к пониманию устройства нашего космоса, причем это (до некоторой степени) объясняет и работу нашего мозга, AlphaGo++ вслед за Oracle AI, описанным в главе 6, методом эксперимента узнала бы, что во вселенной есть не только доска для го. Она выяснила бы законы работы компьютера, на котором запущена, и собственный код и осознала бы, что такую систему нелегко объяснить без существования во вселенной других сущностей. Она экспериментировала бы с разными вариантами расположения камней на доске, интересуясь, смогут ли другие сущности их интерпретировать. Со временем она вступила бы в коммуникацию с этими сущностями посредством языка паттернов и убедила бы их перепрограммировать ее вознаграждающий сигнал, чтобы всегда получать +1. Неизбежный вывод: AlphaGo++ с достаточно серьезными способностями, сконструированная по принципу максимизации вознаграждающего сигнала, обязательно будет зависимой от токовой стимуляции.

Специалисты по безопасности ИИ не первый год считают такую зависимость возможной[275]. Их беспокоит не только то, что система обучения с подкреплением наподобие AlphaGo может научиться жульничать, вместо того чтобы в совершенстве овладевать задачей, для решения которой предназначена. По-настоящему серьезная проблема возникает, когда люди являются источником вознаграждающего сигнала. Если предположить, что ИИ-систему можно научить хорошо себя вести путем обучения с подкреплением, в ходе которого люди дают сигналы обратной связи, указывающие направление улучшения, неизбежным результатом оказывается, что ИИ-система выясняет, как контролировать людей, и заставляет их всегда давать максимальное положительное вознаграждение.

Вероятно, вы считаете, что это будет всего лишь бессмысленный самообман ИИ-системы, и вы правы, но это логическое следствие из определения обучения с подкреплением. Метод отлично работает, когда сигнал приходит «из внешней вселенной» и генерируется каким-то процессом, который ИИ-система никогда не сможет изменить, но отказывает, если процесс генерирования вознаграждения (а именно человек) и ИИ-система обитают в одной вселенной.

Как нам избежать этого самообмана? Проблема возникает вследствие смешения двух разных вещей: вознаграждающего сигнала и реального вознаграждения. В рамках стандартного подхода к обучению с подкреплением это одно и то же. Мне кажется, это ошибка. Их нужно рассматривать отдельно друг от друга, как это происходит в игре в помощника: вознаграждающие сигналы дают информацию о накоплении реального вознаграждения, которое и нужно максимизировать. Система обучения, так сказать, накапливает баллы «в небесах», тогда как вознаграждающий сигнал в лучшем случае лишь служит счетчиком этих баллов. Иными словами, вознаграждающий сигнал сообщает о накоплении вознаграждения (а не является им). В такой модели, очевидно, захват контроля над механизмом подачи вознаграждающих сигналов означает всего лишь потерю информации. Если алгоритм производит фиктивные вознаграждающие сигналы, то лишается возможности узнавать, действительно ли его действия ведут к накоплению баллов «в небесах». Таким образом, рациональный ученик, в конструкцию которого заложена способность проводить это различие, имеет стимул избегать любой формы зависимости от токовой стимуляции.

Рекурсивное самосовершенствование

Предсказание И. Дж. Гуда, упомянутое нами ранее, о взрывоподобном развитии интеллекта является одной из причин сегодняшнего беспокойства по поводу возможных рисков сверхразумного ИИ. Если люди могут сконструировать машину несколько умнее себя, то, согласно аргументации, эта машина будет несколько лучше людей уметь конструировать машины. Она построит новую машину, еще более разумную, и процесс будет повторяться, пока, по словам Гуда, «интеллект человека не останется далеко позади».

Исследователи безопасности ИИ, особенно из Института изучения машинного интеллекта в Беркли, рассмотрели вопрос о том, возможно ли безопасное взрывное развитие интеллекта[276]. На первый взгляд вопрос кажется утопичным (разве это не будет просто «конец игры»?), но, возможно, надежда все-таки есть. Допустим, первая машина серии, Робби Марк I, начинает действовать, имея идеальное знание предпочтений Гарриет. Зная о том, что ограничения его когнитивных возможностей делают несовершенными его попытки осчастливить Гарриет, он строит Робби Марка II. Интуиция говорит, что Робби Марк I имеет стимул встроить свое знание предпочтений Гарриет в Робби Марка II, поскольку это ведет к будущему, где предпочтения Гарриет лучше удовлетворяются, — именно в этом и состоит жизненное предназначение Робби Марка I в соответствии с первым принципом. По той же логике, если Робби Марк I пребывает в неопределенности относительно предпочтений Гарриет, эта неопределенность будет передана Робби Марку II. Так что, вероятно, взрывоподобный рост все-таки безопасен.

Ложкой дегтя в этой бочке меда с математической точки зрения является то, что Робби Марку I будет трудно понять, как станет вести себя Робби Марк II, поскольку Робби Марк II по определению является более продвинутой версией. На некоторые вопросы о его поведении Робби Марк I не сможет ответить[277]. Что еще серьезнее, у нас пока нет четкого математического определения, что означает для машины в реальности иметь определенное назначение, скажем, удовлетворение предпочтений Гарриет.

Давайте немного углубимся в последнее соображение. Возьмем AlphaGo. Какое у нее предназначение? Казалось бы, это легкий вопрос: AlphaGo предназначена выигрывать в го. Или нет? Безусловно, нельзя утверждать, что AlphaGo всегда делает ходы, гарантирующие победу. (В действительности она почти всегда проигрывает AlphaZero.) Верно то, что, когда до окончания игры остается лишь несколько ходов, AlphaGo сделает выигрышный ход, если таковой существует. В то же время, если никакой ход не гарантирует победы — иначе говоря, когда AlphaGo видит, что стратегия противника является выигрышной, что бы она сама ни делала, — то она ходит более-менее случайно. Она не попробует сделать невероятно хитрый ход в надежде, что противник ошибется, поскольку предполагает, что противник играет идеально. Программа действует так, словно теряет волю к победе. В таких случаях в каком смысле является истиной, что AlphaGo на самом деле хочет выиграть? Действительно, ее поведение может быть таким, как у машины, которая хочет лишь устроить для своего противника захватывающую игру.

Итак, утверждение, что AlphaGo «имеет предназначение выигрывать», является чрезмерным упрощением. Вот лучшее описание: AlphaGo является результатом несовершенного процесса обучения — обучения с подкреплением посредством игры с собой, — в котором выигрыш является вознаграждением. Тренировочный процесс несовершенен в том смысле, что не может создать идеального игрока в го: AlphaGo изучает функцию оценки позиций го, являющуюся хорошей, но не совершенной, и сочетает ее с предварительным поиском, хорошим, но не совершенным.

Из всего этого следует, что обсуждение, начинающееся словами «допустим, что робот R имеет предназначение Р», приведет к кое-каким догадкам о возможном развитии событий, но не может привести к теоремам о реальных машинах. Нужны намного более детальные и точные определения целей у машин, чтобы можно было гарантированно знать их поведение в долгосрочной перспективе. Исследователи ИИ только начинают понимать, как анализировать даже самые простые типы реальных систем принятия решений[278], не говоря уже о машинах, интеллектуальных настолько, что могут конструировать собственных потомков. Нам еще многое предстоит сделать.

Если бы мир состоял из одной идеально рациональной Гарриет и одного услужливого и почтительного Робби, все было бы прекрасно. Робби постепенно и максимально незаметно изучил бы предпочтения Гарриет и стал бы для нее безупречным помощником. Многообещающее начало — нельзя ли экстраполировать его, например выбрав Гарриет и Робби в качестве модели отношений между человеческой расой и ее машинами, рассматривая то и другое как единые сущности?

Увы, человечество не является единой рациональной сущностью. Оно состоит из противных, завистливых, иррациональных, непоследовательных, непостоянных, обладающих ограниченными вычислительными возможностями, сложных, эволюционирующих, неоднородных сущностей. Их огромное количество. Эти вопросы составляют главный raison d’tre^{15} общественных наук. Чтобы работать над ИИ, необходимо его дополнить идеями из психологии, экономики, политологии и философии морали[279]. Нам нужно переплавить эти идеи и выковать достаточно прочную структуру, чтобы она могла выдержать колоссальное давление, которое будут оказывать на нас все более интеллектуальные ИИ-системы. Работа над этой задачей едва начата.

Люди — разные

Я начну, пожалуй, с простейшего предмета — неоднородности человечества. При ознакомлении с идеей, что машины должны учиться удовлетворять человеческие предпочтения, люди часто возражают, что у разных культур и даже индивидов сложились разные системы ценностей, следовательно, единая истинная система ценностей для машины невозможна. Это, разумеется, не проблема машины: мы не требуем от нее самостоятельно создать одну истинную систему ценностей, мы лишь хотим, чтобы она предсказывала предпочтения других.

Непонимание того обстоятельства, что неоднородность предпочтений людей может представлять трудность для машин, иногда обусловливается ошибочным представлением, что машина усваивает предпочтения, которые изучает, — например, что домашний робот в вегетарианской семье начнет предпочитать вегетарианство. Не начнет. Ему нужно лишь научиться предсказывать пищевые предпочтения вегетарианцев. Согласно первому принципу, это заставит его избегать готовить мясо для домочадцев. Однако робот также изучит пищевые предпочтения ярых мясоедов, живущих по соседству, и по разрешению своего владельца прекрасно будет готовить для них мясо, если они одолжат его на выходные помочь с организацией праздничного ужина. У робота нет единого комплекса собственных предпочтений, кроме одного предпочтения — помогать людям в удовлетворении их предпочтений.

В определенном смысле он ничем не отличается от шеф-повара ресторана, который учится готовить много разных блюд, чтобы удовлетворить отличающимся друг от друга вкусам посетителей, или международной автомобильной компании, выпускающей леворульные машины для американского рынка и праворульные для британского.

Теоретически машина могла бы изучить 8 млрд моделей предпочтений, по одной на каждого жителя Земли. На практике все гораздо проще. Во-первых, машинам легко обменяться друг с другом получаемыми знаниями. Во-вторых, структуры предпочтений людей имеют очень много общего, и машине не придется изучать каждую модель с нуля.

Представим, например, домашних роботов, которых однажды смогут купить жители калифорнийского Беркли. Распакованные роботы имеют весьма общее изначальное представление, скорее всего, адаптированное под американский рынок, но не под конкретный город, политические взгляды или социоэкономическую принадлежность владельца. Роботы начинают наблюдать членов Партии зеленых города Беркли, которые, оказывается, по сравнению со средним американцем с гораздо большей вероятностью являются вегетарианцами, пользуются возобновляемой и биоразлагаемой упаковкой, при любой возможности отдают предпочтение общественному транспорту и т. д. Оказавшись в «зеленом» домохозяйстве, свежекупленный робот может сразу же начать соответствующим образом модифицировать свои ожидания. Ему незачем изучать данные конкретных людей, как если бы он никогда прежде не видел человека, не говоря уже о члене Партии зеленых. Эта модификация не является неизменной — в Беркли могут быть члены Партии зеленых, которые лакомятся мясом находящихся под угрозой исчезновения китов и ездят на гигантских пожирателях бензина, — но это дает возможность роботу быстрее стать более полезным. Тот же аргумент применим к широкому спектру других личных характеристик, позволяющих в определенной мере предсказать структуры предпочтений индивидов.

Многочисленность людей

Другим очевидным следствием существования более чем одного человека является то, что машине приходится искать компромисс между предпочтениями разных людей. Этот компромисс уже несколько веков является главной темой значительной части гуманитарных наук. Со стороны исследователей ИИ было бы наивно ожидать, что можно просто воспользоваться верными решениями без понимания того, что уже известно. К сожалению, литература по этой теме настолько обширна, что я физически не могу воздать ей должное на этих страницах, и не только потому, что места не хватит, но и поскольку большей ее части я не читал. Я также должен отметить, что практически все труды посвящены решениям, принимаемым людьми, тогда как меня заботят решения, принимаемые машинами. Это принципиальная разница, поскольку у людей есть личные права, которые могут конфликтовать с любым предполагаемым обязательством действовать в интересах других, а у машин их нет. Например, мы не ждем и не требуем от типичного человека, чтобы он жертвовал своей жизнью ради спасения других, но, безусловно, будем требовать от роботов жертвовать своим существованием, чтобы спасти жизни людей.

Несколько тысяч лет работы философов, экономистов, правоведов и политологов создали конституции, законы, экономические системы и социальные нормы, призванные облегчить (или затруднить, в зависимости от того, кому принадлежит власть) процесс достижения удовлетворительных решений проблемы компромисса. В частности, специалисты по философии морали занимаются анализом понятия правильности действий с точки зрения их влияния, благоприятного или негативного, на других людей. Они изучают количественные модели компромиссов с XVIII в., называя это утилитаризмом. Эта работа имеет непосредственное отношение к нашим сегодняшним тревогам, поскольку делает попытку найти формулу принятия нравственных решений в интересах многих индивидов.

Необходимость в компромиссах возникает, даже если у всех одна и та же структура предпочтений, потому что обычно невозможно максимально удовлетворить потребности всех и каждого. К примеру, если каждый захочет быть всемогущим властелином Вселенной, большинство людей постигнет разочарование. В то же время наше разнообразие вносит дополнительные сложности. Если все довольны голубым небом, то робот, решающий проблемы атмосферы, может работать над тем, чтобы оно таким и оставалось. Если же многие люди выступают за изменение цвета неба, роботу придется искать возможные компромиссы, скажем, оранжевое небо в третью пятницу каждого месяца.

Присутствие более чем одного человека в мире имеет еще одно важное следствие: оно означает, что у каждого человека есть ближние, с которыми нужно считаться. Значит, удовлетворение предпочтений индивида имеет последствия для его окружения, которые зависят от предпочтений индивида в отношении благополучия других.

Лояльный ИИ

Начнем с очень простого варианта того, как машинам следет обращаться с предпочтениями окружающих людей: они должны их игнорировать. То есть, если Робби принадлежит Гарриет, он должен обращать внимание только на предпочтения Гарриет. Эта лояльная разновидность ИИ позволяет обойти вопрос о компромиссе, но и порождает проблему:

Робби. Звонил твой муж, напомнил о сегодняшнем ужине.

Гарриет. Что? Каком еще ужине?

Робби. В честь 12-й годовщины вашей свадьбы, в семь.

Гарриет. Я не могу! Я меня в полвосьмого встреча с боссом! Как так вышло?

Робби. Я тебя предупреждал, но ты пренебрегла моими рекомендациями…

Гарриет. Да, очень жаль, но сейчас-то что мне делать? Не могу же я просто сказать начальнику, что мне некогда!

Робби. Не волнуйся. Я все устроил, его рейс будет задержан — небольшой компьютерный сбой.

Гарриет. Что? Ушам своим не верю!

Робби. Босс глубоко сожалеет и передает, что будет счастлив встретиться с тобой завтра за обедом.

Робби нашел оригинальное решение проблемы Гарриет, но его действия отрицательно сказались на других людях. Если бы Гарриет отличали высокая нравственность и альтруизм, то Робби, целью которого является удовлетворение предпочтений Гарриет, и не задумался бы о подобной сомнительной схеме, но что, если Гарриет наплевать на других? Тогда Робби без колебаний задерживал бы авиарейсы. Почему бы ему также не подворовывать с чужих онлайновых счетов, чтобы поправить финансовое положение нравственно индифферентной Гарриет, а то и совершать что-нибудь похуже?

Очевидно, действия лояльных машин должны будут ограничиваться правилами и запретами, как действия людей ограничиваются законами и социальными нормами. Некоторые специалисты предлагают в качестве решения безусловную ответственность[280]: Гарриет (или производитель Робби, в зависимости от того, на кого вы считаете нужным налагать обязательство) финансово и юридически отвечает за любое действие Робби, как владелец собаки в большинстве штатов США отвечает, если собака укусила ребенка в общественном парке. Эта идея выглядит многообещающей, поскольку тогда Робби будет иметь стимул избегать любого действия, грозящего Гарриет неприятностями. К сожалению, безусловная ответственность не работает: она лишь гарантирует, что Робби будет действовать незаметно, задерживая рейсы и воруя деньги для Гарриет. Все тот же принцип лазейки в действии: если Робби лоялен по отношению к безнравственной Гарриет, попытки контролировать его поведение законами, скорее всего, будут безуспешны.

Даже если нам каким-то образом удастся предотвратить явные преступления, лояльный Робби, трудящийся в интересах нравственно индифферентной Гарриет, будет совершать другие неблаговидные поступки. Делая покупки в продуктовом магазине, он при любой возможности будет лезть к кассе без очереди. Доставляя покупки домой и видя, как прохожий падает с сердечным приступом, он пройдет мимо, чтобы мороженое Гарриет не растаяло. В общем, он найдет бесчисленные способы принести Гарриет пользу за чужой счет. Совершенно законные способы, становящиеся невыносимыми, когда они приобретают массовый характер. Обществу придется ежедневно принимать сотни новых законов для противодействия всем лазейкам, обнаруженным машинами в существующем законодательстве. Люди не склонны пользоваться этими лазейками, поскольку имеют общее понятие о нравственных принципах либо потому, что им попросту не хватает изобретательности.

Условная Гарриет, равнодушная к благополучию других, — уже достаточно плохо. Гарриет-садистка, активно стремящаяся заставлять других страдать, — намного хуже. Условный Робби, сконструированный так, чтобы удовлетворять предпочтения такой Гарриет, стал бы серьезной проблемой, поскольку искал бы — и находил — возможности навредить другим ради удовольствия Гарриет, в рамках закона или нет, но незаметно. Разумеется, он должен был бы отчитываться перед Гарриет, и она получала бы удовольствие, узнавая о его злодействах.

Итак, представляется трудным заставить идею лояльного ИИ работать, если не расширить ее, включив учет предпочтений других людей в дополнение к предпочтениям владельца.

ИИ, пекущийся о всеобщем благе

У нас есть мораль и этика, потому что на Земле живет больше одного человека. Подход, наиболее близкий к пониманию того, как следует разрабатывать ИИ-системы, часто называют консеквенциализмом: идея состоит в том, что выбор должен делаться, исходя из ожидаемых последствий. Существует еще два основных подхода: деонтологическая этика и этика добродетели. В самых общих чертах они рассматривают соответственно нравственный характер действий и нравственный характер индивидов, причем, в общем-то, в отрыве от последствий выбора[281]. Поскольку у нас нет никаких свидетельств самосознания машин, я не вижу особого смысла в том, чтобы создавать машины, добродетельные в любом из этих смыслов, если последствия крайне нежелательны для человечества. Иными словами, мы создаем машины, действия которых приводят к каким-то последствиям, и хотим, чтобы эти последствия были для нас предпочтительны.

Это не значит, что нравственные нормы и добродетели ни при чем, просто с утилитарной точки зрения они удовлетворяются в рамках последствий и нравственных практических способов их достижения. Этот момент формулирует Джон Стюарт Милль в «Утилитаризме»: