Искусственный интеллект. Этапы. Угрозы. Стратегии Бостром Ник

Следует ли нам приветствовать успехи в создании аппаратного обеспечения? А успехи на пути к созданию компьютерной модели мозга? Давайте ответим на эти вопросы по очереди.

Последствия прогресса в области аппаратного обеспечения

Повышение быстродействия компьютеров облегчает создание машинного интеллекта. Таким образом, одним из эффектов от прогресса в области аппаратного обеспечения является ускорение момента, когда на свет появится машинный интеллект. Мы уже говорили о том, что с объективной точки зрения это может быть плохо, поскольку у человечества будет меньше времени на то, чтобы решить проблему контроля и подняться на более высокую ступень цивилизации. Впрочем, это не означает неминуемость катастрофы. Поскольку сверхразум устранит множество других экзистенциальных рисков, стоит предпочесть его раннее появление, если уровень этих рисков окажется слишком высоким[551].

Приближение или откладывание взрывного развития искусственного интеллекта — не единственный канал, посредством которого прогресс в области аппаратного обеспечения способен повлиять на экзистенциальный риск. Еще одна возможность заключается в том, что аппаратное обеспечение может до некоторой степени заменить программное: более совершенная аппаратная основа снижает требования к минимальному уровню навыков, которые требуются для создания кода зародыша ИИ. Быстрые компьютеры могут также стимулировать использование подходов, которые больше полагаются на полный перебор (вроде генетических алгоритмов и прочих методов, работающих по схеме «генерация–оценка–уничтожение») и меньше — на техники, требующие глубокого понимания ситуации. Если в результате использования методов полного перебора, как правило, возникают системы с более беспорядочной и менее точной архитектурой, где проблему контроля решить труднее, чем в системах с более точно спроектированной и теоретически предсказуемой архитектурой, то это означает еще одну причину, по которой более быстрые компьютеры увеличивают экзистенциальный риск.

Еще одно соображение состоит в том, что быстрый прогресс в области аппаратного обеспечения повышает вероятность быстрого взлета. Чем больших успехов добивается индустрия микропроцессоров, тем меньше человеко-часов требуется программистам для вывода возможностей компьютеров на новый уровень производительности. Это значит, что взрывное развитие искусственного интеллекта вряд ли произойдет на самом нижнем уровне производительности аппаратного обеспечения. То есть более вероятно, что такой взрыв случится тогда, когда компьютеры окажутся на гораздо более высоком уровне развития. Это означает, что взлет произойдет в условиях «аппаратного навеса». Как мы видели в четвертой главе, аппаратный навес — один из многих факторов, снижающих сопротивляемость системы в процессе взлета. А значит, быстрый прогресс в области аппаратного обеспечения, скорее всего, приведет к более быстрому и взрывоопасному переходу к сверхразуму.

Быстрый взлет за счет так называемого аппаратного навеса может разными путями оказывать влияние на риски перехода. Наиболее очевидно, что при быстром взлете остается меньше возможностей отреагировать и внести корректировки в процесс перехода, что повышает связанные с ним риски. Кроме того, в случае аппаратного навеса снижаются шансы, что потенциально опасный зародыш ИИ, приступивший к самосовершенствованию, будет удачно изолирован и не допущен к достаточному объему вычислительных ресурсов, поскольку чем быстрее процессоры, тем меньше их требуется, чтобы ИИ быстро развился до уровня сверхразума. Еще один эффект аппаратного навеса заключается в том, что он уравнивает шансы мелких и крупных проектов, снижая преимущества крупных в более мощном компьютерном парке. Он также повышает экзистенциальный риск, поскольку в рамках крупных проектов выше вероятность решить проблему контроля и установить более приемлемые с этической точки зрения цели[552].

У быстрого взлета есть свои преимущества. Он увеличивает вероятность того, что будет сформирован синглтон. Если формирование синглтона важно для решения проблемы постпереходной координации, может иметь смысл пойти на более высокий риск в ходе взрывного развития искусственного интеллекта, чтобы снизить риск катастрофических последствий провала координационных усилий после него.

Успехи в сфере вычислений могут повлиять на исход революции машинного интеллекта не только прямо, но и косвенно, благодаря своему влиянию на общество и опосредованному участию в формировании условий для взрывного развития искусственного интеллекта. Скажем, интернет, для развития которого требуется массовое производство недорогих компьютеров, влияет на деятельность людей во многих областях, включая работу над созданием искусственного интеллекта и исследования по проблеме контроля. (Эта книга, скорее всего, не была бы написана, и вы могли бы остаться без нее, не будь интернета.) Однако аппаратное обеспечение уже довольно хорошо развито, чтобы появились отличные приложения, облегчающие людям работу, общение, размышления, — поэтому неясно, действительно ли прогресс в этих областях сдерживается скоростью его совершенствования[553].

Итак, представляется, что с объективной точки зрения более быстрый прогресс в области развития аппаратного обеспечения нежелателен. Это предварительное заключение может быть опровергнуто, например, если окажется, что другие экзистенциальные риски или риски, связанные с провалом постпереходной координации, окажутся чрезвычайно высокими. В любом случае, похоже, трудно еще сильнее полагаться на скорость совершенствования оборудования. А значит, наши усилия по улучшению исходных условий взрывного развития искусственного интеллекта следует сосредоточить на других параметрах общего стратегического процесса.

Обратите внимание, что даже если мы не знаем, как влиять на тот или иной параметр, может быть полезно для начала работы над стратегией хотя бы определить «знак» этого влияния (то есть понять, что лучше — увеличивать или уменьшать значение параметра). А точку опоры для воздействия на выбранный параметр можно будет отыскать и позже. Возможно также, что знак одного параметра коррелирует со знаком какого-то другого, которым легче манипулировать, и тогда наш исходный анализ помог бы нам решить, что с ним делать.

Следует ли стимулировать исследования в области полной эмуляции головного мозга?

Чем труднее кажется проблема контроля в случае искусственного интеллекта, тем более соблазнительным представляется движение по пути создания имитационной модели мозга в качестве менее рискованной альтернативы. Однако есть некоторые сложности, которые стоит проанализировать, прежде чем делать окончательные выводы[554].

Прежде всего, это наличие технологических связок, которые мы уже обсуждали. Было отмечено, что усилия по созданию имитационной модели мозга могут привести к появлению нейроморфного ИИ, то есть особенно опасной формы машинного интеллекта.

Но на время допустим, что мы действительно добились своей цели и создали компьютерную имитационную модель головного мозга (далее по тексту — КИМГМ). Будет ли она безопаснее ИИ? Это сложный вопрос. У КИМГМ есть минимум три предполагаемых преимущества перед ИИ: 1) ее характеристики производительности легче понять; 2) ей внутренне присущи человеческие мотивы; 3) в случае ее первенства взлет будет медленным. Предлагаю коротко рассмотреть каждый фактор.

   1. То, что характеристики производительности КИМГМ понять легче, чем ИИ, звучит убедительно. У нас в изобилии информации о сильных и слабых сторонах человеческого интеллекта, но нет никаких знаний об ИИЧУ. Однако понимать, что может или не может делать оцифрованный моментальный снимок человеческого интеллекта, не то же самое, что понимать, как этот интеллект будет реагировать на изменения, направленные на повышение его производительности. В отличие от него, ИИ можно изначально тщательно проектировать таким образом, чтобы он был понятен как в статическом, так и в динамическом состоянии. Поэтому хотя интеллектуальная производительность КИМГМ может оказаться более предсказуемой на сравнимых стадиях их разработки, неясно, будет ли она динамически более предсказуемой, чем ИИ, созданный компетентными и озабоченными проблемой безопасности программистами.

   2. Нет никакой гарантии, что КИМГМ будет непременно присуща мотивация ее человеческого прототипа. Чтобы скопировать оценочные характеристики человеческой личности, может потребоваться слишком высокоточная модель. Даже если мотивационную систему отдельного человека удастся скопировать точно, неясно, насколько безопасным это окажется. Люди могут быть лживыми, эгоистичными и жестокими. И хотя можно надеяться, что прототип будет выбран за его исключительную добродетель, трудно спрогнозировать, как он станет действовать после переноса в совершенно чуждую ему среду, после повышения его интеллектуальных способностей до сверхчеловеческого уровня и с учетом возможности захватить господство над миром. Верно лишь то, что у КИМГМ будет более человекоподобная мотивация (они не станут ценить лишь скрепки или знаки после запятой в числе пи). В зависимости от ваших взглядов на человеческую природу это может как обнадеживать, так и разочаровывать[555].

   3. Неясно, почему технология полной эмуляции головного мозга может привести к более медленному взлету, чем технология разработки искусственного интеллекта. Возможно, в случае эмуляции мозга можно ожидать меньшего аппаратного навеса, поскольку она менее эффективна с вычислительной точки зрения, чем ИИ. Возможно, также, что ИИ способен легче превратить всю доступную ему вычислительную мощность в один гигантский интегрированный интеллект, в то время как КИМГМ будут предшествовать появлению сверхразума и опережать человечество лишь с точки зрения быстродействия и возможного количества копий. Если появление КИМГМ приведет к более медленному взлету, то дополнительным преимуществом будет ослабление проблемы контроля. Кроме того, более медленный взлет повысит вероятность многополярного исхода. Но настолько ли он желателен, этот многополярный мир, — большой вопрос.

Есть еще одно соображение, которое ставит под сомнение идею безопасности создания вначале технологии эмуляции головного мозга, — необходимость решать проблему второго перехода. Даже если первый машинный интеллект человеческого уровня будет создан в форме эмулятора, возможность появления искусственного интеллекта останется. ИИ в его зрелой форме обладает важными преимуществами по сравнению с КИМГМ, которые делают его несравнимо более мощной технологией[556]. Поскольку зрелый ИИ приведет к моральному устареванию КИМГМ (за исключением специальной задачи по консервации мозга отдельных людей), обратное движение вряд ли возможно.

Это означает следующее: если ИИ будет разработан первым, возможно, что у взрывного развития искусственного интеллекта будет всего одна волна; а если первым будет создана КИМГМ, таких волн может быть две. Первая — появление самой КИМГМ, вторая — появление ИИ. Совокупный экзистенциальный риск на пути КИМГМ–ИИ представляет собой сумму рисков, связанных с первым и вторым переходом (обусловленную успешным завершением первого), см. рис. 13[557].

Рис. 13. Что раньше, искусственный интеллект или компьютерная имитационная модель головного мозга? В сценарии «сначала КИМГМ» есть два перехода, связанных с риском, — вначале в результате создания КИМГМ, затем — ИИ. Совокупный экзистенциальный риск этого сценария представляет собой сумму рисков каждого перехода. Однако риск самого перехода к ИИ может быть ниже, когда это происходит в мире, где уже успешно работает КИМГМ.

Насколько более безопасным окажется переход к ИИ в мире КИМГМ? Одно из соображений заключается в том, что переход к ИИ мог бы быть менее взрывным, если случился бы уже после появления какой-то иной формы машинного интеллекта. Имитационные модели, работающие на цифровых скоростях и в количествах, далеко превосходящих население Земли, могли бы сократить когнитивный разрыв и легче контролировать ИИ. Впрочем, этому соображению не стоит придавать слишком большое значение, поскольку разрыв между ИИ и КИМГМ все-таки будет очень значительным. Однако если КИМГМ не просто быстрее и многочисленнее, но еще и качественно умнее людей (или как минимум не уступают лучшим представителям человечества), тогда у сценария с КИМГМ будут преимущества, аналогичные сценарию с когнитивным улучшением биологического мозга, который мы рассматривали выше.

Второе соображение касается ситуации конкуренции проектов, в этом случае при создании КИМГМ лидер может упрочить свое преимущество. Возьмем сценарий, в котором у лидирующего проекта по созданию КИМГМ есть шестимесячная фора по сравнению с ближайшим преследователем. Предположим, что первые работающие эмуляторы будут безопасными, терпеливыми и станут с готовностью сотрудничать с людьми. Если они работают на быстром оборудовании, то смогут потратить целую субъективную вечность в поисках ответа на вопрос, как создать безопасный ИИ. Например, если они работают на скоростях, в сто тысяч раз превышающих человеческие, и способны, не отвлекаясь, заниматься проблемой контроля в течение шести месяцев звездного времени, то смогут продвинуться в ее решении на пятьдесят тысяч лет дальше к тому моменту, когда столкнутся с конкуренцией со стороны эмуляторов, созданных в рамках проекта ближайшего конкурента. При наличии доступного аппаратного обеспечения они смогут еще ускорить свой прогресс, запустив миллиарды собственных копий независимо работать над различными подзадачами. А если лидирующий проект использует свое шестимесячное преимущество для формирования синглтона, то сможет купить своей команде по разработке ИИ неограниченное количество времени для решения проблемы контроля[558].

В целом возникает ощущение, что в случае, если КИМГМ появится раньше ИИ, риск перехода к ИИ может быть ниже. Однако если сложить остаточный риск перехода к ИИ с риском предшествующего ему перехода к КИМГМ, становится не столь понятно, как соотносится совокупный экзистенциальный риск сценария «сначала КИМГМ» с риском сценария «сначала ИИ». Получается, что если смотреть скептически на способность человечества управлять переходом к ИИ — приняв во внимание, что человеческая природа или цивилизация могут улучшиться к тому моменту, когда мы столкнемся с этим вызовом, — то сценарий «сначала КИМГМ» кажется более привлекательным.

Чтобы понять, следует ли продвигать идею создания технологии полной эмуляции головного мозга, нужно учесть еще несколько важных моментов.

Во-первых, следует помнить об уже упомянутой связке технологий: движение в сторону КИМГМ может привести к созданию нейроморфного ИИ. Это причина не настаивать на эмуляторах[559]. Несомненно, есть некоторые варианты синтетического ИИ, которые менее безопасны, чем некоторые нейроморфные варианты. Однако в среднем кажется, что нейроморфные системы более опасны. Одна из причин этого в том, что имитация может подменить собой знание. Чтобы построить нечто с нуля, обычно нужно сравнительно хорошо представлять, как будет работать система. Но в таком понимании нет нужды, если всего лишь копируешь какие-то свойства уже существующей системы. Полная эмуляция головного мозга полагается на масштабное копирование биологической системы, что не требует досконального понимания механизмов познания (хотя, без сомнения, понадобятся серьезные знания на уровне ее компонентов). В этом смысле нейроморфный ИИ может походить на КИМГМ: его можно получить путем плагиата различных элементов без необходимости того, чтобы инженеры имели глубокое математическое понимание принципов ее работы. Зато нейроморфный ИИ не будет похож на КИМГМ в другом аспекте — у него не будет по умолчанию человеческой системы мотивации[560]. Это соображение говорит против стремления двигаться по пути КИМГМ, если в результате может появиться нейроморфный ИИ.

Во-вторых, о чем нужно помнить: КИМГМ, скорее всего, подаст нам сигнал о своем скором появлении. В случае ИИ всегда есть возможность неожиданного концептуального прорыва. В отличие от него, для успеха эмуляции головного мозга требуется совершить множество трудоемких предварительных шагов: создать высокопроизводительные мощности для сканирования и программное обеспечение для обработки изображений, проработать алгоритм моделирования нейронной сети. Поэтому можно уверенно утверждать, что КИМГМ еще не на пороге (и не будет создан в ближайшие двадцать–тридцать лет). Это значит, что усилия по ускорению создания КИМГМ имеют значение лишь для тех сценариев, где машинный интеллект появляется сравнительно нескоро. Это делает инвестиции в КИМГМ привлекательными для тех, кто хотел бы, чтобы взрывное развитие интеллекта исключило другие экзистенциальные риски, но опасается поддерживать разработку ИИ из страха, что этот взрыв произойдет преждевременно, до того как будет решена проблема контроля. Однако, похоже, неопределенность относительно сроков этих событий настолько велика, что не стоит придавать этому соображению слишком большой вес[561].

Поэтому стратегия поддержки КИМГМ более привлекательна, если: 1) вы с пессимизмом смотрите на способность людей решить проблему контроля над ИИ; 2) не слишком беспокоитесь по поводу нейроморфного ИИ, многополярных исходов и рисков второго перехода; 3) думаете, что КИМГМ и ИИ будут созданы довольно скоро; 4) предпочитаете, чтобы сверхразум появился не слишком рано и не слишком поздно.

С субъективной точки зрения — лучше быстрее

Боюсь, что под словами одного из комментаторов в блоге могут подписаться многие:

Мне инстинктивно хочется двигаться быстрее. И не потому что, как мне кажется, мир от этого выиграет. Почему я должен думать о мире, если все равно умру и превращусь в прах? Мне просто хочется, чтобы все двигалось быстрее, черт возьми! Это увеличивает шансы, что я застану более технологически продвинутое будущее[562].

С субъективной точки зрения у нас есть серьезная причина торопить появление любых радикально новых технологий, с которыми связан экзистенциальный риск. Причина в том, что все, кто сейчас живет, по умолчанию умрут в течение ближайших ста лет.

Особенно сильно желание торопить события, когда речь идет о технологиях, способных продлить нашу жизнь и тем самым увеличить количество ныне живущих людей, способных застать взрывное развитие искусственного интеллекта. Если революция машинного интеллекта пойдет так, как нам хотелось бы, появившийся в ее результате сверхразум почти наверняка найдет способ бесконечно продлевать жизнь людей, которые окажутся его современниками, причем не просто продлевать жизнь, но и делать ее абсолютно качественной, поскольку люди будут совершенно здоровы и полны молодой энергией — тоже благодаря стараниям сверхразума. Более того, сверхразум увеличит возможности человека далеко за пределы того, что можно было бы предположить; кто знает, вдруг он поможет человеку совсем избавиться от своего бренного организма, загрузит его мозг в цифровую среду и подарит ему идеально здоровое виртуальное тело. Что касается технологий, не обещающих продление жизни, то здесь оснований для спешки меньше, но они все равно есть, поскольку появление таких возможностей способно повысить стандарты жизни[563].

Благодаря такой же логике с субъективной точки зрения кажутся привлекательными многие рискованные технологические инновации, обещающие приблизить момент взрывного развития искусственного интеллекта, даже если они нежелательны с объективной точки зрения. Такие инновации могут сократить «час волка», в течение которого мы должны сидеть на своем насесте в ожидании рассвета постчеловеческой эпохи. Поэтому с субъективной точки зрения быстрый прогресс в области аппаратного обеспечения кажется таким же желательным, как и в области создания КИМГМ. Потенциальный вред из-за повышения экзистенциального риска уравновешивается возможной пользой для отдельно взятого человека благодаря возросшим шансам, что взрывное развитие искусственного интеллекта произойдет еще при жизни живущих сейчас людей[564].

Важным параметром является степень сотрудничества и координации, которую удастся обеспечить в ходе создания машинного интеллекта. Сотрудничество способно принести много пользы. Посмотрим, какое влияние этот параметр мог бы оказать на процесс создания машинного интеллекта и какие рычаги имеются в нашем распоряжении для расширения и углубления сотрудничества.

Гонка и связанные с ней опасности

Ощущение гонки возникает, когда есть страх, что проект обойдут конкуренты. Для этого совсем не обязательно наличие множества сходных проектов. Ситуация, при которой инициаторы проекта находятся в состоянии гонки, может сложиться и в отсутствие реальных конкурентов. Возможно, союзники не создали бы атомную бомбу так быстро, если не считали бы (ошибочно), что Германия крайне близка к этой цели.

Интенсивность ощущения гонки (то есть степень того, насколько конкуренты готовы ставить скорость выше безопасности) зависит от нескольких факторов, таких как плотность конкуренции, относительная важность возможностей и удачи, количество соперников, схожесть их подходов и целей. Также важно, что думают обо всех этих факторах конкуренты (см. врезку 13).

ВРЕЗКА 13. СМЕРТЕЛЬНАЯ ГОНКА

Рассмотрим гипотетическую гонку вооружений с применением ИИ — гонку, в которой несколько команд конкурируют за право первыми создать сверхразум[565]. Каждая из них сама решает, сколько инвестировать в безопасность, понимая, что ресурсы, потраченные на меры предосторожности, — это ресурсы, не потраченные на создание ИИ. В отсутствие согласия между соперниками (которого не удалось достичь из-за различия позиций или невозможности контролировать соблюдение договора) гонка может стать смертельно опасной, когда каждая команда тратит на безопасность лишь минимальные средства.

Производительность каждой команды можно представить как функцию ее возможностей (к которым относится и удача), штрафной функцией являются затраты на обеспечение безопасности. Первой создаст ИИ команда с наивысшей производительностью. Риски, связанные с появлением ИИ, зависят от того, сколько его создатели инвестировали в безопасность. В наихудшем сценарии все команды имеют одинаковые возможности. В этом случае победитель определяется исключительно по величине его капиталовложений в безопасность: выиграет команда, потратившая на меры предосторожности меньше всего. Тогда равновесие Нэша в этой игре достигается в ситуации, когда ни одна команда ничего не тратит на безопасность. В реальном мире такая ситуация будет означать возникновение эффекта храповика: одна из команд принимает на себя больший риск, опасаясь отстать от конкурентов, последние отвечают тем же — и так несколько раз, пока уровень риска не оказывается максимальным.

Возможности и риск

Ситуация меняется, когда возможности команд не одинаковы. Поскольку различия в возможностях являются более важным фактором по сравнению с затратами на обеспечение безопасности, эффект храповика слабеет: стимулов идти на больший риск в ситуации, когда это не повлияет на расстановку сил, гораздо меньше. Различные сценарии такого рода показаны на рис. 14, иллюстрирующем риски ИИ в зависимости от значимости такого параметра, как возможности разрабатывающих его команд. Инвестиции в безопасность лежат в диапазоне от 1 (в результате получаем идеально безопасный ИИ) до 0 (совершенно небезопасный ИИ). По оси x отображается относительная значимость возможностей команды для определения ее прогресса на пути создания ИИ по сравнению с инвестициями в безопасность. (В точке 0,5 уровень инвестиций в безопасность в два раза значимее возможностей; в точке 1 они равны; в точке 2 возможности в два раза значимее инвестиций в безопасность и так далее.) По оси y отображается уровень риска, связанный с ИИ (ожидаемая доля максимальной полезности, которую получает победитель.)

Рис. 14. Уровни риска в условиях гонки технологий искусственного интеллекта. На рисунке изображен уровень риска опасного ИИ для простой модели гонки технологий с участием а) двух или б) пяти команд в сочетании с относительной значимостью их возможностей (по сравнению с инвестициями в безопасность) для определения того, какой проект станет победителем. На диаграмме отражены три сценария: сплошная линия — нет информации об уровне возможностей; штриховой пунктир — закрытая информация о возможностях; точечный пунктир — открытая информация о возможностях.

Мы видим, что во всех сценариях опасность ИИ максимальна, когда возможности не играют никакой роли, и постепенно снижается по мере роста их значимости.

Сравнимые цели

Еще один способ снизить риск заключается в том, чтобы обеспечить командам большую долю в успехе друг друга. Если конкуренты убеждены, что второе место означает потерю всего, что им дорого, они пойдут на любой риск, чтобы обойти соперников. И наоборот, станут больше инвестировать в безопасность, если окажутся менее зависимыми от результатов гонки. Это означает, что нам нужно поощрять различные формы перекрестного инвестирования.

Количество конкурентов

Чем больше конкурирующих команд, тем более опасной становится гонка: у каждой из команд меньше шансов на то, чтобы прийти первой, соответственно, выше соблазн рисковать. Это видно, если сравнить позиции а и б на рис. 14: две команды и пять команд. В каждом сценарии риск растет с ростом числа конкурентов. Его можно снизить, если команды объединятся в небольшое количество конкурирующих коалиций.

Проклятие избыточной информации

Хорошо ли, если команды будут знать о своем месте в гонке (например, уровень своих возможностей)? И да, и нет. Желательно, чтобы о своем лидерстве знала сильнейшая команда (это будет означать, что отрыв от конкурентов позволит ей больше думать о безопасности). И нежелательно, чтобы о своем отставании знали остальные (поскольку это подтвердит их решимость ослабить меры предосторожности в надежде нагнать конкурентов). Хотя на первый взгляд может показаться, что компромисс возможен, модели недвусмысленно показывают, что информация — это плохо[566]. На рис. 14 (а и б) отражены три сценария: прямая линия соответствует ситуации, в которой ни одна из команд не имеет информации о возможностях участников гонки, включая свои собственные; штриховой пунктир соответствует ситуации, в которой команды знают только о своих собственных возможностях (тогда они готовы идти на дополнительный риск в случае, если их возможности низки); точечный пунктир показывает, что происходит, если все команды осведомлены о возможностях друг друга (они могут пойти на дополнительный риск в случае, если их возможности близки). С каждым ростом уровня информированности гонка обостряется.

В случае развития машинного интеллекта представляется, что ощущение гонки будет как минимум заметным, а возможно, и очень сильным. От интенсивности этого ощущения зависит, какими могут быть стратегические последствия возможного взрывного развития искусственного интеллекта.

Из-за ощущения гонки проекты могут ускорить свое движение в сторону сверхразума, сократив капиталовложения в решение проблемы контроля. Возможны и другие негативные последствия вроде прямых враждебных действий по отношению к конкурентам. Предположим, что две страны соревнуются в том, какая из них первой создаст сверхразум, и одна вырывается вперед. В ситуации, когда «победитель получает все», аутсайдер может решиться на отчаянный удар по сопернику, вместо того чтобы пассивно ждать поражения. Предполагая это, страна-лидер может нанести упреждающий удар. Если антагонисты обладают достаточной военной мощью, их столкновение приведет к большой крови[567]. (Даже точечный удар, нанесенный по инфраструктуре проекта разработки ИИ, несет риск более широкой конфронтации, кроме того, он может не достичь своей цели, если страна, в которой ведутся работы над этим проектом, примет соответствующие меры предосторожности[568].)

Если взять сценарий, в котором враждующие разработчики представляют не страны, а менее мощные институты, их конфликт, по всей вероятности, окажется менее разрушительным с точки зрения непосредственного вреда. Хотя в целом последствия такой конкуренции будут почти столь же плохи. Это связано с тем, что главным образом вред вызывается не столкновением на поле битвы, а ослаблением мер предосторожности. Как мы видели, ощущение гонки приведет к снижению инвестиций в безопасность, а конфликт, даже бескровный, устранит возможность сотрудничества, поскольку в атмосфере враждебности и недоверия проектные группы вряд ли захотят делиться идеями о путях решения проблемы контроля[569]

О пользе сотрудничества

Итак, сотрудничество дает много полезного. Оно избавляет от спешки при разработке машинного интеллекта. Позволяет больше вкладывать в безопасность. Избегать насильственных конфликтов. И облегчает обмен идеями в вопросах контроля. К этим преимуществам можно добавить еще одно: сотрудничество, скорее всего, приведет к такому исходу, в котором благоприятный эффект от контролируемого взрывного развития интеллекта будет распределен более равномерно.

Расширение сотрудничества приводит к более широкому распределению благ, но это не столь очевидно, как кажется. В принципе, небольшой проект под управлением альтруиста тоже может привести к исходу, в котором блага будут распределены равномерно или справедливо между всеми обладающими моральным статусом существами. Тем не менее есть несколько причин полагать, что более широкое сотрудничество, включая большее количество инвесторов, будет лучше (как ожидается) с точки зрения распределения результатов. Одна из причин заключается в том, что инвесторы предположительно предпочитают исход, в котором они сами получают справедливую долю. Тогда более широкое сотрудничество означает, что сравнительно много людей получат как минимум свою справедливую долю в случае успешного завершения проекта. Другая причина заключается в том, что более широкое сотрудничество выгодно даже людям, не имеющим непосредственного отношения к проекту. Чем шире сотрудничество, тем больше людей в него вовлечено и тем больше людей вне проекта связано с ними и может рассчитывать на то, что участники проекта учтут их интересы. Кроме того, чем шире сотрудничество, тем больше вероятность, что к нему будут привлечены как минимум несколько альтруистов, стремящихся действовать на благо всех. Более того, такой проект с большей вероятностью будет объектом общественного контроля, что снизит риск присвоения всего пирога кликой программистов или частных инвесторов[570]. Заметьте также, что чем шире сотрудничество в работе над успешным проектом, тем ниже его издержки на распределение выгод среди людей, не имеющих к нему прямого отношения. (Например, если 90 процентов всех людей уже вовлечены в сотрудничество, то поднять всех остальных до своего уровня им будет стоить не больше 10 процентов их доли.)

Поэтому вполне возможно, что более широкое сотрудничество приведет к более широкому распределению благ (хотя некоторые проекты с небольшим количеством инвесторов тоже могут иметь отличные перспективы для их распределения). Но почему столь желательно широкое распределение благ?

Исход, в котором все получат свою долю сладостей, предпочтительнее с точки зрения как этики, так и благоразумия. Об этической стороне вопроса много говорить не будем, скажем лишь, что дело не обязательно в стремлении к эгалитаризму. Причина может быть, например, в желании справедливости. С проектом, в рамках которого создается машинный сверхразум, связаны глобальные риски гибели человечества. В смертельной опасности оказывается каждый житель Земли, включая тех, кто не согласен подвергать угрозе свои жизни и жизни своих близких. А поскольку риск разделяют все, требование минимальной справедливости означает, что и свою часть награды тоже должны получить все.

То, что общий (ожидаемый) объем благ, похоже, будет выше в сценариях сотрудничества, является еще одним важным этическим аргументом в их пользу.

С точки зрения благоразумия широкое распределение благ выгодно по двум причинам. Первая заключается в том, что такой подход к распределению благ приведет к расширению сотрудничества, что, в свою очередь, позволит снизить негативные последствия гонки технологий. Если от успеха проекта выиграют все, будет меньше поводов бороться за лавры первого создателя сверхразума. Спонсоры конкретного проекта могут также выиграть благодаря информированию общественности о готовности равномерно распределить выгоды от него, поскольку альтруистические проекты скорее привлекут больше сторонников и меньше противников[571].

Вторая причина предпочтения широкого распределения благ с точки зрения благоразумия заключается в том, что для агентов характерно стремление избежать риска, а их функция полезности нелинейна относительно ресурсов. Здесь главное то, что потенциальный выигрыш в ресурсах может быть колоссальным. Если предположить, что наблюдаемая Вселенная действительно так необитаема, какой выглядит, то на каждого жителя Земли сегодня приходится больше одной свободной галактики. Большинство людей предпочли бы гарантированный доступ к одной галактике, полной ресурсов, лотерейному билету с шансом один на миллиард стать владельцем миллиарда галактик[572]. Учитывая такие космические масштабы, ожидающие человечество в будущем, похоже, в наших интересах предпочесть сделку, в рамках которой каждому человеку была бы гарантирована доля, даже если она соответствует лишь малой части общего. Когда на горизонте маячит столь щедрый приз, важно не остаться с носом.

Этот аргумент о громадности призового фонда основан на предположении, что предпочтения являются ресурсно-насыщенными[573]. Это не обязательно так. Например, есть несколько известных этических теорий — включая особенно агрегированные консеквенциалистские, — с которыми соотносятся нейтральные к риску и линейные по ресурсам функции полезности. Имея миллиард галактик, можно создать в миллиард раз больше счастливых жизней, чем имея одну. То есть с утилитарной точки зрения это в миллиард раз лучше[574]. То есть функции предпочтения обычных эгоистичных людей, похоже, относительно ресурсно-насыщаемые. Последнее замечание нужно дополнить двумя важными уточнениями.

Первое: многих людей беспокоят рейтинги. Если множество агентов захотят возглавить список богатейших людей мира, никаких мировых запасов не хватит, чтобы удовлетворить каждого.

Второе: постпереходная технологическая база, возможно, позволит превращать материальные ресурсы в беспрецедентно широкий спектр продуктов, включая такие, которые недоступны сейчас ни за какие деньги, хотя и высоко ценимы многими. Миллиардеры не живут в тысячу раз дольше миллионеров. В эпоху цифрового разума, однако, миллиардеры смогут позволить себе в тысячу раз большую вычислительную мощность и соответственно проживать субъективно в тысячу раз более долгую жизнь. Точно так же окажется доступной за деньги и ментальная мощность. В таких обстоятельствах, когда экономический капитал можно будет конвертировать в жизненно важные товары по постоянному курсу даже на очень высоком уровне богатства, неограниченная жадность обретет гораздо больший смысл, чем в современном мире, где богачи (лишенные филантропических черт) озабочены приобретением самолетов, яхт, коллекций предметов искусства, бесчисленных резиденций — и на все это тратятся целые состояния.

Значит ли это, что эгоист должен нейтрально относиться к риску, связанному с его обогащением в постпереходный период? Не совсем. Может так получиться, что физические ресурсы не будут конвертироваться в жизни или ментальную мощность в произвольных масштабах. Если жизнь должна быть прожита последовательно, чтобы наблюдатель помнил прошлые события и ощущал последствия сделанного когда-то выбора, тогда жизнь цифрового мозга не может быть продлена произвольно долго без использования все возрастающего количества последовательных вычислительных операций. Но законы физики ограничивают степень, до которой ресурсы можно трансформировать в последовательные вычисления[575]. Пределы возможностей последовательных вычислений могут также довольно сильно ограничить некоторые аспекты когнитивной эффективности, которая не сможет расти линейно в соответствии с быстрым накоплением ресурсов. Более того, совершенно неочевидно, что эгоист должен быть нейтрален к риску даже в случае очень релевантных показателей успеха, скажем, количества скорректированных на качество субъективных лет жизни. Если будет стоять выбор между гарантированными дополнительными двумя тысячами лет жизни и одним к десяти шансом получить дополнительно тридцать тысяч лет жизни, думаю, большинство людей выберут первое (даже при условии, что все годы будут одинакового качества)[576].

В реальности аргумент, что с точки зрения здравомыслия предпочтительнее более широкое распределение благ, вероятно, имеет субъективный и зависящий от ситуации характер. Хотя в целом люди с большей вероятностью получили бы (почти все), что они хотят, если удастся найти способ обеспечить широкое распределение благ, — и это верно даже без учета того, что обязательство такого распределения подстегнет сотрудничество и тем самым снизит шансы экзистенциальной катастрофы. То есть широкое распределение благ представляется не только этически необходимым, но и выгодным.

Есть и другое следствие сотрудничества, которое нельзя не отметить хотя бы вскользь: это возможность того, что степень сотрудничества в преддверии перехода повлияет на степень сотрудничества после него. Предположим, что человечество решило проблему контроля. (Если проблема контроля не решена, степень сотрудничества в постпереходный период будет значить пугающе много.) Тогда нужно рассмотреть два случая.

Случай первый: взрывное развитие искусственного интеллекта не создаст ситуацию типа «победитель получает все» (предположительно потому, что взлет окажется сравнительно медленным). В этом случае можно допустить, что если степень сотрудничества в преддверии перехода как-то повлияет на степень сотрудничества после него, то это влияние будет положительным и стимулирующим. Сложившееся сотрудничество сохранится и продолжится после перехода, кроме того, совместные усилия, предпринятые до перехода, позволят направить развитие в желательном направлении (и предположительно, открывающем возможности для еще более тесного сотрудничества) после него.

Случай второй: природа взрывного развития искусственного интеллекта поощряет формирование ситуации, когда «победитель получает все» (предположительно потому, что взлет окажется сравнительно быстрым). В этом случае в отсутствие широкого сотрудничества в преддверии перехода, скорее всего, сформируется синглтон — переход совершит всего один проект по сверхразуму, в какой-то момент обеспечив себе решающее стратегическое преимущество. Синглтон по определению представляет собой социальный порядок с высокой степенью сотрудничества[577]. Таким образом, отсутствие сотрудничества в предшествующий переходу период приведет к чрезвычайно активному сотрудничеству после него. По контрасту с этим более высокая степень сотрудничества в ходе подготовки к взрывному развитию искусственного интеллекта открывает возможности для широкого диапазона исходов. Сотрудничающие группы разработчиков могут синхронизировать работу над проектами так, чтобы гарантированно совершить переход вместе и не допустить получения решающего стратегического преимущества ни одному из них. Или вообще объединить усилия и действовать в рамках общего проекта, но отказаться при этом от формирования синглтона. Например, можно представить консорциум стран, которые запускают совместный научный проект по созданию машинного интеллекта, но не дают санкцию на его превращение в сверхмощный аналог ООН, ограничившись поддержанием имеющегося мирового порядка.

Таким образом, получается, что более активное сотрудничество до перехода может привести к меньшему сотрудничеству после него, особенно в случае быстрого взлета. Однако в той мере, в которой сотрудничающие стороны способны контролировать исход, они могут прекратить сотрудничать или вовсе не начинать это делать лишь в том случае, если считают, что постпереходная фракционность не приведет ни к каким катастрофическим последствиям. То есть сценарии, в которых активное сотрудничество в преддверии перехода сменяется его отсутствием в постпереходный период, в основном относятся к ситуации, в которой это будет безопасно.

В общем случае представляется желательным более активное сотрудничество в постпереходный период. Оно снизит риск возникновения антиутопии, в которой в результате экономической конкуренции и быстрого роста населения возникают мальтузианские условия, или в которой эволюционный отбор приводит к эрозии человеческих ценностей и отсеву жизнелюбивых характеров, или в которой противоборствующие силы сталкиваются с другими последствиями своей неспособности к координации усилий — последствиями вроде войн и технологической гонки вооружений. Последнее — перспектива острой технологической конкуренции — может оказаться особенно опасным в случае перехода к промежуточной форме машинного интеллекта (имитационная модель мозга), поскольку это создаст ощущение гонки и снизит шансы решения проблемы контроля к моменту начала второго перехода к более развитой форме машинного интеллекта (искусственный интеллект).

Мы уже обсудили, каким образом в результате сотрудничества на этапе подготовки к взрывному развитию интеллекта может уменьшиться острота конфликтов, повыситься вероятность решения проблемы контроля и сложиться более оптимальное распределение ресурсов в постпереходную эпоху — как с этической, так и с практической точек зрения.

Совместная работа

Сотрудничество может принимать различные формы в зависимости от количества участников. В нижней части шкалы объединять свои усилия могут отдельные группы конкурирующих друг с другом разработчиков ИИ[578]. Корпорации могут сливаться или инвестировать друг в друга. На верхнем уровне возможно создание крупного международного проекта с участием нескольких стран. Уже известны прецеденты масштабного международного научно-технологического сотрудничества (Европейская организация по ядерным исследованиям; проект «Геном человека», Международная космическая станция), но с международным проектом создания безопасного сверхразума связаны трудности более высокого порядка из-за необходимости соблюдать строгие меры предосторожности. Он может быть организован не в форме открытого научного сотрудничества, а в форме чрезвычайно жестко контролируемого предприятия. Возможно даже, что участвующих в нем ученых придется физически изолировать в течение всего срока реализации проекта, лишив их всех возможностей связываться с внешним миром за исключением единственного тщательно цензурируемого канала. В настоящее время требуемый уровень безопасности вряд ли достижим, но позднее, в результате развития технологий детекции лжи и систем наблюдения, ситуация может измениться. Тесное сотрудничество не обязательно означает, что в проекте принимают участие множество известных ученых. Скорее, это примет другую форму — крупные ученые будут иметь право голоса при определении целей проекта. В принципе, проект мог бы обеспечить максимально широкое сотрудничество, если в качестве его организатора выступит все человечество (представленное, например, Генеральной Ассамблеей Объединенных Наций) и при этом в качестве исполнителя привлекут единственного ученого[579].

Существует причина, по которой начать сотрудничество нужно как можно раньше: это дает возможность воспользоваться преимуществом «вуали неведения», которая пока скрывает от нас то, какой из проектов первым выйдет на уровень разработки сверхразума. С одной стороны, чем ближе мы подойдем к финишной черте, тем меньше неопределенности останется относительно шансов конкурирующих проектов; соответственно, тем сложнее будет объединить усилия, преодолев эгоистический интерес разработчиков лидирующих проектов и обеспечив возможность распределения благ между всеми жителями планеты. С другой стороны, будет сложно формально договориться о сотрудничестве в масштабах всей планеты до тех пор, пока перспективы появления сверхразума не станут более очевидны всем и пока не проявятся контуры пути, по которому можно двигаться в сторону его создания. Более того, учитывая, что сотрудничество способно привести к более быстрому прогрессу на этом пути, сейчас стремиться к нему может быть даже неконструктивно с точки зрения безопасности.

Следовательно, в наши дни идеальной формой сотрудничества могла бы быть такая, которая не подразумевает конкретных формальных договоренностей и не ускоряет движение в сторону создания машинного интеллекта. Этим критериям удовлетворяет, в частности, предложение сформулировать некий этический принцип, выражающий нашу приверженность идее, что сверхразум должен служить на благо всем.

Принцип общего блага

Сверхразум должен быть создан исключительно на благо всего человечества и отвечать общепринятым этическим идеалам[580].

Чем раньше мы сформулируем принцип, что весь безмерный потенциал сверхразума принадлежит всему человечеству, тем больше у нас будет времени, чтобы эта норма прочно утвердилась в умах людей.

Принцип общего блага не исключает коммерческих интересов отдельного человека и компаний, действующих в соответствующих областях. Например, соответствовать этому принципу можно было бы, согласившись, что все «свалившиеся с неба» доходы от создания сверхразума — доходы немыслимо высокого уровня (скажем, триллион долларов в год) — распределяются между акционерами и прочими заинтересованными лицами так, как это принято сегодня, а те, что превышают этот порог, — равномерно между всеми жителями планеты (или как-то иначе, но в любом случае в соответствии с неким универсальным этическим критерием). Принять решение о доходах, «свалившихся с неба», не стоит компании практически ничего, поскольку превысить эту астрономическую сумму в наши дни практически невозможно (такие маловероятные сценарии не принимаются во внимание в процессе принятия решений современными управляющими и инвесторами). При этом широкое распространение такого рода обязательств (при условии, что им можно доверять) дало бы человечеству гарантию, что если какая-то частная компания получит джекпот в результате взрывного развития интеллекта, все смогут участвовать в распределении свалившихся благ. Ту же идею можно применить не только к фирмам. Например, государства могут договориться о том, что если ВВП какого-то из них превысит некоторую довольно большую долю мирового ВВП (например, 90 процентов), превышение будет распределено равномерно между всеми жителями планеты[581].

Поначалу принцип общего блага (и его практические следствия вроде обязательства распределять сверхдоходы) мог бы применяться избирательно, путем добровольного согласия поступать в соответствии с ним, данного ответственными специалистами и организациями, которые работают в области машинного интеллекта. Позднее к нему присоединились бы другие, и со временем он превратился бы в закон или международное соглашение. Приведенная выше не очень строгая формулировка вполне подойдет для начала, но в конечном счете должна быть заменена набором конкретных требований, поддающихся проверке.