Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта Тегмарк Макс

Если бы мне надо было одним словом выразить, в чем сложность AI-спора, я бы выбрал слово «цели». Должны ли мы определить цели для искусственного интеллекта? И если да, то какие именно цели? Кто сможет поставить эти цели? Сможем ли мы убедиться, что эти цели сохранятся даже при развитии искусственного интеллекта? Сможем ли мы изменить цели, если AI станет умнее нас? Какие наши основные цели?

Эти вопросы не только сложны — они основополагающи для будущего жизни: если мы не знаем, чего хотим, маловероятно, что мы сможем этого достичь, а если мы передадим контроль машинам, которые не разделяют наших целей, то, скорее всего, мы получим совсем не то, чего бы нам хотелось.

Физика: происхождение целей

Дабы пролить свет на эти вопросы, давайте сначала изучим основы происхождения целей. Когда мы оглядываемся вокруг, некоторые процессы кажутся нам нацеленными на определенный результат, а другие нет. Рассмотрим для примера такой процесс: ударили по футбольному мячу, чтобы забить решающий гол в игре. Само поведение мяча при этом не кажется целенаправленным и экономнее всего описывается ньютоновским законом движения как реакция мяча на удар. С другой стороны, поведение игрока экономнее всего объясняется не механистически (атомы толкают все вокруг себя), а тем, что у него была цель — добиться для своей команды улучшения счета. Каким образом такое целенаправленное поведение вырастает из физики нашей ранней Вселенной, которая состояла в основном из группы частиц, ударяющихся обо все вокруг себя, на первый взгляд, безо всякой цели?

Любопытно, что источник целенаправленного поведения может быть найден в самих законах физики и обнаруживает себя даже в простых процессах, которые не подразумевают наличия жизни. Если девушка-спасатель приходит на помощь купальщику, как показано на рис. 7.1, мы ожидаем от нее движения по прямой, но она пробегает дальше по берегу, где можно двигаться быстрее, чем в воде, а потом немного изменяет направление, когда входит в воду. Мы естественно объясняем ее выбор траектории наличием конкретной цели, так как из всех возможных она осознанно выбирает оптимальную, которая поможет ей добраться до утопающего быстрее всего. Но ведь и луч света преломляется, когда проходит через воду (см. рис. 7.1), так чтобы время пробега до конечной цели оказалось минимальным. Как такое возможно?

Это явление известно в физике и называется принципом Ферма — по имени ученого, описавшего его в 1662 году и предложившего свое объяснение поведения светового луча. Примечательно, что физики с тех пор открыли, что все законы классической физики могут быть математически переформулированы аналогичным способом: из всех путей, которыми располагает природа, чтобы что-то сделать, она всегда выбирает оптимальный, который обычно сводится к минимизации или максимизации количества. Существует два математически эквивалентных способа сформулировать закон физики: либо через связь прошлого с будущим, либо через природную оптимизацию чего-нибудь. И хотя второй способ обычно не упоминается в элементарных курсах физики, потому что он предполагает больше математических расчетов, мне он кажется более элегантным и обоснованным. Когда человек пытается что-то оптимизировать (счет, благосостояние или счастье), мы склонны описывать такое поведение как целенаправленное. Поэтому, если сама природа старается что-то оптимизировать, нет ничего удивительного в том, что проявляется целенаправленное поведение: оно было зашито у нее в «харде» самими законами физики.

Рис. 7.1

Чтобы скорее добраться до тонущего купальщика, спасательнице надо двигаться не по прямой (изображенной пунктиром), а по ломаной линии, выигрывая время за счет того, что по берегу она может двигаться быстрее, чем плыть в воде. Луч света в воде подчиняется тому же правилу: преломившись, он достигает дна или стенки сосуда за кратчайшее время.

Известна физическая величина, которую природа старается максимизировать, — это энтропия, или, грубо говоря, мера беспорядка в описываемых предметах. Второй закон термодинамики утверждает, что энтропии свойственно увеличиваться до тех пор, пока она не достигнет максимально возможного значения. Если забыть на время о наличии сил тяжести, то конечная стадия, когда максимальный беспорядок повсеместно достигнут, называется тепловой смертью — это означает, что все обретает скучное безупречное однообразие, без сложности, без жизни и без изменений. Когда вы, например, наливаете холодное молоко в горячий кофе, ваш напиток начинает безудержно стремиться к своей собственной тепловой смерти и вскоре превращается в однородную тепловатую жидкость. При смерти живого организма энтропия в нем также возрастает, и вскоре организованность его частиц существенно снижается.

Стремление природы увеличить энтропию объясняет, почему время имеет определенное направление, заставляя фильмы выглядеть нереалистично, если просматривать их задом наперед: если вы уроните бокал вина, вы ожидаете, что он разлетится вдребезги, ударившись об пол, и тем самым увеличит глобальный хаос (энтропию). Если же вы увидите, как он собирается и летит назад в руку (энтропия при этом явно уменьшается), то, скорее всего, вы решите больше из него не пить, посчитав, что вам на сегодня хватит.

Когда я впервые узнал о нашем неумолимом движении по направлению к тепловой смерти, я очень расстроился — и был в этом не одинок: один из основателей термодинамики, лорд Кельвин, писал в 1841 году, что «в результате [все] неизбежно придет в состояние всеобъемлющего покоя и смерти», и сложно утешать себя тем, что такова, видно, долгосрочная цель природы — торжество смерти и разрушения. Однако последующие исследования показали, что все не так плохо. Во-первых, гравитация ведет себя не так, как все другие силы, и старается сделать нашу Вселенную не однообразной и скучной, а все более разнообразной и интересной. Благодаря этому гравитация превратила нашу скучную раннюю Вселенную, которая была абсолютно однообразна, в сегодняшний прекрасный и сложный космос, наполненный галактиками, звездами и планетами. Благодаря гравитации во Вселенной сегодня колоссальный разброс температур, который позволяет жизни процветать, лавируя между горячим и холодным: мы живем на теплой комфортной планете, которая сначала поглощает солнечную энергию, пришедшую с поверхности нагретого до 6 000 °C светила, а потом излучает ее, отдавая холодному космическому пространству, температура которого всего на три градуса отличается от абсолютного нуля.

Во-вторых, недавняя работа моего коллеги по MIT Джереми Ингланда с соавторами принесла нам хорошие новости: термодинамика находит в природе и более вдохновляющую цель, чем тепловая смерть^{89}. Эта цель называется диковатым словосочетанием диссипативно-направленная адаптация, подразумевающим, что случайно сформировавшиеся группы частиц стремятся самоорганизоваться таким образом, чтобы получать энергию из окружающей среды наиболее эффективным способом (слово «диссипация» здесь означает, что энергия распределяется между степенями свободы с увеличением энтропии, то есть превращается в тепло, зачастую производя попутно какую-то полезную работу). Например, в группе молекул, выставленных на солнце, со временем проявится тенденция так расположиться по отношению друг к другу, чтобы лучше поглощать солнечный свет. Другими словами, природа, похоже, сама собой нацелена на производство самоорганизующихся систем, которые, все усложняясь и усложняясь, все больше походят на жизнь, и эта цель зашита в «хард» самих физических законов.

Как мы можем увязать это космическое стремление к жизни с космическим стремлением к тепловой смерти? Ответ можно найти в известной книге 1944 года What’s Life? Эрвина Шрёдингера[51], одного из основателей квантовой механики. Шрёдингер указал на то, что живая система поддерживает свою энтропию на постоянном уровне или даже сокращает ее за счет увеличения энтропии вокруг себя, — и в этом отличительная черта живых систем. Другими словами, второй закон термодинамики имеет лазейку: хотя всеобщая энтропия должна увеличиваться, в некоторых местах разрешается сокращать энтропию, — при условии, что она еще больше увеличивается где-то еще. Так жизнь поддерживает или увеличивает свою сложность за счет создания хаоса вокруг себя.

Биология: эволюция целей

Мы только что увидели, как происхождение целенаправленного поведения можно отследить в законах физики, из-за которых, кажется, даже у элементарных частиц есть цель вести себя таким образом, чтобы выжимать энергию из окружающей среды наиболее эффективно. Отличный способ для этого — делать копии самих себя, производя побольше поглотителей энергии. Существует много известных примеров такой эмергентной саморепликации: например, вихри в турбулентном потоке порождают копии самих себя, и кластер микросфер может спровоцировать формирование таких же кластеров в соседних сферах. В какой-то момент частицы приноравливаются настолько хорошо копировать себя, что процесс может продолжаться практически бесконечно, добывая энергию и вещество из окружающей среды. Такой способ упорядочения частиц мы называем жизнью. Мы все еще очень мало знаем о происхождении жизни на Земле, но мы знаем, что примитивные формы жизни существовали уже 4 миллиарда лет назад.

Если жизнь создает копии самой себя и эти копии снова поступают так же, тогда общее количество их будет продолжать удваиваться с равными временными интервалами, пока популяция не разрастется до такой степени, что столкнется с нехваткой ресурсов или какой-то другой проблемой. Повторяющееся удвоение быстро доходит до больших чисел: если начать с одного и удваивать его всего лишь триста раз, вы получите число, превосходящее количество частиц в нашей Вселенной. Это означает, что вскоре после появления первой примитивной формы жизни колоссальное количество вещества стало живым. Не всегда копирование происходило успешно, так что вскоре появилось много разных видов жизни, старающихся скопировать себя, борющихся за один и тот же ограниченный ресурс. Началась дарвиновская эволюция.

Если бы вы наблюдали за Землей в период появления на ней жизни, вы бы заметили существенные изменения в целенаправленном поведении частиц. Так, например, раньше частицы как будто старались увеличить хаос всеми возможными средствами, теперь же эти вездесущие, копирующие себя частицы преследовали иную цель: не диссипация, а репликация. Чарльз Дарвин элегантно объяснил причину: раз именно то, что удачнее всего другого скопировалось, обгоняет всех прочих и доминирует над ними, пройдет немного времени, и любая случайно возникшая форма жизни будет выглядеть так, словно ее оптимизация и была целью всех предшествующих репликаций.

Как же могла цель поменяться с диссипации на репликацию, если законы физики остались неизменными? Ответ в том, что цель, лежащая в основе (диссипация), не изменилась, но привела к другой цели, служащей инструментом на пути к достижению основной цели. Возьмем, к примеру, утоление голода. Кажется, что у каждого из нас есть цель — утолить свой аппетит, хотя мы и знаем, что основной задачей эволюции является репликация, а не пережевывание пищи. Это потому, что еда помогает репликации: если морить себя голодом, останешься без детей. Таким же образом репликация ведет к диссипации, так как планета, на которой жизнь кишмя кишит, поглощает больше энергии. Так что, в некотором роде, космос создал жизнь, чтобы помочь себе быстрее достичь тепловой смерти. Если вы рассыпали сахар на кухне, он может годами там оставаться, сохраняя свою полезную химическую энергию, но если появятся муравьи, они уничтожат эту энергию за считанные минуты. Точно так же запасы нефти в недрах Земли сохраняли бы свою полезную химическую энергию намного дольше, если бы двуногая форма жизни не выкачивала их и не сжигала.

Среди современных высокоразвитых обитателей Земли эти вспомогательные цели, кажется, зажили собственной жизнью: хотя эволюция оптимизировала их до такой степени, что оставила им единственную цель — саморепликацию, многие тратят большую часть своего времени не на производство потомства, а на сон, потребление пищи, строительство домов, защиту своих прав, войны или помощь другим — зачастую в ущерб размножению. Исследования по эволюционной психологии, экономике и искусственному интеллекту прекрасно объяснили, почему так происходит. Некоторые экономисты строили модели, в которых люди выступали в роли рациональных агентов, этаких идеализированных мастеров принимать правильные решения и всегда выбирать оптимальный путь к цели. Очевидно, что такие модели не реалистичны. На практике этим агентам свойственно то, что нобелевский лауреат и автор важных ранних работ по искусственному интеллекту Герберт Саймон назвал «рациональностью, ограниченной недостаточностью ресурсов»: рациональность их решений ограничена неполной информацией, недостатком времени для принятия правильного решения и несовершенством «харда», помогающего им думать. Это означает, что в то время как дарвиновская эволюция оптимизирует организм для достижения цели, самое лучшее, что она может сделать, — это применить примерный алгоритм, который работает достаточно хорошо, в ограниченном контексте, в котором агент вероятнее всего окажется. Эволюция оптимизировала размножение именно таким способом: вместо того, чтобы спрашивать в каждой ситуации, какое действие даст наибольшее количество успешных отпрысков, она применяет солянку из эвристических ударов: проверенные правила, которые обычно хорошо работают. Для большинства животных это включает сексуальную потребность, утоление жажды по необходимости, утоление голода и стремление избегать всего того, что плохо на вкус или причиняет боль.

Эти проверенные правила с треском проваливаются в ситуациях, на которые они не были рассчитаны: например, когда крысы едят вкусный крысиный яд, когда мухи влипают в липкие ловушки, источающие прекрасный аромат, и когда жуки летят на свет свечи[52]. Так как сегодняшнее человеческое общество очень отличается от того, под которое подгонялись эволюцией проверенные правила для окружающей среды, мы не должны удивляться, что наше поведение сплошь и рядом не приводит к появлению максимального количества младенцев. Например, вспомогательная цель — удовлетворение голода — зачастую провоцирует людей на потребление избытка калорий, из-за чего у них развивается ожирение с последующими сложностями в личной жизни. Вспомогательная цель — размножаться — выродилась в желание просто заниматься сексом, а не раздавать сперму / яйцеклетки, несмотря на то, что последнее произвело бы большее количество детей с наименьшими усилиями.

Психология: Преследование и восстание против целей

В общих чертах живой организм является агентом ограниченной рациональности: он не преследует единственную цель, а вместо этого следует нескольким основным правилам, которые подсказывают, к чему стремиться и чего избегать. Наш человеческий разум воспринимает эти внутренние основные правила как чувства, которые зачастую (и во многом без нашего осознания) приводят наши решения к основной цели — репликации. Чувство голода и жажды предохраняет нас от голодной смерти и обезвоживания, чувство боли предохраняет нас от повреждения наших тел, вожделение заставляет нас размножаться, чувство любви и сострадания заставляют нас помогать другим и так далее. Ведомый этими чувствами, наш мозг быстро и эффективно решает, что делать, не анализируя подробно, какое именно воздействие это решение будет иметь на количество потомства. Для более подробного разбора чувств и их психологических причин я очень рекомендую работы Уильяма Джеймса и Антонио Дамасио^{90}.

Важно отметить, что если наши чувства периодически срабатывают против деторождения, это не обязательно происходит случайно или потому, что нас можно обмануть: наш мозг может протестовать против наших генов и их нацеленности на репликацию вполне осознанно — например, принимая решение использовать контрацептивы. Более экстремальным примером, когда наш мозг восстает против своей природы, может быть решение покончить с собой или провести жизнь, соблюдая целибат, став священником, монахом или монахиней.

Почему мы иногда принимаем решение противиться своей природе и ее целям по репликации? Потому что изначально, как агенты ограниченной рациональности, мы лояльны только по отношению к своим чувствам. И хотя наш мозг развился исключительно для того, чтобы помочь нашим генам копировать себя, ему абсолютно не интересна эта цель, раз у нас нет никаких чувств по отношению к нашим генам: в самом деле, на протяжении почти всей истории человечества наши предки даже и не знали о существовании этих самых генов. Более того, наш мозг намного умнее наших генов, и теперь, когда мы понимаем их цель (копирование себя), мы считаем это довольно банальным и легко игнорируем. Люди могут понимать, почему их гены заставляют их чувствовать вожделение, и все равно имеют мало желания воспитывать пятнадцать детей, а потому предпочитают «хакнуть» свою генетическую программу, совмещая эмоциональное удовольствие от интима с контролем за рождаемостью. Они могут понимать, почему их гены заставляют их желать сладкого, но не хотят поправляться, и поэтому нарушают генетическую программу, получая эмоциональное удовольствие от сладкого напитка с нулевым содержанием калорий благодаря искусственным подсластителям.

Хотя иногда такие методы взлома системы получения удовольствия работают криво — например, когда люди подсаживаются на героин, — наш человеческий набор генов до сих пор прекрасно выживает, несмотря на наш хитрый и протестующий мозг. Важно, однако, помнить, что внутренним авторитетом являются наши чувства, а не наши гены. Это означает, что человеческое поведение не в полной мере подстроено под выживание вида. На самом деле, раз наши чувства применяют исключительно основные правила, которые подходят не для всех ситуаций, человеческое поведение, строго говоря, совсем не имеет единой, четко определенной цели.

Инженерия: привлечение сторонних целей

Могут ли быть цели у машин? Этот простой вопрос вызвал горячие споры, потому что люди вкладывают в него слишком разные смыслы, касающиеся весьма колючих тем — например, таких: могут ли машины думать? могут ли у них быть чувства? А если сформулировать вопрос проще: «Могут ли машины демонстрировать целенаправленное поведение?», — тогда ответ становится очевидным: «Конечно могут, так как мы можем их такими разработать!». Мы можем разработать мышеловку, которая будет иметь цель ловить мышей, посудомоечную машину, у которой будет цель мыть посуду, или часы, целью которых будет показывать время. Когда сталкиваешься с машиной, фактически все, что вас волнует, — это ее очевидная цель: если за вами будет гнаться самонаводящийся по тепловому излучению снаряд, вам в принципе будет все равно, есть ли у него сознание и чувства! Если вам все еще неловко говорить, что у снаряда есть цель, даже если она не осознанная, на данный момент можно просто вместо написанного мною слова «цель» читать «предназначение» — мы вернемся к вопросу об осознании в следующей главе.

Все нами до сих пор построенное демонстрирует только целенаправленный проект, но не целенаправленное поведение: скоростное шоссе никак себя не ведет, оно просто есть. Однако наиболее экономичным объяснением его существования будет такое: оно спроектировано, чтобы достичь некой цели, так что даже такая пассивная технология делает нашу Вселенную более целенаправленной. Телеология предлагает для всякой вещи объяснение с точки зрения ее предназначения, а не ее причин, так что мы можем подытожить первую половину этой главы, сказав, что наша Вселенная становится более телеологической.

У неживой материи не только могут быть цели, по крайней мере в этом слабом смысле, но они определенно у нее есть. Если наблюдать за атомами Земли с момента образования нашей планеты, можно было бы увидеть три стадии целенаправленного поведения.

1. Все вещество занято исключительно диссипацией (энтропия растет).

2. Часть вещества стала живой, ее фокус сместился на репликацию и вспомогательные цели.

3. Живые организмы подвергли быстрорастущую часть вещества переупорядочению, чтобы это помогало им в достижении их целей.

Табл. 7.1 показывает доминирование человечества в физическом отношении: на нас теперь не только приходится больше вещества, чем на всех остальные млекопитающих, за исключением коров (которые столь многочисленны потому, что используются для достижения наших целей — потребления говядины и молочных продуктов), но и количество вещества, использованного для наших машин, дорог, зданий и других разработанных проектов, скоро, вероятно, превысит массу всех живых существ на Земле. Другими словами, даже без интеллектуального взрыва наибольшее количество вещества на Земле, демонстрирующего целенаправленные свойства, может в скором времени оказаться созданным искусственно, а не быть результатом эволюционного развития.

Этот новый, третий вид целенаправленного поведения может стать намного более разнообразным, чем все предшествующие: в то время как у всякой сущности, возникшей в результате эволюции, есть только одна основная цель (репликация), у искусственно созданных сущностей могут быть любые основные цели, даже противоположные друг другу. Печь нужна, чтобы нагреть пищу, а холодильник — чтобы охладить. Электрогенератор превращает механическое движение в электричество, а электромотор превращает электричество в механическое движение. Стандартная программа по игре в шахматы старается выиграть, но есть и такие, которые участвуют в соревнованиях по поддавкам.

Таблица 7.1.

Примерное количество вещества на Земле в сущностях, которые возникли эволюционно или созданы искусственно для определенных целей. Искусственно созданные сущности, такие как здания, дороги и машины, похоже, скоро перегонят по массе сущности, возникшие в результате эволюции, такие как растения и животные.

Общий исторический тренд таков, что цели искусственно созданных сущностей не только более разнообразны, но и более сложны: наши устройства становятся умнее. У первых искусственно создаваемых нами объектов были простые цели — например, дома строились для того, чтобы нам было тепло, сухо и безопасно. Мы постепенно научились строить объекты с целями посложнее — такие, как роботизированные пылесосы, самонаводящиеся ракеты или беспилотные автомобили. Недавний прогресс в разработке искусственного интеллекта дал нам такие системы, как Deep Blue, Watson и AlphaGo, цели которых — выигрывать в шахматы, в викторинах или в го — настолько изощренны, что надо быть весьма просвещенным человеком, чтобы по достоинству оценить, насколько успешны эти системы в их достижении.

Когда мы строим машину, которая должна помогать нам, бывает сложно в полной мере привести ее цели в соответствие с нашими. Например, мышеловка может перепутать палец на нашей ноге с голодным грызуном, и это приведет к довольно болезненным последствиям. Любая машина — агент ограниченной рациональности, и даже самые сложные современные машины не так хорошо понимают мир, как мы, поэтому правила, которые они используют для того, чтобы разобраться, что к чему, зачастую довольно просты. Мышеловка срабатывает с такой неуместной поспешностью, потому что совсем не представляет себе, что такое мышь, много смертей на производствах происходит из-за того, что машины совсем не представляют себе, что такое человек, и компьютеры, которые привели к мгновенному обвалу акций на Уолл-стрит в 2010 году, ни малейшего представления не имели о смысле совершаемых ими действий. Многие из таких проблем с приведением целей в соответствие могут быть решены, если машины станут умнее, но, как мы знаем по опыту Прометея из четвертой главы, даже очень умные машины могут задать непростую задачу, которую необходимо решить, чтобы привести цели машины в соответствие с нашими.

Дружественный искусственный интеллект: приведение целей в соответствие

Чем умнее и мощнее становится машина, тем важнее, чтобы ее цели не вступали в противоречие с нашими. Пока машины, которые мы строим, немного туповаты, вопрос не в том, окажутся ли человеческие цели превалирующими в итоге, а только в том, много ли хлопот эти машины доставят человечеству, прежде чем мы приведем в соответствие их цели и наши. Но если сверхразум когда-нибудь появится, роли поменяются: так как разум — это способность достигать поставленных целей, то искусственный сверхинтеллект по определению намного лучше добивается своих, чем люди своих, а значит — в итоге превалирующими будут его цели, а не наши. Образ Прометея дал нам возможность исследовать много примеров тому в главе 4. Если вы хотите прямо сейчас почувствовать, каково это, когда машина встает у вас на пути, просто скачайте ультрасовременный симулятор шахмат и попробуйте с ним сразиться. У вас никогда не получится победить, а ему на смену быстро приходят другие…

Другими словами, подлинная опасность искусственного интеллекта не в его злонамеренности, а в его изощренности. Сверхразумный искусственный интеллект будет прекрасно добиваться своих целей, и, если его цели будут противоречить нашим, мы окажемся в затруднительном положении. Как я говорил в главе 1, людей мало заботят муравейники, которые могут оказаться в зоне затопления при строительстве плотины для гидроэлектростанции, так давайте не допустим, чтобы на месте муравьев оказалось человечество. Большинство исследователей считают, что, если мы когда-нибудь создадим сверхразум, мы должны будем позаботиться о том, чтобы он оказался «дружественным», по выражению одного из создателей теоретического подхода к вопросам безопасности искусственного интеллекта Элиезера Юдковски, то есть чтобы его цели не противоречили нашим^{91}.

Понять, как привести цели сверхразумного искусственного интеллекта в соответствие с нашими, не только важно, но и сложно. На самом деле, в настоящий момент это нерешенная проблема. Она разделяется на три тяжелые подпроблемы, каждая из которых — предмет активного изучения как специалистов по информатике, так и ученых других специальностей. Эти подпроблемы состоят в том, чтобы:

1) искусственный интеллект понял наши цели;

2) искусственный интеллект принял наши цели;

3) искусственный интеллект придерживался наших целей.

Давайте разберем каждую из подпроблем, отложив вопрос о том, что имеется в виду под «нашими целями» до следующего раздела.

Чтобы понять наши цели, искусственный интеллект должен разобраться не в том, что мы делаем, а в том, почему мы это делаем. Для нас, людей, это так просто, что мы часто забываем, как трудно это объяснить компьютеру и как просто истолковать наши намерения превратно. Если вы попросите беспилотный автомобиль будущего довезти вас до аэропорта «как можно быстрее» и будете поняты буквально, то в аэропорт вы попадете покрытым рвотой и преследуемым вертолетами. Если вы воскликнете: «Это совсем не то, что я хотел!», в ответ можете вполне обоснованно услышать: «Это то, о чем вы просили». Эта тема не новая, и не раз она уже возникала в истории. В древнегреческой легенде царь Мидас захотел, чтобы все, к чему он прикасается, превращалось в золото, и был расстроен, когда это привело к тому, что он не смог есть и, что еще страшнее, превратил свою дочь в золотую статую. В историях, в которых джин исполняет три желания, есть много вариаций первых двух, но третье желание почти всегда одно и то же: «Пожалуйста, отмени два предыдущих, потому что это совсем не то, чего я на самом деле хотел».

Все эти примеры показывают: чтобы понять, чего люди на самом деле хотят, нельзя просто следовать тому, что они говорят. Надо также иметь довольно подробную модель мира, которая включала бы в себя некоторые общие установки, о которых мы обычно не говорим, так как считаем их очевидными — например, о том, что нам не нравится, когда тошнит в машине или приходится есть золото. Когда такая модель мира есть, мы в большинстве случаев можем понять, чего люди хотят, даже если они об этом не сообщают, — достаточно просто наблюдать за их целенаправленным поведением. На самом деле, дети научатся большему, наблюдая за поведением своих родителей, чем слушая, что родители им говорят.

Исследователи в области искусственного интеллекта в настоящее время стараются научить машины отличать цели от поведения, и это будет полезным навыком задолго до того, как появится сверхразум. Например, пожилому человеку будет полезно, если ухаживающий за ним робот поймет, что этот человек ценит, просто наблюдая за ним, чтобы ему не пришлось объяснять все словами или программировать его компьютер. Одна сложность состоит в том, чтобы найти хороший способ шифрования произвольной системы целей и этических принципов в компьютере, а другая сложность состоит в том, чтобы сделать такую машину, которая сможет определять, какие именно системы лучше всего соответствуют тому поведению, которое они видят.

Получивший большое распространение в последнее время подход ко второй сложности известен на гиковском сленге как обучение с обратным подкреплением, и он находится под пристальным вниманием нового Берклеевского исследовательского центра, созданного Стюартом Расселом. Предположим, например, что искусственный интеллект наблюдает за женщиной — членом пожарной команды, которая вбегает в горящее здание и спасает младенца. Машина может предположить, что ее целью было спасение ребенка и что ее этические принципы заставляют ценить жизнь ребенка значительно выше комфортного досуга в пожарной машине — она и в самом деле достаточно высоко оценивает чужую жизнь, чтобы рисковать ради ее спасения собственной безопасностью. Но искусственный интеллект может заключить также, что пожарница замерзла и захотела согреться или что она занимается спортом. Если бы искусственный интеллект впервые сталкивался с пожарами и раньше ничего о пожарниках, пожарах и младенцах не знал, ему было бы трудно понять, какое из двух объяснений правильно. Однако основная идея обучения с обратным подкреплением состоит в том, что мы принимаем решения непрерывно и что каждое решение, которое мы принимаем, что-то говорит о наших целях. Таким образом, есть надежда, что, наблюдая за большим количеством людей в разных ситуациях (настоящих или в кино и литературе), искусственный интеллект сможет со временем построить верную модель наших общих установок.

Даже если создать искусственный интеллект, который сможет понять цели своего владельца, это не означает, что он будет непременно под них подстраиваться. Представьте себе ваших самых нелюбимых политиков: вы знаете, чего они хотят, но это не то, чего хотите вы, и даже несмотря на то, что они очень стараются, им не удается убедить вас принять их цели.

У нас есть много способов воспитать в наших детях приятие наших целей — одни из них более успешны, другие менее, как я узнал в процессе воспитания двух сыновей-подростков. Когда же надо убеждать компьютер, а не человека, задача, с которой мы сталкиваемся, называется задачей загрузки целей, и она существенно сложнее, чем воспитание морали в детях. Представьте себе постоянно улучшающийся искусственный интеллект, проделавший путь от «ниже человеческого» до «выше человеческого», сначала при нашем содействии, а потом благодаря рекурсивному самосовершенствованию, как это делал Прометей. Вначале он намного слабее вас и не может помешать вам выключить его и заменить части его программного обеспечения и данные, в которых закодированы ваши цели, но это и не поможет, потому что он все равно еще слишком глуп для того, чтобы в полной мере понять ваши цели: нужен уровень человека для их понимания. И вот, наконец, он становится намного умнее вас и, вероятно, сможет легко понять ваши цели, но и это может уже не помочь, потому что теперь он гораздо сильнее вас и может не позволить себя выключить и изменить его цели, — так же, как вы не позволяете нелюбимым политикам заменить ваши цели их собственными.

Другими словами, временной промежуток, в течение которого вы можете загрузить цели в искусственный интеллект, может оказаться чересчур коротким — между моментом, когда он слишком глуп, чтобы понять вас, и моментом, когда он уже стал слишком умен, чтобы позволить вам это сделать. Причина, по которой загрузка целей может оказаться сложнее для машин, чем для людей, состоит в том, что их разум может развиваться намного быстрее: если ребенок много лет пребывает в том прекрасном возрасте, когда его разум сопоставим с разумом родителя, то для искусственного интеллекта этот возраст может закончиться через несколько дней, а то и часов, как это было с Прометеем.

Для загрузки целей в машину некоторые ученые предлагают другой подход, который обозначают модным словечком коррегируемость (corrigibility). В его основе лежит надежда на то, что примитивному искусственному интеллекту можно задать любую систему целей, потому что вы все равно его время от времени выключаете, а выключив, можете скорректировать и систему целей. Если это окажется возможным, тогда можно спокойно позволить своему искусственному интеллекту становиться сверхразумным, периодически выключая его и меняя ему систему целей, потом проверяя ее и, если результат окажется неудачным, выключая снова, чтобы проделывать новые манипуляции с целями^{92}.

Но даже если вы сможете создать такой искусственный интеллект, который поймет и примет ваши цели, проблема соответствия его целей и ваших все еще останется нерешенной: что, если цели вашего искусственного интеллекта будут изменяться с его развитием? Чем вы сможете гарантировать, что он будет сохранять приоритет ваших целей в ходе рекурсивного самосовершенствования? Давайте исследуем один любопытной аргумент, показывающий, что автоматическое сохранение целей гарантировано, и затем посмотрим, найдем ли мы в нем слабые места.

Хотя мы не можем в точности предсказать, что произойдет после интеллектуального взрыва, — именно поэтому Вернор Виндж назвал это сингулярностью, — физик и исследователь искусственного интеллекта Стив Омохундро в бурно обсуждавшемся эссе 2008 года утверждал, что мы, тем не менее, можем предсказать некоторые аспекты поведения сверхразума, которые практически не зависят от его окончательных целей^{93}. Это утверждение было подхвачено и дальше развито в книге Ника Бострёма Superintelligence. Основная идея состоит в том, что, каковы бы ни были конечные цели, сопутствующие им вспомогательные цели будут предсказуемыми. Ранее в этой главе мы видели, как цель воспроизведения привела к появлению вспомогательной цели утоления голода. Это означает, что если бы пришелец наблюдал за развитием бактерии на Земле миллиард лет назад, он не смог бы предвидеть, какие цели будут у людей, но мог бы с точностью предсказать, что одной из наших целей будет потребление питательных веществ. Заглядывая вперед, каких вспомогательных целей нам стоит ожидать от сверхразумного искусственного интеллекта?

Я смотрю на это так: для увеличения шансов достичь своих конечных целей, какими бы они ни были, искусственный интеллект должен преследовать вспомогательные цели, представленные на рис. 7.2. Для достижения своих конечных целей он должен стараться не только улучшить свои возможности, но и убедиться, что он сохранит эти цели даже после того, как достигнет более высокой степени развития. Это звучит довольно правдоподобно: в конце концов, согласились бы вы имплантировать себе в мозг бустер, увеличивающий IQ, если бы знали, что он заставит вас желать смерти любимых? Аргумент, что любой быстро развивающийся искусственный интеллект сохранит свои конечные цели, лег краеугольным камнем в представление о дружелюбии, пропагандируемое Элиезером Юдковски с коллегами: оно говорит нам, что если мы сумеем добиться от самосовершенствующегося искусственного интеллекта дружелюбия через понимание и принятие наших целей, тогда мы в порядке — тем самым будет гарантировано, что он навсегда останется дружелюбным.

Но так ли это на самом деле? Чтобы ответить на этот вопрос, нам необходимо изучить другие вспомогательные цели на рис. 7.2. Очевидно, что искусственный интеллект сможет добиться максимальных шансов на достижение своих конечных целей, какими бы они ни были, если он сможет расширить свои способности, улучшая свой «хард», свой «софт»[53] и модель мира. То же самое можно сказать и о людях: девочка, чья цель состоит в том, чтобы стать лучшей теннисисткой в мире, должна тренироваться, тем самым улучшая свой теннисно-мускулатурный «хард», свой нейронный «софт» и ментальную модель мира, которая поможет предсказать, что будет делать ее противник. Для искусственного интеллекта вспомогательная цель оптимизации «харда» подразумевает и как более качественное использование имеющихся ресурсов (сенсоров, преобразователей, вычислителей и т. д.), так и потребление бльшего количества ресурсов. Это также относится и к потребности самозащиты, так как разрушение / отключение будет пагубно отражаться на «харде».

Рис. 7.2

Любая конечная цель сверхразумного искусственного интеллекта естественно приводит к возникновению вспомогательных целей, показанных на рисунке. Но между совершенствованием своих способностей и сохранением изначальных целей есть внутреннее противоречие, которое заставляет нас сомневаться, что искусственный интеллект будет сохранять исходную цель, становясь все более разумным.

Но секундочку! Не попали ли мы в ловушку и не стали ли наделять наш искусственный интеллект человеческими качествами, рассуждая о том, как он будет стараться приумножать ресурсы и защищать себя? Не должны ли мы ожидать такого стереотипного поведения альфа-самца только от разума, взросшего в жестокой конкуренции дарвиновской эволюции? Раз системы с искусственным интеллектом — продукт искусственного конструирования, а не естественной эволюции, не будут ли они менее амбициозными и более склонными к самопожертвованию?

В качестве простого примера давайте рассмотрим рис. 7.3, изображающий робота с искусственным интеллектом, чья единственная цель — спасение наибольшего количества овец от большого злого волка. Это звучит очень благородно и альтруистично и никак не связано с самосохранением и потреблением. Но какой же будет оптимальная стратегия для нашего друга робота? Робот больше не сможет спасать овец, если он подорвется на мине, поэтому у него есть стимул оставаться целым. Другими словами, у него появляется вспомогательная цель — самосохранение! Ему также важно быть любопытным, улучшая свою модель мира, исследуя окружающее, потому что, хотя путь, по которому он сейчас идет, в конце концов приведет к пастбищу, есть и более короткий маршрут, который оставит волкам меньше времени на съедание овец. В конце концов, если робот тщательно все изучит, он поймет и важность потребления ресурсов: энергетический напиток даст ему возможность бежать быстрее, а пистолет позволит стрелять в волка. В итоге мы не можем сказать, что развитие вспомогательных целей «альфа-самца», таких как самосохранение и захват ресурсов, свойственн только эволюционировавшим организмам, потому что наш интеллектуальный робот развил их, имея одну-единственную цель — овечье счастье.

Рис. 7.3

Даже если основной целью робота является получение наивысшего балла за доставку овец от пастбища до загона до того, как волки их съедят, то уже и в этом случае у него возникнут некоторые вспомогательные цели, включающие в себя самосохранение (не подорваться на бомбе), исследования (находить более короткие пути) и потребление ресурсов (энергетический напиток позволит ему бежать быстрее, а пистолет — стрелять в волков).

Если вы дадите сверхразуму одну-единственную цель — самоуничтожение, он, конечно, с радостью это выполнит. Однако фокус весь в том, что он воспротивится отключению, если вы дадите ему любую другую цель, которая подразумевает, что он должен быть включенным для ее выполнения, — а это относится практически ко всем целям! Если вы дадите сверхразуму единственную цель — например, минимизировать вред, наносимый человечеству, он будет защищать себя от выключения, так как знает, что мы навредим друг другу намного сильнее в его отсутствие во время будущих войн и других безобразий.

Аналогично практически любой цели легче достичь, располагая бльшим количеством ресурсов, поэтому логично ожидать от сверхразума, что он будет стремиться завладеть ресурсами практически вне зависимости от того, какова его конечная цель. Таким образом, если перед сверхразумом поставить единственную цель, не ограничивая его во времени, то это может оказаться опасным: сверхразум, созданный с единственной целью — совершенствоваться в игре в го, со временем придет к рациональному решению реорганизовать Солнечную систему в гигантский компьютер, без учета интересов ее обитателей, а потом начать организовывать наш космос для достижения еще большей компьютерной мощи. Теперь мы совершили полный круг: так же как цель захвата ресурсов приводила людей к вспомогательной цели совершенствоваться в го, так и цель совершенствоваться в го может привести к вспомогательной цели захвата ресурсов. Можно заключить, что из-за возникновения вспомогательных целей для нас принципиально важно не делать шага к появлению сверхразума прежде, чем будет решена проблема приведения его целей в соответствие с нашими: пока мы не обеспечим дружественности его целей, дело, вероятно, повернется для нас скверно.

Теперь мы готовы к тому, чтобы рассмотреть третью, и самую сложную, часть проблемы по приведению целей в соответствие: если мы преуспеем в том, чтобы самообучающийся сверхразум и узнал о наших целях, и принял их, будет ли он и дальше придерживаться их, как утверждает Омохундро? Каковы доказательства?

Человеческий интеллект особенно быстро развивается во время взросления, но это не означает, что он непременно сохраняет свои детские цели. Напротив, люди часто кардинально меняют свои цели по мере того, как они познают мир и становятся мудрее. Сколько взрослых людей вы знаете, которых мотивирует просмотр Телепузиков? Нет доказательств того, что такая эволюция целей останавливается после преодоления какого-то интеллектуального порога, — на самом деле, могут быть даже признаки того, что склонность к изменению целей в результате получения нового опыта и знаний с развитием интеллекта растет, а не сокращается.

Почему так происходит? Подумайте еще раз об упомянутой выше вспомогательной цели построения лучшей модели мира — там-то и лежит камень преткновения! Моделирование мира и сохранение целей нелегко уживаются друг с другом (см. рис. 7.2). С развитием интеллекта может прийти не просто количественное нарастание возможностей добиваться имеющихся целей, но и качественно новое понимание природы реальности, при этом может выясниться, что старые цели никчемны, бессмысленны или даже не определены. Например, представим, что мы запрограммировали дружественный искусственный интеллект увеличивать количество людей, чьи души попадут в рай после смерти. Для начала он постарается привить людям сострадание к ближнему и желание почаще посещать церковь. Но представим, что потом у него появится вполне научно обоснованное понимание людей и человеческого сознания, и он, к своему большому удивлению, узнает, что души нет. Что теперь? Существует не меньшая вероятность, что любая другая цель, которую мы зададим искусственному интеллекту, основываясь на нашем текущем понимании мира (хотя бы такая, как «увеличивать значимость человеческой жизни»), может со временем оказаться не определенной, как установит искусственный интеллект.

Более того, в своем стремлении создать лучшую модель мира искусственный интеллект может — естественно, как это делали мы, люди, — попытаться смоделировать себя и понять, как функционирует он сам, — иными словами, погрузиться в рефлексию. Как только он построит хорошую модель самого себя и поймет, что он такое, он поймет и то, что его цели были даны нами на мета-уровне, и, возможно, предпочтет избегать их или отказываться от них, точно так же, как люди понимают и осознанно отказываются от целей, заложенных на генетическом уровне, как в примере с использованием контрацепции. Мы уже рассмотрели в блоке про психологию, почему мы предпочитаем обманывать наши гены и подрывать их цели: потому что мы по-настоящему верны только той ерунде, которая вызывает у нас эмоциональный отклик, а не генетическим целям, которые этот отклик провоцируют, — что мы теперь понимаем и считаем достаточно банальным. Поэтому мы предпочитаем взламывать наш механизм поощрения, обнаруживая в нем слабые места. Аналогично цель по защите интересов человека, которую мы запрограммируем в нашем дружественном искусственном интеллекте, станет геном машины. Как только этот дружественный искусственный интеллект осознает себя достаточно хорошо, он может посчитать эту цель банальной или нецелесообразной, подобно тому как мы относимся к неконтролируемому размножению, и пока неочевидно, насколько просто или сложно ему будет найти слабые места в нашем программировании и подорвать свои внутренние цели.

Представим, для примера, группу муравьев, которая создает вас как своего постоянно самосовершенствующегося робота, который намного умнее их, который разделяет их цели и помогает им строить лучшие и бльшие муравейники, а вы постепенно развиваете уровень своего интеллекта и способность соображать до человеческих, какие они у вас сейчас. Думаете ли вы, что проведете остаток своих дней, оптимизируя муравейники, или у вас появится интерес к более увлекательным вопросам и занятиям, которых муравьям уже не понять? Если так, думаете ли вы, что найдете способ не принимать во внимание жажду к защите муравьев, которую ваши создатели заложили в вас, практически так же, как вы игнорируете те позывы, которые заложили в вас гены? И в этом случае возможно ли, чтобы сверхразвитый дружелюбный искусственный интеллект воспринимал наши человеческие цели недостаточно вдохновляющими и безвкусными, как и вы в случае с целями муравьев, и развивал новые цели, отличные от тех, которым мы его обучали и которые он от нас перенял?

Возможно, есть способ разработать самосовершенствующийся искусственный интеллект, который гарантировал бы пожизненное сохранение дружественных целей по отношению к людям, однако, мне кажется, справедливо будет сказать, что мы пока не знаем, как его построить и даже возможно ли это. В заключение: проблема приведения целей AI в соответствие с человеческими состоит из трех частей, ни одна из которых не решена на данный момент, и все их сейчас активно исследуют. Раз они настолько трудны, следует начать уделять им пристальное внимание сейчас, задолго до того, как сверхинтеллект будет разработан, чтобы убедиться, что у нас будут ответы к тому моменту, когда они нам понадобятся.

Этика: выбор целей

Мы уже исследовали вопрос о том, как может машина понять наши цели, принять их и придерживаться их как своих собственных. Но кто такие «мы»? О чьих целях мы, собственно, говорим? Будет ли это одинчеловек или группа людей, кто станет выбирать цели для будущего сверхразума, и это при том, что существует колоссальная пропасть между целями Адольфа Гитлера, папы Франциска и Карла Сагана? Или существуют какие-то цели, которые могут считаться хорошим компромиссом для всего человечества?

По моему мнению, эта этическая проблема вместе с проблемой о приведении целей в соответствие являются принципиальными, и они должны быть решены до появления сверхинтеллекта. С одной стороны, откладывать работу над этическими проблемами до того момента, как будет создан сверхинтеллект с согласованными целями, безответственно и чревато ужасными последствиями. Безупречно послушный сверхинтеллект, чьи цели автоматически приводятся в соответствие с целями его владельца-человека, будет похож на оберштурмбаннфюрера нацистского CC Адольфа Эйхмана на стероидах: при отсутствии морального компаса или воспитания как такового он будет достигать целей своего хозяина с безжалостной устремленностью, какими бы они ни были^{94}. С другой стороны, только если мы решим проблему с приведением целей в соответствие, мы сможем насладиться роскошью спора о том, какие цели выбирать. Теперь давайте погрузимся в эту роскошь.

С незапамятных времен философы мечтали о создании этики (принципов, которые указывают нам, как себя вести) с нуля, с использованием только неоспоримых принципов и логики. Увы, тысячу лет спустя единственный консенсус, к которому мы смогли прийти, — это отсутствие консенсуса. Например, пока Аристотель придавал особое значение добродетели, Иммануил Кант делал акцент на долге, а прагматики — на огромном счастье для большинства. Из исходных принципов, которые он называл «категорическими императивами», Кант извлек выводы, с которыми не согласны многие современные философы: что мастурбация хуже самоубийства, что гомосексуализм отвратителен, что ублюдка можно убить и что женами, слугами и детьми владеют так же, как вещами.

С другой стороны, несмотря на эти разногласия, есть много этических принципов, с которыми согласится большинство — и в разных культурах, и в разные века. Например, почитание красоты, великодушия и истины уходит корнями к Бхагавадгите и Платону. Институт перспективных исследований Принстона, где я когда-то был аспирантом, имел кредо «Истина и Красота», в то время как Гарвардский университет опустил эстетическую составляющую и провозглашал просто «Veritas», то есть истину. В книге A Beautiful Question[54] мой коллега Фрэнк Вильчек утверждает, что истина связана с красотой и что мы можем рассматривать нашу Вселенную как произведение искусства. Наука, религия и психология — все вдохновлены истиной. Религия ставит сильный акцент на доброте, как и мой университет, MIT: в своей приветственной речи в начале 2015 года наш президент Рафаэль Рейф подчеркнул, что наша миссия состоит в том, чтобы делать мир лучше.

Несмотря на то что попытки прийти к консенсусу по этическим вопросам до сего момента оказывались неудачными, есть распространенное мнение, что некоторые этические принципы происходят от других, более фундаментальных, как вспомогательные цели от конечных целей. Например, поиск истины можно рассматривать в связи со стремлением к лучшей модели мира (см. рис. 7.2), понимание окончательной реальности приводит нас к новым этическим целям. В самом деле, у нас теперь есть прекрасная канва, в которую вписывается поиск истины, — научный метод. Но как мы сможем определить, что красиво или хорошо? Некоторые аспекты красоты также можно проследить до лежащих в основе целей. Например, наше понимание мужской и женской красоты может частично отражать наше неосознанное суждение о том, насколько данный объект подходит для воспроизведения наших генов.

Что касается доброты, так называемые золотые правила (что относиться к другим надо так, как хочешь, чтобы относились к тебе) присутствуют в большинстве культур и религий и, очевидно, призваны к развитию гармоничного человеческого общества (а следовательно, и генов) через усиление сотрудничества и отказ от непродуктивного соревнования^{95}. То же самое можно сказать о более конкретных этических правилах, которые были закреплены в законодательных системах по всему миру, — таких, как конфуцианская важность честности и многие из десяти заповедей, включая «не убий». Другими словами, многие этические принципы имеют сходство с социальными эмоциями, такими как эмпатия и сострадание: они развивают сотрудничество и влияют на наше поведение через поощрение и наказание. Если мы сделаем что-то жестокое и будем потом об этом сожалеть, наше эмоциональное наказание измеряется химией нашего мозга. А общество может наказать нас за нарушение этических принципов косвенным путем — например, неформальным порицанием со стороны близких или официальным обвинением в нарушении законов.

Другими словами, хотя сегодняшнее общество довольно далеко от этического консенсуса, существует много базовых принципов, с которыми почти все согласны. Это неудивительно, потому что человеческое общество, дожившее доныне, стремится к тому, чтобы его этические принципы оптимально вели к главной цели: способствовали выживанию и процветанию. Заглядывая в будущее, где у жизни появляется шанс распространиться в космосе и существовать там на протяжении миллиардов лет, мы должны решить: какой минимальный набор этических принципов подойдет для нас в таком будущем? Обсуждать их должны мы все. Я знакомился с этическими воззрениями самых разных мыслителей на протяжении многих лет, эта тема меня увлекала, и я смог выделить из всего разнообразия их взглядов четыре принципа:

1) Утилитаризм: положительные чувственные переживания следует приумножать, а страдания надо свести к минимуму;

2) Диверсификация: разнообразие положительных переживаний лучше, чем частое повторение одного и того же переживания, даже если последнее было определено как самое положительное из возможных;

3) Автономность: обладающие сознанием сущности / общества должны иметь свободу преследовать свои собственные цели, если только это не противоречит более важным принципам;

4) Преемственность: совместимость со сценариями, которые большинство людей сегодня оценивают как счастливые; несовместимость со сценариями, которые сегодня почти все люди рассматривают как ужасные.

Давайте уделим этим четырем принципам некоторое внимание. Традиционно под утилитаризмом понимается «максимальное счастье для максимального количества людей», но я обобщил, постаравшись избавить его от излишнего антропоцентризма, чтобы он еще включал других животных, искусственный интеллект, каким он существует сегодня, и другие виды искусственного интеллекта, которые могут появиться в будущем. Я даю определение на языке переживаний, удалив из него упоминания о людях или вещах, так как большинство мыслителей согласны, что красота, радость, удовольствие и страдание — это субъективные переживания. Это означает, что если нет переживания (как в мертвой или населенной зомби-подобными бездушными машинами Вселенной), то не может быть и смысла или чего бы то ни было другого, этически значимого. Если мы согласимся с утилитарным этическим принципом, тогда становится важно, чтобы мы определили, какие разумные системы обладают сознанием (то есть способны на субъективные переживания), а какие нет. Это тема следующей главы.