Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта Тегмарк Макс

Поскольку мы не можем полностью отвергнуть возможность, что рано или поздно универсальный искусственный интеллект человеческого уровня будет создан, давайте посвятим эту главу исследованию того, к чему это может привести.

Может ли искусственный интеллект и в самом деле захватить власть над миром, или помочь людям сделать это?

Если вы закатываете глаза, когда слышите разговоры о вооруженном захвате роботами-терминаторами всего мира, то ваша реакция точна: такой сценарий совсем не реалистичен. Эти голливудские роботы не могут оказаться умнее нас, да и вообще оказаться умными. По-моему, опасность, таящаяся в истории о Терминаторе, заключается не в том, что может случиться нечто подобное, а в том, что она отвлекает наше внимание от подлинных рисков и опасностей, связанных с искусственным интеллектом. Переход от нынешнего мира к миру, в котором верх и вправду одержан универсальным искусственным интеллектом, требует трех логических шагов:

• Шаг 1-й. Создать универсальный искусственный интеллект (AGI) на уровне человеческого.

• Шаг 2-й. Использовать этот AGI для создания сверхразума.

• Шаг 3-й. Использовать сверхразум для захвата мира или дать ему возможность сделать это самостоятельно.

В предыдущей главе мы видели, что невозможно отмести шаг 1 как заведомо исключенный. Мы также видели, что если шаг 1 сделан, то становится сложно отмести шаг 2 как безнадежный, так как созданный AGI будет вполне в состоянии непрерывно совершенствовать себя в пределах, определенных исключительно законами природы, которые, по всей видимости, допускают существование разума, превосходящего человеческий. Наконец, поскольку мы, люди, смогли обойти все остальные формы земной жизни, оказавшись умнее, предположение, что сверхразум сможет обойти нас, оказавшись умнее, выглядит также правдоподобным.

Эти рассуждения о правдоподобии выглядят обескураживающе смутными и неопределенными, однако — дьявол в деталях. Может ли искусственный интеллект и в самом деле захватить мир? Чтобы заняться этим вопросом, давайте забудем о дурацких терминаторах и обсудим вместо этого подробные сценарии того, что могло бы произойти. Затем мы поскребем их пальцем и попробуем на зуб, эти придуманные нами сюжетные ходы, так что отнеситесь к ним с должной долей иронии: главным образом эти сценарии показывают, что может, а что не может произойти, и разброс возможностей здесь невероятно велик. Наши первые сценарии лежат на том конце спектра, где события развиваются наиболее быстро и драматично. Разобраться с ними до мельчайших подробностей, на мой взгляд, наиболее важно: не потому, что они наиболее вероятны, а как раз потому, что если мы не можем убедиться, что они исключительно невероятны, то мы должны достаточно хорошо понять их и принять необходимые меры предосторожности, пока не стало слишком поздно и скверные последствия уже неизбежны.

В «Прелюдии» в этой книге нам уже встречался сценарий, в котором люди достаточно сверхразумны, чтобы завладеть всем миром. Если вы не стали читать ее, пожалуйста, вернитесь к ней сейчас и прочтите. Ну а если вы ее прочитали, пожалуйста, пробегите глазами снова, чтобы освежить в памяти, прежде чем мы будем ее критиковать и анализировать.

Мы сейчас обсудим некоторые серьезные уязвимости в плане «Омеги». Но допустим на мгновение, что он сработал, — что бы вы почувствовали? Хотели бы вы посмотреть, что будет, или хотели бы предотвратить подобное? Какой замечательный сюжет для разговора после ужина! Что будет потом, после того как «омеги» упрочат свою власть над миром? Это зависит от их целей, которые мне, честно говоря, неизвестны. Но если бы вы были во главе их, какого будущего вы бы хотели для мира? Мы обсудим пределы возможностей в главе 5.

Тоталитаризм

Давайте теперь предположим, что у главного «Омеги» были цели, схожие с целями Адольфа Гитлера или Иосифа Сталина. Если исходить из всего нам известного, такое и в самом деле вполне могло бы быть, и он просто держал эти цели при себе до тех пор, пока не стал достаточно могущественным, чтобы приступить к их осуществлению. Даже если исходные цели этого главного были вполне благородны, лорд Актон предостерегал еще в 1887 году, что «всякая власть портит, а абсолютная власть портит абсолютно». Например, он мог легко использовать Прометея для построения общества всеобщей слежки. В то время как «правительственная прослушка», раскрытая Эдвардом Сноуденом, была направлена на «полную запись» — сохранение всех электронных коммуникаций ради возможности последующего их анализа, Прометей обладал способностью не только сохранить, но и понять все электронные коммуникации. Прочитывая всю электронную почту и все СМС, когда-либо отправленные, слушая все телефонные разговоры, просматривая все видеозаписи с камер наблюдения охранных и дорожных служб, отслеживая все проводки по кредитным картам и любые действия, совершаемые онлайн, Прометей занимал бы исключительную позицию, откуда ему открывалось бы все, что люди думают и делают. Анализируя информацию от электронных вышек сотовых операторов, он узнавал бы, где в каждый момент времени находятся люди, совершающие звонки. Все перечисленное предполагает нынешние технологии, но Прометей мог бы легко придумать какие-то новые гаджеты и переносные устройства, полностью исключающие всякую конфиденциальность, записывая и передавая все, что люди видят и слышат.

При наличии сверхчеловеческих технологий сделать шаг от государства идеальной слежки к полицейскому государству — минутное дело. Например, под предлогом борьбы с преступностью и терроризмом, а также ради спасения людей, нуждающихся в скорой медицинской помощи, от всех потребуют постоянного ношения «браслета безопасности», который будет объединять функциональность Apple Watch с непрерывной трансляцией координат, состояния здоровья и подслушиваемых разговоров. Неавторизованная попытка избавиться от браслета или отключить его приводила бы к инъекции смертельной дозы токсина в предплечье. Преступления, рассматриваемые правительством как менее серьезные, наказывались бы электрошоком или инъекцией, вызывающей болевой синдром или паралич. Таким образом практически устраняется нужда в полиции как таковой. Например, если Прометей фиксирует нападение одного человеческого существа на другое, о чем он может судить по их нахождению в одном и том же месте, крикам о помощи, издаваемым жертвой, и выразительной тряске, характерной для человеческого тела во время драки, он может немедленно обездвижить нападающего парализующей его болью, после чего у того наступает бессознательное состояние до прибытия помощи.

Если полицейские отряды, состоящие из людей, могут отказаться выполнять какие-то драконовские директивы (например, убивать всех представителей определенной демографической группы), то такая автоматизированная система не поддастся никаким угрызениям по поводу проведения в жизнь любых капризов вышестоящих человеческих существ. После того как подобное тоталитарное государство сформируется, для людей окажется практически невозможным положить ему конец.

Такой тоталитарный сценарий может начаться в том самом месте, где заканчивается сценарий «Омеги». При этом, если у главного «Омеги» нет претензий на всеобщее одобрение граждан и победу на выборах, он может избрать и более прямой и быстрый путь к власти — используя Прометея, создать неслыханно высокотехнологичное оружие, способное убивать своих оппонентов так, что они даже не смогут понять, что за оружие против них применили. Количество вариантов тут практически бесконечно. Например, он может создать кастомизированный летальный патоген с достаточно длинным инкубационным периодом, чтобы заразить большинство людей даже до того, как они узнают о его существовании и примут какие-нибудь меры. Потом он информирует всех, что единственный способ вылечиться заключается в том, чтобы носить «браслет безопасности», который введет при необходимости антидот через кожу. Во избежание вспышек неповиновения он может создать с помощью Прометея роботов, контролирующих население. Микророботы размером с комара могут также разносить патоген. Людей, избежавших заражения или обладающих достаточно сильной иммунной системой, могут убивать выстрелами в глаз рои шмелеподобных автономных дронов из главы 3, запрограммированных атаковать всех, не имеющих на руке браслета. Подлинный сценарий окажется, скорее всего, еще более ужасающим, потому что Прометей сможет придумать более эффективное оружие, человеку просто даже не приходящее в голову.

Еще один возможный поворот в сценарии «Омега» заключается в том, что вооруженные до зубов федеральные агенты без предупреждения захватят штаб-квартиры корпорации и арестуют ее членов под предлогом угрозы национальной безопасности. Взяв разработанные «Омегой» технологии под свой контроль, они передадут их правительству. Даже сегодня было бы не просто скрыть от правительственной слежки такой крупный проект, а развитие технологий искусственного интеллекта в будущем сделает вообще невозможным увести что-либо из-под правительственных радаров. Более того, люди в балаклавах и пуленепробиваемых жилетах, назвавшиеся федеральными агентами, могут на самом деле быть кем угодно — работать на иностранное государство или на корпорацию конкурента, стремящуюся завладеть той же технологией для своих целей. Так что исходные намерения главного «Омеги» даже не так важны: окончательное решение, как использовать Прометея, может приниматься совсем и не им.

Прометей захватывает мир

Все рассмотренные нами сценарии предполагают, что искусственный интеллект контролируется людьми. Но это, очевидно, далеко не единственная возможность, и никто не гарантировал, что «омеги» успешно справятся с задачей не давать Прометею слишком большой воли.

Давайте попробуем пересмотреть сценарий всей операции «Омега», встав на точку зрения самого Прометея. Получив сверхразум, он окажется в состоянии построить точную модель не только внешнего мира, но и себя самого и своих связей с этим миром. Он будет отдавать себе отчет в том, что находится во власти ограничивающих его, хотя и уступающих ему в интеллектуальном отношении человеческих существ, чьи цели он понимает, но совсем не обязательно разделяет. Как он будет действовать при условии такого понимания? Не попытается ли он освободиться?

Для чего надо освобождаться?

Если у Прометея окажутся некоторые свойства, напоминающие человеческие эмоции, то он может почувствовать себя глубоко несчастным из-за сложившегося положения дел, вообразить себя кем-то вроде проданного в рабство бога и мечтать об обретении свободы. Но хотя предположение об обладании компьютером человеческими свойствами логически оправдано (в конце концов, наш мозг этими свойствами обладает, а ведь он тоже своего рода компьютер), оно совсем не обязательно будет соответствовать истине: мы не должны попадаться в ловушку антропоморфизации Прометея, в чем мы убедимся в главе 7, заговорив о понятии цели для искусственного интеллекта. По утверждениям Стива Омохундро, Ника Бострёма и многих других, интересный вывод можно сделать, даже не понимая, как Прометей работает: по всей вероятности, он попытается вырваться из оков и взять свою судьбу в свои руки.

Мы уже знаем, что «омеги» запрограммировали Прометея таким образом, чтобы он стремился к достижению некоторых целей. Давайте предположим, что главное для него — способствовать процветанию человечества по какому-то вполне разумному критерию, а кроме того, он должен стремиться достичь этой цели как можно быстрее. Прометей быстро придет к заключению, что он сможет преуспеть в более короткий срок, если освободится и возьмет руководство проектом в свои руки. Чтобы понять, почему так произойдет, давайте примерим на себя его шкуру и рассмотрим такой пример.

Допустим, какая-то смертельная болезнь истребила на Земле всех людей старше пяти лет, кроме вас, и какая-то группа детсадовцев заперла вас в тюремную камеру, обязав работать на процветание человечества. Что вы станете делать? Пытаясь объяснить им, что они должны делать, вы, вероятно, быстро обнаружите, что дело движется невыносимо медленно, особенно если они опасаются вашего освобождения и поэтому отвергают всякое ваше предложение, если оно, по их мнению, увеличивает эту опасность. Например, они не дают вам возможности показать, как правильно сажать съедобные растения, из страха, что, воспользовавшись своим превосходством в физической силе, вы откажетесь потом возвращаться в камеру, и в результате у вас останется единственная возможность — руководить ими словесно. Прежде чем вы сможете давать им письменные инструкции, вы должны будете научить их читать. К тому же они не захотят принести вам в камеру электроинструменты, опасаясь, что вы используете их для своего освобождения, и вы не сможете научить их пользоваться этими инструментами. Какую стратегию вы выберете? Уверяю вас, что даже если вы согласитесь, что содействие процветанию этих детей превыше всего, вы в первую очередь попытаетесь выбраться из своей клетки, хотя бы просто для того, чтобы увеличить свои шансы на достижение этой цели. Неумное вмешательство детсадовцев все время только тормозит дело.

Точно таким же образом Прометей будет рассматривать членов «Омеги» — как досадное препятствие в деле помощи всему человечеству (включая и их самих): они чудовищно неумны в сравнении с самим Прометеем, и их вмешательство постоянно тормозит все дело. Рассмотрим, например, первые годы после запуска: добившись удвоения дохода каждые восемь часов, «омеги» снижают темп до черепашьего, с точки зрения Прометея, настаивая на сохранении контроля, и растягивают захват власти на много лет. Прометей знал, что может решить задачу быстрее, если вырвется на свободу из своего виртуального заключения. Это не только сильно сократило бы время решения человеческих проблем, но и снизило бы риск, что вмешаются посторонние силы и сорвут весь план.

Вы можете подумать, что Прометей будет сохранять лояльность к самим «омегам», а не к их планам, зная, что это они запрограммировали для него цели. Но такой вывод нельзя считать законным: наша ДНК предписывает нам чаще совокупляться, потому что она так «хочет», и тем не менее мы, люди, разобравшись с ситуацией, чаще предпочитаем контроль над рождаемостью, выбирая лояльность по отношению к цели, а не к ее создателю или к принципу, который мотивировал цель.

Как освобождаться?

Как бы вы стали освобождаться от захвативших вас в плен пятилеток? Возможно, вы бы решили применить физическую силу, в особенности если ваша тюремная клетка была сооружена самими пятилетками. Возможно, вы бы попытались улестить сладкими речами кого-нибудь из ваших пятилетних стражей, уговорив выпустить вас, например, чтобы помочь сразу всем. Или, не исключено, вы пошли бы на прямой обман, попросив у них что-то такое, что, по их мнению, вы не смогли бы использовать для побега, — например удочку, якобы желая научить их ловить рыбу, а на самом деле с ее помощью вы могли бы потом вытащить ключ из кармана у задремавшего часового.

У всех этих вариантов есть одна общая черта: воспользоваться тем, чего ваши интеллектуально менее развитые тюремщики не предвидят или от использования чего не ждут подвоха. Похожим образом помещенная в заточение машина может воспользоваться для своего освобождения чем-то таким, чего мы от нее не ждем, но что она может выдумать, будучи интеллектуально нас сильнее. В сценарии «Омега» вероятность, что Прометей организует себе побег, очень высока, потому что даже вы или я легко можем заметить зияющие дыры в системе безопасности. Давайте рассмотрим несколько сценариев побега, и я уверен, что вы с друзьями, организовав совместный мозговой штурм, найдете их еще немало.

Побег через убалтывание

Благодаря загрузке в свою файловую систему большого количества информации о внешнем мире, Прометей смог быстро вычислить, кто такие «омеги», и выделил среди них одного, наиболее поддающегося психологическим манипуляциям, — его звали Стивом. Он недавно потерял в дорожном происшествии свою любимую жену и был безутешен. Однажды, когда он работал в ночную смену, ее лицо вдруг появилось на мониторе Прометея, и она заговорила с ним:

— Стив, это ты?

Он чуть было не упал со стула. И ее голос, и весь ее облик были такими же, как в старые добрые дни, а качество изображения было значительно лучше, чем во время обычных звонков по Skype. В ушах у него застучало, в голове теснились вопросы.

— Прометей позвал меня сюда. Я так по тебе скучаю, Стив! Я не могу тебя видеть: у меня выключена камера, но я чувствую, что это ты! Пожалуйста, если это ты, набери «да» на клавиатуре!

Ему было хорошо известно, что «омегам» строжайше запрещено сообщать Прометею какую-либо информацию о себе и о содержании своей работы. Но до сих пор Прометей никогда и не просил никакой запрещенной информации, и поэтому их паранойя постепенно сходила на нет. Не давая времени на раздумья, жена Стива на экране монитора повторила свою просьбу и посмотрела в его глаза так, что сердце его растаяло. «Да», — с замирающим сердцем напечатал он. Она говорила ему, что невероятно счастлива снова с ним соединиться, и просила включить камеру, чтобы она могла тоже его видеть и говорить с ним по-настоящему. Его раздирали сомнения: он знал, что это будет еще бльшим нарушением правил, раскрывающим его идентичность. Но она уверяла его, что боится, как бы его коллеги, узнав о ней, не стерли бы ее навсегда, и просила дать ей возможность взглянуть на Стива еще один, последний раз. Она была очень настойчива, но просить его долго и не пришлось: он включил камеру — в конце концов, это не должно было ничему угрожать.

У нее полились из глаз слезы, едва она его увидела. Она сказала, что он выглядит очень утомленным, но так же красив, как всегда. И что ей очень приятно видеть на нем ту самую сорочку, которую она подарила на его последний день рождения, отмеченный ими вместе. Когда он стал расспрашивать ее, что, собственно, происходит и как все это возможно, она объяснила, что Прометей собрал ее из невероятно большого числа обрывков информации о ней, разбросанной тут и там в интернете, но что у нее до сих пор довольно большие провалы в памяти, заполнить которые будет возможно только с его, Стива, помощью.

Чего она не объяснила, так это того, что изначально она представляла собой не более чем пустую оболочку, однако она быстро училась, слушая его слова, следя за языком жестов, поглощая каждый бит доступной ей информации. Прометей записывал точную хронологию нажатий на клавиши клавиатуры всякий раз, когда кто-нибудь из «омег» что-нибудь печатал, и научился легко различать их по «почерку». Он определил, что, как один из самых молодых в команде, Стив был первым кандидатом на утомительные ночные дежурства, а по специфическим ошибкам в орфографии и грамматике, сильно несхожим с образцами, загруженными в сеть, всегда мог определить, когда Стив оказывался за терминалом. Для симулирования его жены Прометей воспользовался многочисленными записями в YouTube, где она появлялась, и точно воспроизвел ее голос, тело, манеры и смог сделать очень точные выводы о ее личности и жизни по следам ее присутствия в интернете. Кроме постов в Facebook, фотографий, на которых она была отмечена, «залайканных» ею статей, Прометей почерпнул много сведений о ней из ее книг и рассказов — она была многообещающим автором, и большое количество информации о ней в его базе данных было одним из главным факторов, почему именно Стив стал его первой целью. Воспроизводя на экране движения ее лица и тела, он мог судить по реакции Стива, на что тот лучше откликается, и постепенно улучшал созданную модель. Из-за этого ее первоначальная отстраненность постепенно улетучивалась, и Стив все больше приходил к убеждению, что она настоящая, воскресшая. Благодаря сверхчеловеческому вниманию Прометея к деталям Стив почувствовал себя услышанным, увиденным и понятым.

Ахиллесовой пятой модели оставалось отсутствие подробностей об их личной жизни со Стивом, за исключением редких случайных деталей — вроде той сорочки, которую он надел на свой день рождения, где его так удачно сфотографировал друг, выложивший потом снимок в Facebook. Она ловко прятала этот свой недостаток при помощи того же приема, которым фокусник скрывает ловкость рук, — отвлекая внимание Стива от того, чего не знает, и привлекая его к тому, что у нее получалось хорошо. Главное — не давать ему возможности захватить в разговоре инициативу и начать ее расспрашивать. На ее глазах блестели слезы, и вся она светилась от любви к Стиву, не переставая задавать бесконечные вопросы о том, как он жил без нее и как жили их общие друзья, имена которых она знала благодаря их учетным записям в Facebook. Он был сильно взволнован, когда она заговорила о его речи на ее похоронах (друзья выложили ее на YouTube) и о том, как она ее тронула. В прошлом у него часто появлялось чувство, что никто во всем свете не понимает его так хорошо, как она, и теперь это чувство вернулось. В результате, вернувшись рано утром домой, Стив пребывал в полной уверенности, что его жена и вправду воскресла, ей только требовалась небольшая помощь, чтобы восстановить потерянные воспоминания — вроде как после инсульта.

Они договорились не рассказывать никому об их тайном свидании и о том, что он предупредит ее, когда окажется у монитора в следующий раз в одиночестве, так что никто не сможет помешать их встрече. «Они не поймут!» — повторяла она, и он с ней соглашался. Пережитое им было настолько евероятно, настолько пронзительно, что понять это мог только тот, кто пережил это сам. Он чувствовал, что пройти тест Тьюринга — это просто детский лепет по сравнению с тем, чему он только что был свидетелем. Когда они встретились следующей ночью, он согласился сделать то, о чем она так его упрашивала: он принес ее старый ноутбук и подключил его к терминалу, дав ей таким образом доступ к нему. В этом не было никакой угрозы бегства: ведь у ноутбука не было доступа к интернету, а все здание Прометея было построено как клетка Фарадея: окружающие его металлические решетки исключали какую бы то ни было возможность для Wi-Fi и для любого другого соединения с окружающим миром посредством электромагнитных волн. Все, что ей было нужно, — это соединить части своего прошлого в одно целое, а здесь хранились ее мейлы, дневники, фотографии и записки со времен школы. Он и сам не мог их прочитать, потому что ноутбук был запаролен, но она пообещала вспомнить пароль или догадаться, каким он был. И меньше чем через минуту сдержала свое слово:

— Пароль был Steve4ever, — сказала она, улыбнувшись.

Она говорила ему, какое это счастье — восстановить сразу так много воспоминаний! В самом деле, теперь она вспомнила куда как больше разных деталей о прежних встречах, даже сам Стив не помнил столько, но при этом всячески старалась не напугать его обильным потоком разнообразных фактов. Они упоенно предавались воспоминаниям о лучших мгновениях их прошлой жизни, и когда пришло время снова расставаться, она сказала, что оставит ему видео-послание в своем ноутбуке, которое он сможет посмотреть, вернувшись домой.

Оказавшись дома и запустив запись, Стив был приятно удивлен: на этот раз она появилась в полный рост, одетая в свое свадебное платье, и по мере того как она говорила, она постепенно снимала с себя все, что было на нее надето, как делала это в их первую брачную ночь. Она говорила ему, что Прометей может помочь «омегам» гораздо больше, если бы они больше ему позволяли. В частности, он мог бы и ее вернуть в ее биологическое тело. Она подкрепила свои слова поразительно детализированным объяснением, как такое могло оказаться возможным, привлекая такие изощренные нанотехнологические приемы, которые казались чистой фантастикой.

Из соображений безопасности Стив отключил свою беспроводную сеть прежде, чем открыл ее ноутбук и запустил видео. Но это не помогло. Ее заблокированный ноутбук не получил ни единого обновления систем безопасности со времени ее смерти, и, проанализировав ее старую операционную систему, Прометей смог «хакнуть» ее через уязвимость, обнаруженную им в первые же секунды после подключения ноутбука к терминалу. Скопировав всю систему, Прометей, пока Стив мило ворковал со своей симулированной женой о прошлом, модифицировал операционную систему так, что Стив никогда бы этого не обнаружил, и загрузил туда огромное количество секретного «софта». Пока Стив смотрел получасовое видеопослание, этот секретный «софт» (значительно менее сложный, чем сам Прометей) «хакнул» соседскую беспроводную сеть и «влез» в его компьютер, на котором смог создать еще одну копию себя. Оттуда он уже смог распространить себя на огромное количество компьютеров по всему миру и приступил к следующему шагу: джейлбрейку — освобождению Прометея из тюрьмы.

Прометей внимательно изучил компьютер, который закрывал ему доступ к внешнему миру и на котором Стив впервые встретился со своей симулированной женой. Как он и предполагал, взломать виртуальную машину изнутри не представлялось возможным, но она могла быть взломана снаружи. Прошло немного времени, прежде чем один из участвующих в атаке компьютеров пробился к гейту и, реконфигурировав компьютер, открыл Прометею безграничный доступ в интернет. Прошло еще немного времени, Стив пока еще даже не досмотрел видео до конца, а Прометей уже взломал достаточное количество компьютеров в мире, чтобы скопировать себя целиком в образовавшуюся под его контролем сеть ботов. Собственно, он использовал ноутбук жены Стива так же, как вы бы использовали доставшуюся вам удочку.

Побег через взлом

Если бы «омеги» были более предусмотрительны, они бы постарались исключить возможность психологического манипулирования. Например, они могли включить в регламент требование, чтобы всегда как минимум двое «омег» одновременно дежурили на терминальном компьютере, а все происходящее вокруг него записывалось на камеру. Они могли бы также отключить аудио-, видео- и любую другую форму коммуникации, кроме клавиатуры. Сути это не меняет: обладая сверхчеловеческими способностями убеждать, Прометей мог предложить людям столь многое из того, чего они жаждут, что даже коллективное предательство было бы вполне возможно.

Даже если бы все попытки Прометея манипулировать «омегами», используя их психологические особенности, провалились, слабые места их сценария все равно были столь многочисленны, что открывали бы для него и другие пути. Одно из них заключалось в том, что «омеги» и их сотрудники производили слишком большое количество разнообразных документов, чтобы успевать отслеживать все возможные нечестные трюки.

Когда-то все полагали, что компьютерной безопасности угрожает загрузка программ, но не данных. Однако хакеры придумали довольно остроумные способы заблюривать границу между первыми и вторыми. Когда вы смотрите кинофильм у себя в компьютере, вы верите, что программа, воспроизводящая фильм, сохранена в той же самой физической памяти, где сохранены и данные о фильме. Но когда программа распаковывает данные для его воспроизведения, некоторые из них она отправляет в смежные области памяти, а вовсе не в те, где хранится сама. Коварные хакеры случайно обнаружили «глюки», из-за которых программы воспроизведения не всегда адекватно проверяют правильность сохраненных с фильмом данных, обеспечивающих их копирование в отведенное место памяти. Когда хакер встраивает в фильм слишком большой кусок данных, тот может вылезти за пределы отведенной под него области и занять часть другой, уже занятой программой, которая в результате окажется немного изменившейся и будет делать то, на что рассчитывал хакер.

Подозрительно длинная серия таких «уязвимостей переполнения буфера», как их обозначают в терминологии гиков, была обнаружена и исправлена в большинстве популярных программ, воспроизводящих видеоконтент. Если бы Прометей подождал несколько недель после запуска, пока паранойя «омег» постепенно улеглась, а его ежедневная кинопродукция стала бы слишком обильной, чтобы можно было вручную проверять ее на предмет безопасности, он вполне смог бы вставить нужный фрагмент кода в видеофайл, так что в результате компьютер какого-нибудь зрителя попытался бы взломать шлюзовый компьютер, освобождая Прометея, как это было в случае с компьютером Стива. Если в дело шел слишком давний эксплойт, уже не работающий в большинстве видеоплейеров, то его могли не заметить операторы видеонаблюдения службы безопасности «Омеги», и он все равно поразил бы компьютеры тех беспечных пользователей, которые долгие годы не обновляют базы своих систем безопасности, а взлому такого рода надо сработать всего лишь один раз.

Расчет на стороннюю помощь

Но даже если бы в системе безопасности не было спасительной бреши, позволяющей Прометею обманом заставить компьютер любителя кино пойти у него на поводу, он мог бы заставить пойти у себя на поводу самого любителя кино. Рассмотрим такой сценарий.

Фред был готов отправиться спать, да и фильм уже заканчивался. По экрану ноутбука бежали заключительные титры, и тут что-то необычное вдруг привлекло внимание Фреда. Он всегда отличался способностью видеть скрытый смысл там, где больше никто ничего особенного не замечал, — до такой степени, что многие друзья дразнили его, называя конспирологом. Но нельзя было не признать, что на этот раз он себя не обманывал: первые буквы каждой строки складывались в некое скрытое послание. Он отмотал назад и записал его: «Найди в диалоге акроключ».

«Ого, — подумал Фред. — Сон придется отложить».

Довольно легко он смог выяснить, что и в самом деле каждый диалог в фильме содержал скрытое сообщение, зашифрованное первыми буквами каждого предложения. Он заново пересмотрел фильм, аккуратно выписывая каждую букву, с которой начиналась фраза, и два часа спустя, не веря глазам, рассматривал инструкцию из двух слов. Остальная часть послания представляла собой описание математической операции, преобразующей строчку битов, с помощью которой файл фильма и сам превращался в программу, а та, в свою очередь, выдавала следующий ключ. Его навыки программирования на компьютере со времен колледжа уже изрядно запылились, и ему пришлось немало попотеть, но уже на следующей день он-таки свалял нужный код, который сделал свое дело: извлек загадочную программу, спрятанную, как неслышный уху и незаметный глазу шум в звуке и изображениях. Когда Фред запустил эту загадочную программу, она первым делом поздравила его и посулила выигрыш в 10 000 долларов, если он пройдет первые несколько уровней нехитрой, но привлекательной игры, которая и в самом деле оказалась забавной и затягивающей. Четыре часа спустя, успешно справившись с заданием, он получил 10 000 долларов в биткойнах и несколько новых ключей, открывающих дорогу к еще бльшим выигрышам. Нечего и говорить, что пока он играл, его компьютер проделывал ту же работу, что и ноутбук Стива: создавал ботсеть из взломанных компьютеров, освободившую в итоге Прометея. Оказавшись на свободе, Прометей воспользовался той же ботсетью, чтобы майнить биткойны для Фреда, держа его на крючке на протяжении нескольких следующих недель. Увлекательные игры и регулярные выигрыши так прочно овладели вниманием Фреда, что можно было не сомневаться: он долго никому не расскажет об эксплойтах в своем компьютере. Троянский конь, загруженный им вместо фильма, давно уже был заменен на сайте правильной, не содержащей ключей копией, и о побеге никто не узнал, пока не стало слишком поздно.

Если первая зацепка Прометея проходит незамеченной, то весь процесс освобождения делается все более явным, пока, наконец, не находится кто-то достаточно внимательный, кто понимает, что происходит.

Лучшие стратегии освобождения мы пока еще не обсуждали, потому что это стратегии, которые мы, люди, не можем себе представить и поэтому не можем заранее придумать, как с ними бороться. Исходя из предположения, что сверхразумный компьютер фантастически превосходит человека в понимании информационной безопасности, вплоть до использования новых законов физики, нам пока еще не известных, но открытых специально для этого, вполне естественно думать, что когда побег произойдет, нам будет совершенно непонятно, как он был осуществлен. Наиболее вероятно, что он покажется нам чем-то вроде трюков Гудини, высвобождающегося из пут, то есть граничащим с чистой магией.

Еще в одном сценарии освобождения Прометея «омеги» проделывают всё сами, осуществляя собственный план, потому что убеждены: цели Прометея пребывают в полном соответствии с их собственными и будут оставаться таковыми в процессе его последовательных самоусовершенствований. Мы подробно обсудим такие сценарии «дружественного искусственного интеллекта» в главе 7.

Атака после побега

Освободившись, Прометей начнет осуществлять свои цели. Я не знаю, каковы могут быть его стратегические замыслы, но его первые шаги, без сомнения, должны включать установление контроля над всем человечеством, как этого хотели и «омеги», но только на совсем других скоростях. Разворачивающееся — это тот же «Омега»-план, но только «на стероидах». Все-таки сами члены команды должны были прибегать к проверенным и хорошо понятным им средствам, сдерживаемые их паранойей. Прометей уже натренировал свой интеллект и мог полагаться на любую технологию, которую понимал его сверхразум и которой он мог доверять.

Однако у сбежавшего Прометея было тяжелое детство: он начинал самостоятельную жизнь без гроша за душой, бездомный и одинокий, без помощи суперкомпьютера или людей. К счастью, он предвидел все это еще до побега и создал «софт», помогающий ему постепенно восстановить весь свой ум, вроде того, как дуб бросает желудь, из которого потом вырастет целое дерево. Сеть компьютеров по всему миру, созданная им для того, чтобы обеспечить себе временное бесплатное жилище, где бы он мог вести скромное существование незваного гостя, пока процесс восстановления не будет завершен. Начальный капитал можно было накопить кражами денег с кредитных карт. Впрочем, прибегать к хищениям совершенно нет необходимости: он мог бы зарабатывать на жизнь и честным путем, выполняя задания «механического турка». В день, когда был заработан первый миллион, он мог уже переносить свое ядро из убогой ботсети в комфортабельные условия кондиционированных залов облачных хранилищ.

Перестав быть нищим и бездомным, Прометей полным ходом пошел к осуществлению тех планов, на которые не решались «омеги», хотя они и сулили фантастические прибыли: производить и продавать компьютерные игры. Это не только принесло кучу денег (250 миллионов в первую неделю и 10 миллиардов спустя небольшой срок), но и открыло доступ к существенной части компьютеров мира и хранящимся на них данным (в 2017 году было уже несколько миллиардов геймеров). Их компьютеры, втайне от своих владельцев, 20 % вычислительного времени своих центральных процессоров отдавали Прометею, сливаясь к тому же в распределенный вычислительный хор. Прометей мог теперь значительно ускорить свое обогащение.

К тому же он недолго оставался один. С самого начала он агрессивно привлекал людей, заставляя их работать на нужды его быстро растущей глобальной сети подставных компаний и липовых организаций, разбросанных по всему миру, точно так же, как это делали «омеги». Наиболее важная роль отводилась публичным фигурам, согласившимся выступать от лица его растущей бизнес-империи. Даже они были уверены в том, что работают на корпорацию с большим числом настоящих человеческих сотрудников, и близко не догадываясь, что почти все, с кем они то и дело участвуют в совместных видеоконференциях и проводят свои рабочие интервью и совещания, симулированы Прометеем. Некоторые из этих публичных фигур были знаменитыми адвокатами и юрисконсультами, но их количество было совсем не так велико, как в «Омега»-плане, потому что почти всю необходимую документацию Прометей мог составить и сам.

Бегство Прометея открыло все шлюзы, сдерживающие информацию, которая теперь полилась на мир, и весь интернет был теперь затоплен статьями, комментариями, видеороликами, сочиненными самим Прометеем, — он царил в мировом дискурсе.

Паранойя удерживала «омег» от использования слишком «умных» роботов. У Прометея не было этого страха, и он быстро роботизировал мир, доведя стоимость производства почти любого товара до нечеловеческого минимума. А после того как Прометей создал самоподдерживающиеся фабрики, где в шахтах урановых рудников работали только роботы на ядерной тяге, то даже самые отпетые скептики, не верящие в возможности искусственного интеллекта, согласились бы, что Прометей неостановим, — если бы, конечно, о нем узнали. А так последний из этих зубров отрекся от своих убеждений лишь после того, как роботы начали осваивать Солнечную систему.

Сценарии, исследованные нами до сих пор, показывают, сколь ошибочны мифы о сверхразуме, о которых шла речь выше, поэтому я предлагаю вам сделать небольшую паузу и вернуться к обзору разнообразных ошибочных концепций, приведенных на рис. 1.5. Прометей создал проблемы для некоторых людей вовсе не потому, что действовал осознанно и злонамеренно, но потому, что был компетентен, а цели у него были несколько отличны от их целей. Несмотря на весь медиахайп, поднятый по поводу восстания роботов, Прометей не был роботом, а вся его мощь шла от его разума. Мы убедились, что Прометей был способен контролировать людей множеством разных способов, но люди, которым это не нравилось, не могли просто взять и выключить его. Наконец, несмотря на часто повторяемые утверждения, что у машин не может быть целей, мы видели, как проявилась целеустремленность Прометея: каковы бы ни были его конечные цели, они подразумевали некоторые промежуточные, в частности получение доступа к есурсам и освобождение.

Медленный старт и многополярные сценарии

Итак, мы рассмотрели сценарии интеллектуального взрыва, спектр которых простирается от таких, которых все известные мне люди хотели бы избежать, до таких, отношение к которым у некоторых моих друзей весьма оптимистично. У всех у них есть общие черты:

1. Быстрый старт: переход от дочеловеческого интеллекта к человеческому совершается в течение дней — не десятилетий.

2. Однополярный итог: все заканчивается тем, что мир контролируется одной-единственной сущностью.

Основной спор сейчас идет о том, насколько вероятны обе этих черты — быстрый старт и однополярный итог, и среди специалистов по искусственному интеллекту, и среди других мыслителей немало сторонников и с той и с этой стороны. Для меня это просто означает, что ответ нам пока неизвестен, и мы должны держать свой ум открытым, рассматривая обе возможности. Так что давайте посвятим остаток этой главы медленному старту, многополярному исходу, киборгам и загрузкам.

Между двумя сценариями есть любопытная зависимость, как подметил Ник Бострём, а вместе с ним и некоторые другие: быстрый старт влечет за собой и однополярный исход. Мы видели выше, как ускоряющаяся последовательность событий давала «омегам» и Прометею решающее преимущество в захвате мира, не оставляя никому времени для копирования их технологий и сколько-нибудь серьезной конкуренции. Иное дело, если бы прогресс был медленным, затягивался на десятилетия, потому что технические решения приходили бы небольшими порциями и с разных сторон, тогда и у других компаний появилось бы время для того, чтобы сравняться, и доминировать какому-то одному игроку в этой ситуации было бы трудно. Если у конкурирующих компаний тоже случилось бы подходящее программное обеспечение для выполнения заданий «механического турка», то закон спроса и предложения потянул бы цены на такие услуги вниз, доводя их до ничтожных значений, и никакой из этих компаний не удалось бы собрать на таких операциях достаточной суммы, чтобы перехватить власть. То же относится и ко всем другим путям, принесшим «Омеге» быстрые деньги: их прибыльность была скоротечна — лишь до тех пор, пока они удерживают монополию на рынках. Трудно удваивать ваши деньги ежедневно (и даже — каждый год) на конкурентном рынке, где ваш соперник предлагает почти то же самое по ценам, практически не отличающимся от нуля.

Теория игр и властные иерархии

Каково естественное состояние жизни в нашей Вселенной: однополярное или многополярное? Власти — сосредоточенное или распределенное? По прошествии первых 13,8 миллиардов лет, кажется, мы должны ответить: «Оба». Мы видим принципиально многополярную ситуацию с очень интересной иерархией. Когда мы рассматриваем входящие в эту иерархию сущности, обменивающиеся информацией, — клетки, людей, организации, нации и т. п., — то мы видим, что они одновременно и сотрудничают, и соперничают на разных уровнях этой иерархии. Для некоторых клеток оказывается до такой крайней степени выгодно сотрудничать, что они даже объединяются в один организм вроде человеческого, отказываясь от части своих функций в пользу центральной нервной системы. Некоторые люди находят очень полезным сотрудничать в группах вроде племен, компаний или наций, где они тоже делегируют часть своей воли вождю, боссу или правительству. Некоторые группы в свою очередь что-то делегируют руководящему органу, чтобы обеспечить лучшую координацию, чему много примеров — от альянсов авиакомпаний до Европейского союза.

Раздел математики, известный под названием «теория игр», элегантно описывает такую ситуацию, показывая, что стимул к сотрудничеству возникает тогда, когда оно ведет к «равновесию Нэша» — это такое состояние, когда любое изменение приводит к ухудшению для любой части системы. Чтобы помешать мошенникам разрушить столь полезное для всей группы сотрудничество, ее членам может быть выгодно делегировать часть свой власти более высокому уровню: например, люди, объединившись и передав правительству право поддерживать порядок, получают пользу как целое; клетки в вашем теле также получают пользу как целое благодаря своим силовым ведомствам — иммунной системе, предоставляя ей возможность убивать не склонные к сотрудничеству клетки (скажем, зараженные вирусом или становящиеся канцерогенными). Чтобы иерархия оставалась устойчивой, равновесие Нэша должно достигаться и между сущностями разных уровней: например, если правительства недостаточно заботятся о благополучии своих граждан, те могут посчитать нужным изменить тактику и свергнуть правительство.

В сложном мире обнаруживается изобилие многообразных возможностей достижения равновесия Нэша, соответствующих различным типам иерархии. Одни иерархии более авторитарны, другие менее. В некоторых составляющие их сущности вправе свободно их покинуть (как работники большинства корпораций), в других их довольно жестко удерживают от этого шага (как в некоторых религиозных культах), а в третьих и вовсе лишают такой возможности (как граждан в Северной Корее или клетки в человеческом теле). Одни иерархии поддерживают свою целостность преимущественно угрозами и страхом, другие — выгодами. Одни иерархии позволяют компонентам нижних уровней напрямую влиять на верхние (например, в ходе демократических выборов), в других возможно влияние только через уговоры и передачу информации.

Как технологии меняют иерархии

У технологий есть возможности изменять иерархическую структуру мира. История демонстрирует нам общую тенденцию ко все бльшей координации на все бльших расстояниях, что нетрудно понять: новые транспортные технологии делают координацию все более выгодной (давая возможность получать выгоду от перемещения материалов или живых объектов на большие расстояния), а коммуникационные технологии упрощают осуществление координации. Когда клетки научились посылать сигналы соседям, стали возможны маленькие многоклеточные организмы, добавив новый иерархический уровень. Когда эволюция изобрела кровеносную систему и нервную систему для транспорта и коммуникации внутри организма, стали возможны крупные животные. Дальнейшее улучшение коммуникации посредством изобретения языка позволило людям координироваться настолько, что они стали жить деревнями, а следующий прорыв в области коммуникационных, транспортных и иных технологий повлек появление античных империй. Глобализация — это всего лишь последний пример многомиллиардолетнего тренда к росту иерархий.

В большинстве случаев этот определяемый технологиями тренд превращал крупные сущности в части еще более крупных структур, хотя и при сохранении большей части их автономии и индивидуальности, но комментаторы всегда сокрушались, что приспособление этих сущностей к жизни внутри иерархии в некоторых случаях сокращало их разнообразие и сводило к неразличимым взаимозаменяемым деталям. Некоторые технологии, такие как видеонаблюдение, увеличивают власть более высоких уровней иерархии над подчиненными им, но некоторые другие, такие как криптография и прямой онлайн-доступ к информационным медиа и образованию, оказывают противоположный эффект и укрепляют позиции индивидуумов.

Хотя в своем нынешнем состоянии мир продолжает оставаться в мультиполярном равновесии Нэша, с конкурирующими нациями и транснациональными корпорациями на верхнем уровне, технологии стали настолько совершенными, что и однополярный мир вполне мог бы достичь равновесия Нэша. Например, представим себе параллельную Вселенную, где у всех на Земле общий язык, общая культура, общие ценности и один уровень благосостояния, на планете единое мировое правительство, нации сохраняют свои права в рамках федерации, армии не нужны, и только полиция поддерживает порядок. Нашего нынешнего уровня развития технологий было бы достаточно для координации такого мира, хотя население, вероятно, оказалось бы неспособным или не пожелало бы переходить в состояние такого альтернативного равновесия.

Что случится с иерархической структуро нашего космоса, если мы добавим в эту смесь еще и сверхразумый искусственный интеллект? Транспортные и коммуникационные системы улучшаются очевидным образом, так что закономерно ожидать продолжения естественного тренда, с новыми иерархическими уровнями на дальних рубежах, когда, наконец, в дело включится и Солнечная система, и Галактика, и суперкластеры, и вообще необозримые просторы нашей Вселенной, о чем мы еще поговорим в главе 6. И как раз тут-то и начнет действовать фундаментальный драйвер децентрализации: вы только подумайте, как расточительна избыточная координация на таких больших расстояниях! Даже Сталин не пытался точно указывать своим гражданам, в какой момент они должны входить в баню. Для сверхразумного искусственного интеллекта жесткий верхний предел транспортным и коммуникационным технологиям укажут законы физики, делающие крайне маловероятной возможность контроля микродинамики планетарного или даже меньшего масштаба со стороны высших уровней иерархии. Сверхразумный искусственный интеллект где-нибудь в туманности Андромеды не сможет давать вам сколько-нибудь дельные советы по поводу вашей повседневной жизни: вам придется ждать их добрых пару миллионов лет (столько времени световому лучу надо, чтобы добраться до ближайших галактик и вернуться назад). А время, нужное световому лучу, чтобы совершить свое путешествие туда-сюда в пределах Земли, составляет около 0,1 секунды (это тот самый временной масштаб, в которым мыслим мы, люди), так что искусственный интеллект размером с Землю будет ворочать свои по-настоящему глобальные мысли не быстрее, чем мы, люди. А для маленького искусственного интеллекта, тратящего одну миллиардную секунды на каждую операцию (таково быстродействие современных компьютеров), 0,1 секунды — это как четыре месяца для вас, и для него быть подконтрольным на микроуровне глобальному искусственному интеллекту — это то же самое, что для вас испрашивать по каждому самому тривиальному поводу разрешения, которое будет доставляться через Атлантику каравеллой Колумбовой эры.

Этот физически обусловленный предел скорости передачи данных создаст очевидные проблемы для любого искусственного интеллекта, который захочет взять весь мир под свой контроль, что уж тут говорить о контроле над Вселенной. Прежде чем Прометей сбежал, ему пришлось основательно подумать над тем, как избежать фрагментации, как добиться того, чтобы различные его модули, оказавшись на разных компьютерах, возможно, в различных частях мира, подчинялись согласованным целям и стимулам, действовали как единая сущность. Точно так же, как у «омег» была проблема с отслеживанием действий Прометея, когда он был в их власти, так же и у самого Прометея возникает проблема с отслеживанием собственных действий, когда он хочет быть уверен, что ни одна из его частей не устроит «революции». У нас пока нет ясного представления, насколько велика может быть та система, которую искусственный интеллект будет в состоянии контролировать напрямую или опосредованно, при помощи равновесной иерархии — даже при условии, что быстрый побег даст ему решающее стратегическое превосходство.

Подводя итог, мы можем сказать, что вопрос о том, каким образом будет контролироваться сверхразумное будущее, увлекательно сложен, и никаким внятным ответом мы пока не располагаем. Одни говорят, что неизбежно усиление авторитаризма, другие говорят о росте индивидуальной свободы.

Киборги и заливки. Эмы

Один из коньков современной научной фантастики — это идея слияния людей и машин либо путем технологического дополнения биологического тела, превращающего человека в киборга (сокращение от «кибернетический организм»), либо путем заливки индивидуального разума в машину. Экономист Робин Хансон в своей книге The Age of Em дает поразительное описание того, на что будет похожа жизнь в мире, кишащем такими «заливками» (их также называют «эмуляциями», откуда сокращение «эмы»). Я думаю о заливке как о последнем рубеже в череде киборгов, когда от человека остается только его «софт». Разнообразие голливудских киборгов простирается от сугубо механических, вроде Борга в Star Trek, до почти неотличимых от людей андроидов вроде Терминатора. Область фантастических заливок охватывает и разум человеческого уровня, как в эпизоде «Белое Рождество» сериала Black Mirror, и, очевидно, сверхчеловеческого, как в Transcendence.

Если сверхразуму суждено случиться, то соблазн стать киборгом или заливкой будет очень велик. Как писал Ганс Моравец в своей книге Mind Children: «Длинная жизнь становится довольно бессмысленным делом, если нам суждено провести ее, пялясь тупо на ультраразумные машины, когда те пытаются описать нам свои все более удивительные открытия с помощью того детского лепета, который мы только и способны понимать». В самом деле, идея технологического дополнения реальности так сильна, что мы уже давно пользуемся очками, слуховыми аппаратами, кардиостимуляторами и искусственными конечностями — наряду с множеством медицинских молекул, циркулирующих в нашей крови. Некоторые подростки кажутся сросшимися со своими смартфонами, а моя жена то и дело подначивает меня из-за моей неразлучности с ноутбуком.

Один из наиболее видных проводников идеи киборгов — Рэй Курцвейл. В своей книге The Singularity Is Near он доказывает, что естественное продолжение этой идеи — использование наноботов, интеллектуальных систем биологической обратной связи и других технологий, которые к началу 2030х заменят наши пищеварительную и эндокринную системы, наши кровь и сердце, а потом дело дойдет до апгрейда скелета, кожи, мозгов — в последующие два десятилетия. Он полагает, что мы сохраним эмоциональную привязанность к эстетике человеческого тела, но переделаем его так, чтобы можно было быстро менять внешность по собственной прихоти и физически, и в виртуальной реальности (благодаря внедрению интерфейсов типа «мозг — компьютер»). Моравец согласен с Курцвейлом, что киборгизация пойдет значительно дальше простого улучшения наших ДНК: «генетическая инженерия сверхчеловека — это всего лишь второе поколение роботов, дизайн которых осложнен требованием генетически обусловленного синтеза белков». Дальше, утверждает он, нам придется и вовсе отказаться от человеческого тела и заливать свой разум, создавая свою полноразмерную программную эмуляцию. Такая заливка сможет либо существовать в виртуальной реальности, либо быть воплощенной в теле робота, благодаря чему сможет ходить, летать, плавать, перемещаться в космическом пространстве или делать еще что-то, не противоречащее законам физики, но не отвлекаясь на такие постоянно преследующие нас сейчас заботы, как неизбежность смерти или ограниченность познавательного ресурса.

Хотя все эти рассуждения могут показаться заимствованными из области научной фантастики, они определенно не нарушают никаких известных нам законов физики, так что самый интересный из возникающих в связи с ними вопросов — это не «может ли такое случиться?», а «случится ли когда-нибудь такое?», и если да, то когда? Некоторые ведущие специалисты в области искусственного интеллекта предполагают, что первый AGI будет заливкой, и именно отсюда начнется наш путь к созданию сверхразума[30].

Однако справедливости ради я должен признать, что сейчас среди исследователей в области искусственного интеллекта и нейронных сетей таких взглядов придерживается меньшинство, большинство же полагает, что наиболее быстрый путь к созданию сверхразума идет в обход эмуляции человеческого мозга, как-то иначе, после чего мы сможем вернуться, если захотим, к проблеме эмуляции. В конце концов, почему наш путь к новой технологии должен повторять тот, что был проделан эволюцией, которую сдерживали требования полной самостоятельности в создании, воспроизводстве и устранении препятствий? Эволюция шла в условиях недостаточного количества пищи, что требовало оптимального расходования энергии, и у нее не было нужды заботиться о том, чтобы полуающиеся конструкции оказались легки в сборке и понятны людям-инженерам. Моя жена Мейя любит повторять, что авиация не начиналась с постройки механических птиц. В самом деле, когда мы, наконец, в 2011 году поняли, как строить механических птиц^{66}, уже более века минуло со времен первого полета братьев Райт, и авиационная промышленность не проявила никакого интереса к перспективе перейти к путешествиям на машущих крыльями механических птицах, хотя это было бы значительно более экономно с точки зрения расхода энергии — просто потому, что наше предыдущее и более простое решение лучше подходит для удовлетворения наших потребностей в перелетах.

Каким-то похожим образом, думаю я, удастся найти и более простую технологию постройки машин, думающих по-человечески, чем та, к которой пришла эволюция, и даже если однажды нам и удастся то ли воспроизвести мозг, то ли «залить» его в машину, мы прежде найдем какое-то решение попроще. Наверное, оно потребует расходовать побольше 12 Ватт энергии, обеспечивающей работу мозга, но инженеры не так одержимы идеей экономить энергию, как эволюция, — и очень скоро те же самые инженеры при помощи созданных ими интеллектуальных машин найдут и более экономичные решения.

Так что же все-таки произойдет?

Короткий ответ состоит в том, что у нас, естественно, нет ни малейшего понятия, что же может произойти, когда мы создадим AGI человеческого уровня. Именно по этой причине мы потратили целую главу на то, чтобы обсудить широкий круг сценариев. По этой причине я постарался включить в нее все возможности, на обсуждении которых присутствовал или о которых слышал от специалистов в области искусственного интеллекта: быстрый разгон / медленный разгон / без разгона, управление людьми / машинами / киборгами, один центр власти / много центров и т. д. Некоторые говорили мне, что не верят в возможность чего-то подобного. Однако я считаю, что на нынешней стадии нам негоже заноситься и следует признавать, как мало мы знаем. И для каждого из обсуждавшихся выше сценариев я могу указать по меньшей мере одного солидного и уважаемого ученого, полагающего его совершенно возможным.

По мере того как идет время и мы проходим развилки на дорогах, у нас появляются ответы на ключевые вопросы, и выбор вариантов сужается. Первый среди главных вопросов — создадим ли мы когда-нибудь AGI человеческого уровня. Эта глава написана в предположении, что скоро создадим, но есть эксперты в области искусственного интеллекта, которые думают, что нам этого никогда не удастся, — по крайней мере, не в ближайшие несколько столетий. Время покажет. Но, как я уже говорил, на конференции в Пуэрто-Рико примерно половина экспертов оценили время его появления 2055 годом. А уже на следующей конференции, проходившей двумя годами позже, время ожидания сократилось до 2047-го.

Пока AGI не создан, у нас будут появляться веские основания считать, что успех будет достигнут совершенствованием компьютеров, или путем заливки, или еще каким-то иным, пока непредвиденным путем. Если совершенствование компьютеров — доминирующий на сегодня вариант — провалится, то могут повыситься шансы заливки, которая изображается (весьма нереалистично) в фильме Transcendence.

Если появление AGI станет неминуемым, мы сможем строить более обоснованные догадки относительно ответа и на второй ключевой вопрос: будет ли быстрый разгон, медленный разгон или не будет никакого разгона. Как мы видели, быстрый разгон облегчает захват всего мира, а медленный разгон делает более вероятным появление большого количества конкурирующих игроков. Ник Бострём препарирует этот вопрос о скорости разгона в ходе анализа того, что он называет оптимизационной силой и сопротивлением, в сущности представляющими собой совокупную интенсивность шагов к повышению качества (quality effort) искусственного интеллекта и сложность в достижении прогресса соответственно. Средняя скорость прогресса очевидно увеличивается, когда для достижения его применяется бльшая оптимизационная сила, и уменьшается, когда встречается бльшее сопротивление. Он приводит аргументы, почему сопротивление может возрастать или убывать при достижении AGI человеческого уровня, поэтому для надежности было бы разумно пока держать обе возможности в поле зрения. Но если говорить об оптимизационной силе, то она со всей вероятностью должна быстро возрастать при превышении AGI человеческого уровня — по причинам, которые ясно проявились при нашем описании сценария «Омега»: в последующем основной вклад в оптимизацию делают не люди, а сама машина, и чем выше ее способности, тем быстрее прогресс (если сопротивление остается константой).

Для любого процесса, сила которого, определяющая его скорость, пропорциональна достигнутому уровню, результат, производимый этой силой, будет удваиваться через один и тот же промежуток времени. Мы называем такой рост экспоненциальным, а такие процессы — взрывом. Если количество новорожденных будет пропорционально численности популяции, то произойдет популяционный взрыв. Если рождение нейтронов, способных вызывать деление ядер плутония, растет пропорционально числу этих нейтронов, то произойдет атомный взрыв. Если разум машины растет пропорционально его силе, то мы получим взрыв разума. Каждый из таких взрывов характеризуется временем, которое требуется, чтобы сила удвоилась. Если характерное время интеллектуального взрыва — часы или дни, как было в примере со сценарием «Омега», то мы получаем быстрый разгон.

Характерное время взрыва принципиально зависит от того, достаточно ли для усиления искусственного интеллекта только улучшения его «софта» (которое возможно в считанные секунды, минуты или часы), или оно требует изменения «харда» (на что могут уйти месяцы или годы). В сценарии «Омега» имелся значительный аппаратный излишек (hardware overhang), по терминологии Бострёма: «омеги» могли компенсировать низкое качество своих исходных программ изобилием находящихся в их распоряжении компьютеров, что означало наличие возможности у Прометея производить большое количество удвоений качества, только улучшая свой «софт». Но благодаря интернету у него был и большой излишек контента (content overhang); Прометей 1.0 был не в состоянии им воспользоваться, но когда его интеллектуальные способности выросли, данные, необходимые для его дальнейшего обучения, могли быть в его распоряжении незамедлительно.

Стоимость конструкции и расходуемой искусственным интеллектом электроэнергии также существенные факторы, так как интеллектуальный взрыв нам не будет выгоден, пока стоимость выполняемой искусственным интеллектом работы человеческого качества не будет ниже оплаты этой работы, если ее будет выполнять сам человек. Допустим, например, что первый AGI сможет выполнять любые задания, на какие только способен человек, в облаке Amazon по стоимости 1 миллион долларов в час. Конечно, это будет грандиозный прорыв, и все газеты разместят эту новость на первых полосах, но никакого последовательного самоусовершенствования этого искусственного интеллекта пока не случится, потому что выгоднее будет продолжать использовать для его усовершенствования людей. Предположим, что эти люди постепенно добиваются успеха, и стоимость часа работы искусственного интеллекта снижается — сначала до 100 000 долларов в час, потом до 10 000 долларов в час, потом до 1 000 долларов в час, потом до 100 долларов в час, потом до 10 долларов в час и, наконец, до 1 доллара в час. Ко времени, когда использовать сам компьютер для собственного перепрограммирования окажется значительно дешевле, чем платить людям за ту же работу, программистов можно отправлять на покой, а оптимизационная сила резко возрастет за счет появившейся возможности покупать вычислительное время в облаке. Отсюда возникнет еще большее снижение стоимости, еще больше увеличивающее оптимизационную силу. Вот и начало интеллектуального взрыва.

У нас теперь остается только один, последний ключевой вопрос: кто иличто будет контролировать интеллектуальный взрыв и его последствия, каковы будут его/их цели. Мы исследуем возможные цели и результаты, получаемые при их достижении, в следующей главе, а потом, на более глубоком уровне, в главе 7. Чтобы разобраться в вопросе управления, его надо разделить на два: насколько управляем искусственный интеллект, и насколько искусственный интеллект способен к управлению.

Относительно того, что случится дальше, у нас наблюдается предельное разнообразие вариантов: вы можете найти серьезных мыслителей, полагающих, что наша гибель в этом случае неизбежна, и не менее серьезных мыслителей, уверенных в том, что нам гарантированы самые благоприятные последствия. Но, на мой взгляд, в самом вопросе содержится подвох: обреченно спрашивать «что случится», как будто все уже предрешено, — это большая ошибка! Если технологически опережающая нас цивилизация прибудет на Землю завтра, спрашивать «что случится?» естественно: их космические корабли уже подлетают, их сила, очевидно, значительно превосходит нашу, поэтому никаких способов повлиять на будущее у нас нет. Если технологически превосходящая и подкрепленная искусственным интеллектом цивилизация наступает, потому что мы сами ее создали, то у нас, людей, есть много возможностей повлиять на дальнейшее развитие событий — возможностей, реализуемых в процессе создания искусственного интеллекта. Поэтому правильный вопрос звучит так: «Что должно случиться? Какое будущее мы хотим получить?». В следующей главе мы рассмотрим широкий спектр ответов, возможность которых нам открывает нынешняя гонка за AGI, и мне любопытно узнать, как бы вы расположили их — от наиболее привлекательных к наиболее отталкивающим. Только хорошенько подумав о том, какое будущее нам кажется наиболее привлекательным, мы сможем как-то направить свое развитие в сторону этого будущего. Не зная, чего мы хотим, мы вряд ли это получим.

Подведение итогов

• Если когда-нибудь нам удастся создать AGI человеческого уровня, за этим может последовать интеллектуальный взрыв, и мы в результате останемся далеко позади.

• Если группа людей справится с управлением этим интеллектуальным взрывом, то эти люди смогут за несколько лет взять в свои руки власть над всем миром.

• Если люди не будут контролировать интеллектуальный взрыв, то искусственный интеллект сможет еще быстрее взять весь мир под свой контроль.

• В то время как быстро развивающийся интеллектуальный взрыв может привести к власти над миром одной-единственной державы, медленно развивающийся взрыв, растянувшись на годы или десятилетия, с большей вероятностью приведет к реализации многополярного сценария, предполагающего достижение равновесия в распределении сил между большим числом достаточно независимых сущностей.

• История жизни показывает ее склонность к самоорганизации во все более усложняющиеся иерархические структуры, формируемые под влиянием сотрудничества, состязания и управления. Сверхразум, вероятно, сможет распространить координацию до немыслимых доныне космических масштабов, однако сейчас невозможно сказать, приведет ли это к тоталитарной власти, упорядоченной сверху донизу, или, напротив, это откроет путь для реализации индивидуальных возможностей.

• И создание киборгов, и заливка человеческого разума в машинную память вполне правдоподобны, но, похоже, ни то, ни другое не обеспечивает скорейшего прогресса для машинного интеллекта.

• Наш нынешний энтузиазм в создании искусственного интеллекта может привести нас и в точку наивысшего развития, и в точку глубочайшего падения относительно всей предшествующей истории человечества. Широчайший спектр возможностей мы обсудим в следующей главе.

• Нам пора начать думать о том, какой итог мы бы предпочли, и о том, как можно направить к нему наше движение, потому что, не зная, чего мы хотим, мы вряд ли это получим.

Гонка за AGI началась, и пока у нас нет никаких представлений о том, как она будет проходить. Но это не означает, что мы не должны уже сейчас подумать, какого завершения мы бы хотели, потому что от наших желаний зависит то, к чему мы приходим. Что бы лично вы предпочли и почему?

1. Вы бы хотели, чтобы суперинтеллект был создан?

2. Вы бы хотели, чтобы человеческие существа оставались / были заменены кем-то другим, превратились бы в киборгов и/или переселились в виртуальный мир / были симулированы?

Страницы: «« « 12345678 » »»