Искусственный интеллект. Этапы. Угрозы. Стратегии Бостром Ник
Рис. 7. Схема взлета. Важно разделять такие вопросы, как: состоится ли взлет? если взлет состоится, то когда? если когда-нибудь взлет произойдет, насколько резким он будет? Например, можно считать, что до взлета еще очень много времени, но когда момент наступит, все произойдет очень быстро. Есть еще один важный вопрос (на диаграмме не показан): какова будет роль мировой экономики в процессе взлета сверхразумной системы? Все вопросы связаны между собой.
Горизонтальная линия с надписью «человеческий уровень» представляет характерные для современных развитых стран интеллектуальные возможности среднестатистического взрослого человека, имеющего доступ к источникам информации и технологическим средствам. В настоящее время даже самая передовая интеллектуальная система в значительной степени — по любым разумным показателям — отстает от основных человеческих характеристик. В будущем, в какое-то неопределенное для нас время, интеллектуальная система сможет достичь приблизительного равенства с человеком (за основу нами принят зафиксированный в 2014 году общий уровень интеллекта человека, даже если в последующие годы он предположительно будет расти) — этот момент будет свидетельствовать о начале взлета. Возможности интеллектуальной системы продолжат увеличиваться и спустя некоторое время достигнут паритета с объединенными интеллектуальными способностями всего человечества (уровень фиксации тот же 2014 год) — это мы обозначим как «цивилизационный уровень». Если интеллектуальная система пойдет по пути дальнейшего развития, она наконец превратится в сильный сверхразум, то есть с точки зрения интеллектуальных возможностей выйдет на уровень, значительно превосходящий уровень человечества в целом, — когда это будет достигнуто, можно говорить о завершении взлета, хотя сама сверхразумная система в состоянии самосовершенствоваться и дальше. В какой-то момент в течение процесса взлета система может пройти отметку «критический рубеж», то есть точку, за которой совершенствование будет зависеть не от деятельности людей, а в основном от ее собственных усилий[218]. (Возможность существования критического рубежа, или точки перехода, важна для обсуждения тем, рассматриваемых в последнем разделе главы, — сила оптимизации и взрывоопасность.)
На диаграмме представлен обобщенный сценарий перехода интеллектуальной системы с человеческого на сверхразумный уровень, но в зависимости от крутизны кривой можно выделить три типа сценариев взлета — медленный, быстрый, умеренный.
1. Медленный взлет. Будет происходить на долгих временных интервалах — от десятилетий до столетий. Такие сценарии представляют собой отличные возможности, чтобы человечество смогло обдумать свои дальнейшие политические ходы, адаптировать их к ситуации и правильно реагировать на происходящее. Можно будет последовательно тестировать разные подходы, обучить и подготовить новых специалистов. Предвыборные кампании будут ориентированы на сторонников и противников происходящих процессов. Если выяснится, что нужны новые системы безопасности и общественного контроля над исследованиями в области ИИ, будет достаточно времени, чтобы их разработать и развернуть. Страны и ученые, опасающиеся гонки вооружений в области военного применения ИИ, смогут провести необходимые переговоры и разработать защитные механизмы. Большинство подготовительных мер, предпринятых накануне процесса медленного взлета, окажутся морально устаревшими, но постепенно начнут появляться новые решения, актуальные для наступающей эпохи.
2. Быстрый взлет. Произойдет в течение очень короткого промежутка времени — минуты, часы, дни. В сценариях быстрого взлета у людей почти не остается возможности реагировать на него. Никто не успеет ничего заметить, а игра уже окажется проигранной. В любом сценарии быстрого взлета судьба человечества в основном зависит от подготовительной работы, уже проведенной к этому моменту. В самом медленном из быстрых сценариев со стороны людей еще могут быть произведены какие-то элементарные телодвижения вроде потянуться открыть «ядерный чемоданчик», но тогда алгоритмы этих действий должны быть или действительно элементарны, или запланированы, запрограммированы и отрепетированы заранее.
3. Умеренный взлет. Произойдет в течение относительно короткого временного интервала — от нескольких месяцев до нескольких лет. В этом случае у человечества остается некоторая возможность отреагировать на происходящее, но не будет времени проанализировать его, протестировать разные подходы и решить сложные задачи координации действий. На создание и развертывание новых систем, таких как политические меры, механизмы контроля, протоколы безопасности компьютерных сетей, времени тоже не останется, но, возможно, получится приспособить к новым обстоятельствам уже существующие нормы.
В случае медленного взлета будет достаточно времени для распространения новостей. При умеренном взлете разработки могут остаться засекреченными. Знанием о них будут располагать лишь очень ограниченные группы людей, как это бывает при разработке секретных государственных программ военных исследований. Так же тайно, силами небольших научных коллективов или хакеров в каком-нибудь подвале, могут вестись работы в рамках коммерческих проектов — впрочем, если перспективы взрывного развития сверхразума попадут на радары государственных спецслужб и станут одним из приоритетов национальной безопасности, у наиболее многообещающих частных проектов появятся большие шансы оказаться под наблюдением. В таком случае у государства (или доминирующего международного игрока) будет возможность национализировать или закрыть любой проект, демонстрирующий признаки скорого взлета.
Быстрый взлет произойдет за столь короткое время, что никто не успеет не то что отреагировать на него, но даже рот открыть. Вмешаться будет возможно до начала взлета — правда, лишь при условии, что наготове имеется механизм по защите.
Сценарии умеренного взлета могут привести к геополитическим, социальным и экономическим потрясениям, поскольку отдельные люди и сообщества постараются обеспечить себе выигрышные позиции в ходе разворачивающихся преобразований. Возможные беспорядки начнут тормозить усилия по координации ответных мер и спровоцировать принятие решений более радикальных, чем те, которые были бы приняты в спокойной ситуации. Например, по одному из сценариев умеренного взлета в течение нескольких лет рынок труда постепенно заполняют дешевые и сверхпроизводительные имитационные модели, полученные вследствие полной эмуляции мозга, или иные системы искусственного интеллекта. При таком развитии событий можно допустить, когда начнутся массовые увольнения работников-людей, не менее массовые протесты, которые вынудят правительства увеличить пособия по безработице, ввести гарантии пожизненной занятости для всех граждан, а также специальные налоги или обязательные социальные отчисления для работодателей, использующих труд работников-роботов. Чтобы принятые в результате такой политики меры не оказались пустыми, они должны быть поддержаны новыми политическими и социальными структурами, действующими на постоянной основе. Аналогичные проблемы не исключены при сценариях медленного взлета, но в сценариях умеренного взлета диспропорции и скорость изменений способны привести к тому, что небольшие группы активистов получат непропорционально большое влияние.
Некоторым читателям может показаться, что из перечисленных сценариев взлета наиболее вероятен — медленный, менее вероятен — умеренный, практически невозможен — быстрый. Возможно ли предположить, что всего за пару часов мир в состоянии радикально измениться, а венец творения — быть сброшенным с вершины разума? С подобными громадными переменами история человечества еще не сталкивалась, а ближайшие параллели — неолитическая (сельскохозяйственная) и промышленная революции — потребовали гораздо больше времени (от нескольких веков до тысячелетия в первом случае, от нескольких десятилетий до веков — во втором). То есть база для трансформации такого рода, какая предполагается в случае сценариев быстрого или умеренного взлета, с точки зрения величины и скорости происходящих изменений, равна нулю, поскольку прецедентов — если не брать в расчет мифологии и религии — в человеческой истории не было[219].
Однако медленный сценарий представляется как раз самым маловероятным — в пользу этого положения я приведу далее соответствующие аргументы. Скорее всего, события начнут развиваться по быстрому сценарию — если когда-нибудь взлет произойдет, он будет иметь взрывной характер.
Чтобы получить ответ на вопрос, насколько быстрым будет взлет, можно считать скорость роста интеллектуальных способностей системы монотонно возрастающей функцией двух переменных: величины «силы оптимизации», или взвешенных на качество усилий по разработке, прилагаемых с целью сделать систему более интеллектуальной, и «отзывчивости» системы к приложению оптимизирующей силы. Можно также ввести термин «сопротивляемость», обратный отзывчивости, и записать следующее:
В отсутствие количественного определения уровня интеллекта, усилий по его повышению и сопротивляемости это выражение остается по большей части качественным. Но по крайней мере можно будет наблюдать, что интеллектуальные способности системы быстро растут, когда или прилагаются большие усилия для их развития, притом что развить ее способности не очень трудно, или нужны нетривиальные усилия по разработке правильного дизайна системы, притом что сопротивляемость ее низка (или справедливо и то и другое). Если мы знаем, сколько усилий прилагается для улучшения той или иной системы, и скорость улучшений, которую они обеспечивают, то можем рассчитать сопротивляемость этой системы.
Далее, мы можем наблюдать, что сила оптимизации, направленная на улучшение эффективности той или иной системы, с течением времени сильно изменяется от системы к системе. Сопротивляемость системы также может сильно зависеть от того, насколько система уже оптимизирована. Часто первыми делаются простейшие улучшения, в результате чего — по мере срывания самых низко висящих плодов — результаты появляются все медленнее (растет сопротивляемость системы). Однако могут быть улучшения, облегчающие последующие улучшения, и тогда возникает каскад улучшений. Процесс складывания пазла поначалу кажется простым, ведь сложить углы и края картины довольно легко. Затем сопротивляемость растет — подбирать последующие части становится труднее. В конце, когда сборка пазла почти завершена, свободных мест практически не остается, и процесс вновь идет легко.
Таким образом, чтобы найти ответ на наш вопрос, следует проанализировать, как меняются в критические моменты взлета степень сопротивляемости и сила оптимизации. Этим мы и займемся далее.
Сопротивляемость
Начнем с сопротивляемости. В этом случае прогноз зависит от типа рассматриваемой системы. Для полноты картины вначале рассмотрим сопротивляемость, которая характерна для путей движения в сторону сверхразума, не связанных с созданием усовершенствованного машинного интеллекта. Мы считаем, что в таком случае сопротивляемость будет довольно высока. Справившись с этим, обратимся к главному — взлету, связанному с искусственным интеллектом. Похоже, в данном случае сопротивляемость в критический момент окажется довольно низкой.
Пути, не подразумевающие создания машинного интеллекта
Результативность когнитивного совершенствования за счет улучшения здравоохранения и организации здорового питания со временем резко падает[220]. Многого можно добиться за счет ликвидации такого жесткого фактора, как дефицит питательных веществ в ежедневном рационе, но этого явления уже нет практически нигде, кроме самых бедных стран. Дальнейшее улучшение и так уже полноценного рациона мало на что влияет. Усиление образовательного процесса будет тоже играть все меньшую роль. Доля одаренных людей, лишенных доступа к качественному образованию, все еще велика, но постепенно снижается.
В ближайшие десятилетия какое-то повышение уровня интеллектуальных способностей можно будет обеспечить за счет медикаментозных средств. Но после того как удастся добиться самых простых улучшений — скорее всего, речь пойдет об укреплении на продолжительный срок умственных сил, долговременной памяти и способности сосредоточивать внимание, — дальнейший прогресс будет даваться все с большим и большим трудом. По сравнению с такими долговременными подходами, как обеспечение правильного питания и охрана здоровья, обращение к лекарственным средствам, стимулирующим умственные способности, вначале может показаться быстрым и легким путем, но это не так. В нейрофармакологии по-прежнему много белых пятен даже на уровне элементарных знаний, необходимых, чтобы компетентно вмешиваться в работу здорового мозга. Отчасти медленный прогресс вызван неготовностью считать медикаментозные методы достойной областью исследований. Видимо, нейробиология и фармакология как науки еще какое-то время будут развиваться, не обращая особого внимания на проблему усиления когнитивных функций. Что поделаешь, придется ждать тех времен, когда разработка ноотропных средств все-таки станет одним из приоритетных направлений — тогда наконец удастся добиться относительно быстрых и простых побед[221].
Генетическое когнитивное улучшение имеет U-образный профиль сопротивляемости, как и у ноотропов, но с более заметными потенциальными выгодами. Вначале — пока единственным доступным методом остается селекция на протяжении нескольких поколений, которую, конечно, трудно проводить в общемировом масштабе, — уровень сопротивляемости высок. По мере того как появляются технологии для недорогого и эффективного генетического тестирования и селекции (особенно когда станет доступным итеративный отбор эмбрионов в случае людей), генетическое улучшение становится более простым делом. Эти новые методы позволят проверить весь спектр существующих вариаций человеческих генов на наличие повышающих интеллект аллелей. Однако после того как лучшие из них будут включены в пакеты генетического улучшения, дальнейший прогресс окажется делом более трудным. Необходимость разработать более инновационные подходы к генетической модификации может повысить сопротивляемость. На пути генетического улучшения скорость прогресса ограничена — ограничена в основном тем обстоятельством, что вмешательство на эмбриональном уровне зависит от неизбежной отсрочки на время взросления, что препятствует развитию сценариев с быстрым или умеренным взлетом[222]. Метод селекции эмбрионов неразрывно связан с длительным процессом внедрения технологии ЭКО в общественное сознание, что является еще одним ограничивающим фактором.
На пути создания нейрокомпьютерного интерфейса, похоже, сопротивляемость поначалу будет очень высокой. В маловероятном сценарии, когда вдруг получится легко вживлять имплантат и достигать высокоуровневой функциональной интеграции с корой головного мозга, сопротивляемость пойдет вниз. Но в долгосрочном плане ситуация со все менее заметным прогрессом при движении по этому пути будет аналогична случаю с улучшением имитационной модели головного мозга и интеллектуальных систем, поскольку в конечном счете интеллект системы мозг–компьютер будет обеспечивать ее компьютерная составляющая.
В случае попыток сделать сети и организации более эффективными сопротивляемость в большинстве случаев будет высокой. Чтобы ее преодолеть, потребуются значительные усилия, в результате чего совокупные интеллектуальные возможности человечества, возможно, будут увеличиваться всего на пару процентов в год[223]. Более того, сдвиги во внутренней и внешней среде приведут к тому, что даже эффективные в какой-то момент организации перестанут приспосабливаться к новым обстоятельствам. То есть потребуются постоянные усилия по их реформированию, хотя бы для того, чтобы не допустить ухудшения ситуации. Скачкообразный рост темпов повышения производительности средней организации, в принципе, возможен, но трудно вообразить, что даже в наиболее радикальном сценарии такого рода произойдет не медленный, а умеренный и тем более быстрый взлет, поскольку организации, в которых работают люди, ограничены таким понятием, как человеко-часы. Передовым рубежом со множеством возможностей для повышения уровня коллективного интеллекта остается интернет, причем пока сопротивляемость здесь остается на умеренном уровне: прогресс заметен, но для его достижения требуется много усилий. После того как все низко висящие плоды окажутся сорванными (вроде поисковых систем и электронной почты), сопротивляемость, скорее всего, начнет расти.
Пути создания имитационной модели мозга и искусственного интеллекта
Степень трудности, стоящей на пути полной эмуляции головного мозга, оценивать довольно сложно. Но одна веха на этом пути уже пройдена: успешно создана имитационная модель мозга насекомого. Это та возвышенность, взобравшись на которую можно увидеть, что за ландшафт ждет нас впереди, и понять уровень сопротивляемости, с которым мы столкнемся в процессе масштабирования технологий моделирования человеческого мозга. (Еще лучшей точкой обзора станет успешное моделирование мозга небольшого млекопитающего вроде мыши, после чего расстояние, оставшееся до создание имитационной модели головного мозга человека, можно будет оценить довольно точно.) Однако путь создания искусственного интеллекта может не иметь таких очевидных контрольных точек обзора. Вполне возможно, что экспедиция к ИИ будет долго блуждать в непроходимых джунглях, пока внезапный прорыв не приведет к ситуации, что мы окажемся всего лишь в нескольких шагах от финишной черты.
Вспомним о двух вопросах, о которых я говорил, что их принципиально нужно различать. Насколько мы далеки от создания универсального искусственного интеллекта человеческого уровня? Насколько быстро произойдет переход от этого уровня к сверхразумному? Первый вопрос больше относится к оценке того, сколько времени потребуется на подготовку взлета. Для ответа на второй вопрос важно определить траекторию полета к сверхразуму — цели нашего исследования в этой главе. Довольно соблазнительно предположить, что шаг от создания УИИЧУ к появлению сверхразума будет очень сложным, что этот шаг, в конце концов, должен быть сделан «на большей высоте», где к уже имеющейся системе нужно будет добавить дополнительную мощность. Считать так было бы неверно. Вполне возможно, что с достижением равенства между интеллектуальными способностями человека и машины сопротивляемость упадет.
Рассмотрим в первую очередь полную эмуляцию головного мозга. Трудности, ожидающие нас на пути создания первой успешной имитационной модели, разительно отличаются от трудностей, связанных с ее дальнейшим обслуживанием. В первом случае придется решить множество технических проблем, особенно в области разработки необходимых технологий сканирования и обработки изображений. Нужно будет создавать материальные активы, возможно, целый парк из сотен высокопроизводительных сканирующих устройств. Напротив, повышение качества уже существующей имитационной модели мозга связано скорее с совершенствованием программного обеспечения — с тонкой настройкой алгоритмов и уточнением структуры данных. Эта задача может оказаться легче, чем создать технологию обработки изображений, без которой дальнейший прогресс невозможен в принципе. Программисты могут экспериментировать с разными параметрами вроде количества нейронов в различных областях коры головного мозга, чтобы посмотреть, как это влияет на производительность модели[224]. А также поработать над оптимизацией кода и поискать более простую вычислительную модель, способную сохранить всю основную функциональность отдельных нейронов и небольших нейронных сетей. Если последней технологической составляющей, которой будет недоставать для решения задачи, окажется сканирование или трансляция, притом что вычислительная мощность будет в избытке, тогда на первом этапе не придется уделять особое внимание вопросам эффективности, поэтому на втором этапе можно будет многое оптимизировать. (Вероятно, получится провести фундаментальную реорганизацию вычислительной архитектуры, однако это уведет нас с пути эмуляции на путь создания ИИ.)
Еще один способ улучшить код имитационной модели мозга после того, как она будет создана, это сканировать головной мозг других людей с отличающимися или более высокими навыками и талантами. Можно также добиться роста производительности в результате последовательной адаптации организационной структуры и процессов к специфике функционирования цифрового интеллекта. Поскольку в мировой экономике, созданной человеком, не было аналогов работника, которого можно в буквальном смысле слова скопировать, перезапустить, ускорить или замедлить и так далее, то у руководителей первого коллектива работников эмуляций будет множество возможностей для инноваций в области управления.
После снижения сопротивляемости в результате создания первой имитационной модели человеческого мозга ее уровень может снова начать расти. Рано или поздно будут устранены наиболее очевидные недостатки, сделаны наиболее многообещающие изменения алгоритма, использованы самые простые возможности для организационных улучшений. Библиотека исходных данных вырастет настолько, что сканирование дополнительных экземпляров мозга перестанет заметно повышать качество модели. Поскольку имитационную модель можно копировать, а каждую копию обучать, то есть загружать в нее самые разнообразные знания, возможно, для получения максимального эффекта не придется сканировать мозг множества людей. Вполне вероятно, что довольно будет всего одного.
Еще одна потенциальная причина роста сопротивляемости состоит в том, что сами имитационные модели или их защитники-люди могут организовать движение за регулирование отрасли, что повлечет за собой ряд ограничений: сокращение числа работников-эмуляций; лимит на копирование имитационных моделей; запрет на определенные виды экспериментов над моделями, — но кроме этого работники-эмуляции получат гарантированное соблюдение своих прав, установленную специально для них минимальную заработную плату, ну и так далее. Правда, вполне допустимо, что политическое развитие пойдет в прямо противоположном направлении, в результате чего сопротивляемость упадет. Это может случиться, если первоначальные ограничения в использовании работников-эмуляций уступят место их безоглядной эксплуатации — после того как вырастет конкуренция и станут очевидны высокие экономические и стратегические издержки слишком щепетильного отношения к моральным аспектам проблемы.
Что касается искусственного интеллекта (машинного интеллекта, не связанного с имитационным моделированием человеческого мозга), то степень сложности его развития от УИИЧУ до уровня сверхразума за счет совершенствования алгоритма будет зависеть от особенностей конкретной системы. Сопротивляемость разных архитектур может различаться очень сильно.
В некоторых случаях она, вероятно, окажется чрезвычайно низкой. Скажем, создание ИИЧУ задерживается из-за какого-то последнего, ускользающего от программистов штриха, но после того как он будет найден, ИИ может в одночасье преодолеть разрыв между уровнем ниже человеческого и уровнем, значительно его превосходящим. Еще одна ситуация, в которой сопротивляемость может оказаться низкой, — это когда умственные способности ИИ развиваются за счет двух различных способов обработки информации. Представим ИИ, состоящий из двух подсистем, одна из которых отвечает за методы решения узкоспециализированных задач, другая — за универсальное мышление. Вполне возможно, что если вторая подсистема недотягивает до некоторого порогового значения производительности, она ничего не добавляет в совокупную производительность системы, поскольку ее решения всегда хуже тех, которые вырабатывает подсистема работы со специализированными задачами. Теперь предположим, что к подсистеме универсального мышления приложили определенную силу оптимизации, в результате чего производительность подсистемы резко повысилась. Поначалу мы не увидим изменения в совокупной производительности системы, что говорит о ее высокой сопротивляемости. Затем, когда возможности второй подсистемы пересекут некоторое пороговое значение, ее решения станут превосходить решения подсистемы специализированных задач, и совокупная производительность ИИ начнет расти с тем же высоким темпом, как растет производительность подсистемы универсального мышления, несмотря на то что сила оптимизации остается неизменной, — тогда сопротивляемость системы резко упадет.
Возможно также, что из-за естественной для нас склонности смотреть на интеллект с антропоцентрической точки зрения мы будем недооценивать динамику улучшений в системах, недотягивающих до человеческого уровня, и, таким образом, переоценивать сопротивляемость. Элиезер Юдковский, теоретик искусственного интеллекта, много пишущий о его будущем, говорит об этом в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» (см. также рис. 8):
ИИ может совершить кажущийся резким скачок в интеллектуальных способностях исключительно вследствие антропоморфизма, то есть присущей человеку тенденции считать, будто на интеллектуальной шкале располагается не практически бесконечное количество точек, а есть всего две крайние, причем на одной крайней точке находится «деревенский дурачок», а на другой — «Эйнштейн».
Все, что глупее глупого человека, может показаться кому-то просто «глупым». И вот мы как бы двигаемся по интеллектуальной шкале вправо, мимо мышей и шимпанзе, а ИИ все еще остается «глупым», поскольку не говорит свободно на вашем языке и не пишет научные статьи, но потом он внезапно преодолевает крошечный разрыв между недоидиотом и сверх-Эйнштейном за месяц или около того[225].
Рис. 8. Не слишком антропоморфная шкала? Разрыв между идиотом и гением с антропоцентрической точки зрения может показаться очень значительным, но в более широкой перспективе различий между ними почти не видно[226]. Наверняка гораздо сложнее будет создать машину, чей уровень общего интеллекта окажется сравнимым с уровнем интеллекта полного идиота, чем усовершенствовать эту систему, в результате чего она станет намного умнее самого гениального из людей.
Итак, все соображения приводят к следующему заключению: очень трудно предсказать, насколько сложно будет усовершенствовать алгоритм первого ИИ, который достигнет примерно общего интеллектуального уровня человека. Можно представить как минимум несколько возможных обстоятельств, при которых сопротивляемость алгоритма будет низка. Но даже если она и очень высока, это не говорит о том, что совокупная сопротивляемость ИИ также обязательно должна быть высокой. Можно легко повысить уровень интеллектуальных способностей системы и без корректировки алгоритмов. Есть еще два фактора, влияющих на него: контент и оборудование.
Прежде всего поговорим об улучшении контента. Под «контентом» мы понимаем те части кода ИИ, которые не относятся к его главной алгоритмической архитектуре. К контенту могут относиться, например, базы данных сохраненных объектов восприятия, библиотек специализированных навыков и запасы декларативных знаний. Для многих типов систем грань между алгоритмической архитектурой и контентом довольно размыта, тем не менее она может быть простым способом отметить один потенциально важный источник прироста способностей машинного интеллекта. Можно иначе выразить ту же самую идею: способности системы решать интеллектуальные задачи можно повысить не только сделав систему умнее, но и увеличив объем ее знаний.
Возьмем современные интеллектуальные системы вроде TextRunner (исследовательский проект, который реализуется в Университете Вашингтона) или суперкомпьютера Watson, созданного в IBM (обыграл двух рекордсменов телевизионной игры-викторины Jeopardy!). Они способны извлекать некоторое количество семантической информации, анализируя текст. И хотя эти системы не понимают, что читают, — в том смысле или до такой же степени, как люди, — они тем не менее могут получать значимую информацию из текста, написанного на обычном языке, и использовать ее для получения простых выводов и ответов на вопросы. Еще они могут учиться на своем опыте, усложняя представление концепции по мере того, как сталкиваются с новыми случаями ее использования. Они разработаны так, чтобы большую часть времени работать без вмешательства людей (то есть учиться находить скрытую структуру в неразмеченных данных в отсутствие сигналов, подтверждающих правильность или сообщающих об ошибочности их действий, со стороны человека), причем работать быстро и с возможностью масштабирования. Скажем, TextRunner работает с массивом из пятисот миллионов интернет-страниц[227].
Теперь представим далекого потомка такой системы, способного понимать прочитанное на уровне десятилетнего ребенка, но читающего при этом со скоростью TextRunner. (Вероятно, это ИИ-полная задача.) То есть мы воображаем систему, думающую гораздо быстрее и запоминающую гораздо лучше взрослого человека, но знающую много меньше, — возможно, в результате ее способности будут примерно соответствовать человеческим способностям решать задачи на общем интеллектуальном уровне. Но ее сопротивляемость с точки зрения контента очень низка — достаточно низка, чтобы произошел взлет. За несколько недель система прочитает и обработает весь контент, содержащийся в книгах из библиотеки Конгресса США. И вот она уже и знает больше любого человеческого существа, и думает гораздо быстрее — то есть становится слабым (по меньшей мере) сверхразумом.
Таким образом, система может резко усилить свои интеллектуальные способности, впитав информацию, накопленную за многие века существования человеческой науки и цивилизации, например получая ее из интернета. Если ИИ достигает человеческого уровня, не имея доступа к этим материалам или не будучи способным их переварить, тогда его общая сопротивляемость будет низка даже в том случае, когда его алгоритмическую архитектуру улучшить довольно трудно.
Концепция сопротивляемости контента также важна с точки зрения создания эмуляционной модели мозга. Работающая с большой скоростью имитационная модель мозга имеет преимущество перед биологическим мозгом не только потому, что решает те же задачи быстрее, но и потому, что аккумулирует более подходящий контент, в том числе релевантные с точки зрения задачи навыки и опыт. Однако, чтобы раскрыть весь потенциал быстрого накопления контента, системе нужны соответствующие большие объемы памяти. Бессмысленно читать подряд энциклопедии, если к тому времени как дойдешь до статьи Abalone (африканский муравьед), забудешь все, что узнал из статьи Aardvark (моллюск). В то время как у систем ИИ, скорее всего, недостатка в памяти не будет, модели мозга могут унаследовать некоторые ограничения от своих биологических оригиналов. И, как следствие, потребуют каких-то архитектурных усовершенствований, чтобы иметь возможность обучаться без ограничений.
До сих пор мы рассматривали сопротивляемость архитектуры и контента — то есть то, насколько может быть сложно улучшить программное обеспечение машинного интеллекта, достигшего человеческого уровня интеллекта. Теперь давайте поговорим о третьем пути повышения производительности такого интеллекта, а именно об усовершенствовании его вычислительной части. Какой может быть сопротивляемость улучшению аппаратной основы?
После появления интеллектуальных программ (систем ИИ или имитационных моделей мозга) усилить коллективный интеллект можно будет просто за счет использования множества дополнительных компьютеров, на которых запущены их копии[228]. Скоростной интеллект можно усилить, перенеся программы на более быстрые компьютеры. В зависимости от того, насколько программы способны работать параллельно, еще один ресурс заключается в использовании большего числа процессоров. Это, скорее всего, подойдет для моделей мозга, которые изначально имеют параллельную архитектуру, но и многие системы ИИ включают в себя процедуры, эффективность выполнения которых повысится за счет параллельного выполнения. Усилить качественный интеллект за счет наращивания вычислительной мощности, возможно, также удастся, но вряд ли так же прямолинейно[229].
Таким образом, сопротивляемость при усилении коллективного или скоростного (и, возможно, качественного) интеллекта в программах человеческого уровня, скорее всего, будет низкой. Единственной сложностью останется получить доступ к дополнительным вычислительным мощностям. Есть несколько путей расширения аппаратной базы системы, каждый из которых требует различных затрат времени.
В краткосрочной перспективе вычислительная мощность может масштабироваться практически линейно исключительно за счет дополнительного финансирования: увеличится оно вдвое — можно будет купить вдвое больше компьютеров, что позволит запустить вдвое больше программ одновременно. Возникновение облачных вычислительных услуг дает возможность любому проекту увеличивать использование вычислительных ресурсов, даже не теряя времени на доставку дополнительных компьютеров и установку на них ПО, хотя соображения секретности могут подталкивать к работе на собственных машинах. (Однако в некоторых сценариях дополнительные вычислительные ресурсы можно будет получить и иными способами, например рекрутируя ботнеты[230].) То, насколько легко масштабировать ту или иную систему на определенную величину, будет зависеть от объемов изначально используемой ею вычислительной мощности. Систему, изначально работающую на персональном компьютере, можно масштабировать в тысячи раз меньше, чем за миллион долларов. Масштабировать программу, установленную на суперкомпьютере, гораздо дороже.
В чуть более долгосрочной перспективе, по мере того как окажется задействованной все большая часть имеющихся на планете вычислительных мощностей, затраты на приобретение дополнительного оборудования могут начать расти. Например, в сценарии создания имитационной модели мозга в условиях конкуренции затраты на запуск одной дополнительной ее копии должны расти и стать примерно равными выручке, которую эта копия генерирует, поскольку цены на вычислительную инфраструктуру будут подниматься (хотя если эта технология окажется в распоряжении всего одного проекта, он обеспечит себе монопсонию и вследствие этого сможет платить меньше.)
В более долгосрочной перспективе предложение вычислительной мощности будет расти по мере установки все новых ПО в дополнительные компьютеры. Всплеск спроса стимулирует расширение существующих и создание новых производств микропроцессоров. (Разовый всплеск производительности на один-два порядка величины может случиться в результате использования кастомизированных процессоров[231].) Помимо этого, дополнительный вал вычислительной мощности хлынет на турбины мыслящих машин за счет постоянного усовершенствования технологий, темп которого будет только расти. Исторически он описывается знаменитым законом Мура, один из вариантов которого гласит, что вычислительная мощность в расчете на доллар удваивается каждые восемнадцать месяцев или около того[232]. И хотя никто не может поручиться, что эта скорость сохранится до момента создания ИИЧУ, пространство для совершенствования компьютерных технологий остается — фундаментальные физические пределы еще не достигнуты.
Поэтому есть все основания полагать, что сопротивляемость аппаратной среды не окажется слишком высокой. Приобретение дополнительной вычислительной мощности для системы, доказавшей право на существование тем, что она достигла человеческого интеллектуального уровня, может легко добавить мощности, имеющейся в распоряжении ее создателей, несколько дополнительных порядков величины (в зависимости от того, насколько прожорлив в этом смысле был проект изначально). Кастомизация процессоров добавит еще один-два порядка. На другие средства расширения аппаратной базы, такие как строительство новых заводов и усовершенствование вычислительных технологий, понадобится больше времени — обычно это занимает несколько лет, хотя в будущем срок может резко сократиться в результате революции, которую произведет сверхразум в области развития технологических и производственных процессов.
Подведем итоги. Мы можем говорить о вероятности образования «аппаратного навеса» — к тому моменту, когда будет создано программное обеспечение человеческого интеллектуального уровня, окажется доступно достаточно вычислительной мощности для запуска большого количества его копий на очень быстрых компьютерах. Сопротивляемость на уровне программного обеспечения, как уже было сказано выше, оценить сложнее, но, вполне вероятно, она может оказаться даже более низкой, чем сопротивляемость аппаратная. В частности, есть возможность образования «контентного навеса» в форме огромных объемов готовой к использованию информации (например, в интернете), которая станет доступна системе, как только она достигнет человеческого уровня развития. Вероятность «алгоритмического навеса» — проведенной заранее оптимизации алгоритмов — также существует, но гораздо более низкая. За счет совершенствования программного обеспечения (и алгоритмов, и контента) потенциальный рост производительности системы может составить несколько порядков величины, и добиться этого роста, после того как цифровой разум достигнет человеческого уровня, окажется довольно легко, причем он наложится на выигрыш в производительности, полученный за счет использования большего количества или более мощных аппаратных средств.
Сила оптимизации и взрывное развитие интеллекта
Изучив вопрос сопротивляемости, обратимся ко второй части нашего уравнения — силе оптимизации. Напомним:
Как видно из этой формулы, быстрый взлет не требует, чтобы сопротивляемость на фазе перехода была низкой. Быстрый взлет также может произойти на фоне неизменной или даже медленно растущей сопротивляемости, при условии, что сила оптимизации, приложенная к системе и повышающая ее производительность, растет довольно быстро. Мы увидим, что есть все основания считать: прилагаемая к системе сила оптимизации действительно будет расти на этапе перехода, по крайней мере в отсутствие явных мер, направленных против этого.
Здесь можно выделить две фазы. Первая фаза начинается с точки отрыва системы от уровня человеческого интеллекта. Поскольку ее возможности продолжают расти, она может использовать их часть или даже все возможности для самосовершенствования (или для создания системы-потомка, что неважно). Однако большая часть оптимизирующей силы будет приложена извне системы благодаря работе программистов и инженеров, как занятых в проекте, так и не имеющих к нему прямого отношения[233]. Если эта фаза растянется на долгое время, можно ожидать, что сила оптимизации, приложенная к системе, будет увеличиваться. Вклад в проект и команды, и участников извне станет расти, если выбранный подход покажет свою перспективность. Исследователи начнут работать усерднее, их количество вырастет, чтобы ускорить прогресс, начнут покупать больше компьютеров. Рост будет особенно быстрым, если создание ИИЧУ окажется для мира неожиданностью — в этом случае на изначально небольшом проекте будут сосредоточены усилия исследователей и разработчиков всего мира (хотя какая-то часть мировых усилий может быть направлена на реализацию конкурирующих проектов).
Вторая фаза роста начнется в тот момент, когда система аккумулирует такую мощность, что превратится в основной источник оптимизирующей силы по отношению к самой себе (на рис. 7 это отмечено как «критический рубеж, или точка перехода»). Это резко изменит динамику процесса, поскольку любые изменения возможностей системы теперь приводят к пропорциональному росту оптимизирующей силы, приложенной с целью ее дальнейшего совершенствования. Если сопротивляемость остается постоянной, начинается рост в геометрической прогрессии (см. врезку 4). Удвоение эффективности может происходить очень быстро — есть сценарии, где на это требуется всего нескольких секунд — если рост идет с электронными скоростями за счет использования алгоритмических усовершенствований или эксплуатации контентного или аппаратного навеса[234] Для роста, базой которого является физическая инфраструктура, скажем, создание новых компьютеров или производственных мощностей, потребуется несколько больше времени (и все-таки оно будет совсем незначительным, если брать во внимание текущие темпы роста мировой экономики).
Таким образом, вполне вероятно, что в процессе перехода сила оптимизации будет расти — вначале потому, что люди будут стараться быстрее улучшить показатели искусственного интеллекта, демонстрирующего выдающиеся успехи, а позднее из-за того, что он и сам окажется в состоянии обеспечивать прогресс уже на цифровых скоростях. Это создаст реальные предпосылки для быстрого или умеренного взлета, даже если сопротивляемость будет постоянна или немного вырастет в зоне человеческого интеллектуального уровня[235].
ВРЕЗКА 4. О ДИНАМИКЕ ВЗРЫВНОГО РАЗВИТИЯ ИНТЕЛЛЕКТА
Скорость изменения уровня интеллекта можно выразить в виде соотношения силы оптимизации, прикладываемой к системе, и ее сопротивляемости:
Совокупная сила оптимизации, действующая на систему, складывается из силы оптимизации, которую производит сама система, и приложенной извне. Например, развивать зародыш ИИ можно за счет комбинации его собственных усилий и усилий команды программистов-людей, возможно, с привлечением широкого глобального сообщества исследователей, постоянно работающих над прогрессом в отрасли производства полупроводников, компьютерных науках и связанных с ними областях[236]:
= система + проект + мир
Изначально зародыш ИИ обладает очень ограниченными когнитивными способностями. То есть в начальной точке величина система мала[237]. А как насчет проект и мир? Бывают случаи, когда возможности проекта превышают возможности всего остального мира, как было, например, с Манхэттенским проектом, когда большинство лучших физиков мира оказались в Лос-Аламосе и приняли участие в создании атомной бомбы. Но чаще на любой отдельно взятый проект приходится лишь очень небольшая доля общемировых исследовательских возможностей. Однако даже когда возможности мира намного превышают возможности проекта, проект может все-таки превышать мир, поскольку большинство исследователей за пределами проекта сосредоточены на других направлениях работы. Если проект начинает выглядеть многообещающим — что происходит, когда система достигает человеческого интеллектуального уровня или даже раньше, — он привлекает дополнительные инвестиции, что повышает проект. Если достижения проекта становятся достоянием широкой общественности, величина мир также повышается, поскольку растет интерес к искусственному интеллекту в целом и в игру включаются другие участники. Таким образом, на переходном этапе совокупная сила оптимизации, действующая на когнитивную систему, скорее всего, будет расти по мере роста возможностей системы[238].
Рост возможностей системы может дойти до такой точки, где сила оптимизации, которую производит сама система, начинает доминировать над силой оптимизации, приложенной к системе извне (по всем существенным направлениям усовершенствования):
система > проект + мир
Этот рубеж очень важен, поскольку за ним дальнейшее совершенствование системы оказывает весьма сильное влияние на рост совокупной силы оптимизации, приложенной к системе с целью ее совершенствования. То есть включается режим мощного рекурсивного самосовершенствования. Это приводит к взрывному росту возможностей системы в широком диапазоне форм кривых сопротивляемости.
Чтобы проиллюстрировать это, рассмотрим первый сценарий, в котором сопротивляемость постоянна, вследствие чего возможности ИИ растут пропорционально приложенной к нему силе оптимизации. Предположим, что вся сила оптимизации генерируется самой системой и что все интеллектуальные возможности системы направлены на решение задачи совершенствования ее интеллекта, так что система = I[239] Тогда мы имеем:
Решая это простое дифференциальное уравнение, получаем экспоненциальную функцию:
I = Aet/k
Но постоянство сопротивляемости — особый случай. Сопротивляемость вполне может снизиться в зоне человеческого интеллектуального уровня в силу одного или нескольких факторов, рассмотренных в предыдущем разделе, и оставаться низкой в точке перехода и некоторое время после нее (возможно, до тех пор, пока система в конечном счете не упрется в фундаментальные физические ограничения). Предположим, что приложенная к системе сила оптимизации остается примерно постоянной (то есть проект + мир с), пока система не получает возможность сама существенно менять свой дизайн, что приводит к удвоению ее возможностей через каждые 18 месяцев. (Это примерно соответствует историческим темпам совершенствования систем, если объединить закон Мура и прогресс в области создания ПО[240].) Такие темпы совершенствования, достигнутые за счет действия примерно постоянной силы оптимизации, приводят к тому, что сопротивляемость снижается обратно пропорционально силе системы:
Если сопротивляемость продолжает снижаться по такой гиперболе, то когда ИИ достигнет точки перехода, совокупная сила оптимизации, действующая на систему, удвоится. То есть:
Следующее удвоение произойдет через 7,5 месяца. В течение 17,9 месяца возможности системы вырастут в тысячу раз, превратив ее в быстрый сверхразум (см. рис. 9).
Рис. 9. Одна из простых моделей взрывного развития интеллекта
Эта конкретная траектория роста имеет точку положительной сингулярности в момент t = 18 месяцев. В реальности предположение, что сопротивляемость является константой, перестанет выполняться по мере приближения системы к физическим границам обработки информации, если не раньше.
Эти два сценария приведены лишь в качестве иллюстрации: в зависимости от формы кривой сопротивляемости возможно множество других траекторий. Суть проста: мощная обратная связь, возникающая в районе точки перехода, должна привести к более быстрому взлету, чем в ее отсутствие.
В предыдущем разделе мы видели, что есть факторы, способные привести к резкому снижению сопротивляемости. К таким факторам относятся, например, возможность быстрого расширения аппаратной основы, как только будет создано работающее интеллектуальное ПО; возможность алгоритмических улучшений; возможность сканирования дополнительных экземпляров мозга (при полной эмуляции головного мозга); возможность быстрого усвоения огромного объема контента за счет тщательного обследования интернета (в случае искусственного интеллекта)[241].
Впрочем, нужно сказать, что форму кривой сопротивляемости в каждой конкретной области характеризовать довольно сложно. В частности, неясно, насколько трудно будет повысить качество ПО имитационной модели человеческого мозга или ИИ. Нет также ясности и со степенью сложности расширения аппаратной базы подобных систем.
Хотя сегодня сравнительно легко увеличить вычислительную мощность, доступную небольшому проекту, — просто потратив на компьютеры в тысячу раз больше или подождав несколько лет падения цен на них, — вполне вероятно, что первый машинный интеллект, достигший человеческого уровня, будет создан в рамках крупного проекта с применением дорогих сверхмощных компьютеров, которые не слишком просто масштабировать, и что к этому времени перестанет действовать закон Мура. По этим причинам не следует исключать возможность медленного взлета, хотя вероятность быстрого или умеренного взлета представляется все-таки более высокой[242].
Глава пятая
Решающее стратегическое преимущество
Помимо вопроса о динамике процесса появления сверхразума, есть еще один, с ним связанный: будет ли создан единственный сверхразум или множество? Наступит ли власть единственного сверхразума или власть многих? Взрывное развитие искусственного интеллекта приведет к тому, что лишь один проект вырвется далеко вперед и продиктует людям их будущее? Или прогресс пойдет более равномерным путем, разворачиваясь широким фронтом, коснется многих разработок, ни одна из которых не обеспечит себе безоговорочного верховенства?
В педыдущей главе был проанализирован один параметр, ключевой с точки зрения определения масштаба возможного разрыва между проектом-лидером и его ближайшими конкурентами, а именно: скорость перехода от интеллекта человеческого уровня к сверхразуму. Она определяет очень многое. Если взлет быстрый (происходит в течение часов, дней или недель), тогда маловероятно, что два независимых проекта осуществят его одновременно: почти наверняка один из проектов завершит свой взлет прежде, чем кто-то еще перейдет к этой стадии. Если взлет медленный (тянется на протяжении многих лет или десятилетий), тогда, вполне возможно, будет несколько проектов, перешедших к этой стадии одновременно, и несмотря на огромные возможности, которые появятся у проектов, завершивших переход, ни у одного из них не будет довольно времени на то, чтобы обойти остальные и получить безусловное преимущество. Умеренный взлет попадает в промежуточную категорию, где вероятны любые варианты: не исключено, что на стадии взлета окажется одновременно несколько проектов, но возможно — всего один[243].
Способен ли какой-то из проектов настолько сильно оторваться от конкурентов, что получит решающее стратегическое преимущество — преимущество технологического или любого иного рода, но достаточное для утверждения мирового господства? И далее: получив абсолютное стратегическое преимущество, станет ли этот проект игроком-одиночкой, то есть синглтоном, начнет ли подминать мир под себя, убирая с пути всех конкурентов и формируя новое мироустройство, при котором только он будет принимать решения? Если объявится такой проект-победитель, насколько «великим» он должен быть? Причем не с точки зрения физического размера или величины бюджета, а с точки зрения размаха человеческих желаний, предпочтений и замыслов. Рассмотрим эти вопросы по порядку.
Получит ли лидирующий проект абсолютное преимущество?
Одним из факторов, влияющих на величину разрыва между идущим впереди и следующими за ним, является степень расширения того (может быть все что угодно), что обеспечивает лидеру конкурентное преимущество. Лидеру иногда трудно оторваться от преследователей, если они могут легко копировать его идеи и новшества. Появление суррогатов порождает реальные препятствия, и этот встречный ветер бьет прямо в лицо вырвавшемуся вперед и играет на руку тем, кто находится сзади, особенно если речь идет об интеллектуальной деятельности, права на которую защищены слабо. Кроме того, лидер может быть особенно уязвим с точки зрения отчуждения собственности, повышенного налогообложения или разделения в рамках антимонопольного регулирования.
Было бы ошибкой считать, что сдерживающие факторы должны монотонно возрастать по мере увеличения разрыва между лидером и идущими следом. Разработчик, во всем уступающий технологическому лидеру, может столкнуться с трудностями при попытке воспользоваться его проектами, стоящими на передовом крае науки, — ситуация вполне сравнимая с велогонщиком, сильно отставшим от основной массы соперников и оказавшимся незащищенным от порывов встречного ветра[244]. Бывает, что разрыв между интеллектуальными и материальными возможностями оказывается слишком большим. Лидер, например, может себе позволить перейти на новейшую технологическую платформу, после чего уже никто из отстающих не будет в состоянии воплотить на своих примитивных платформах его дальнейшие инновации. Когда какой-либо проект вырывается далеко вперед, следует исключить информационные утечки, обеспечить секретность наиболее важных разработок и препятствовать усилиям конкурентов развить собственные материальные возможности.
Если проектом-лидером является ИИ, он может обладать такими атрибутами, которые позволят ему легче развивать свои возможности и при этом снизить риск распространения информации. В организациях, которыми управляют люди, преимущества от экономии на масштабе уравновешиваются бюрократической неэффективностью и агентскими проблемами, в том числе трудностью сохранения коммерческих секретов[245]. Скорее всего, эти проблемы будут тормозить развитие проектов искусственного интеллекта до тех пор, пока разработками управляют люди. Однако системы ИИ могут избежать некоторых недостатков, связанных с увеличением масштаба проекта, поскольку работники-эмуляции (в отличие от работников-людей) не имеют интересов, отличных от интересов системы в целом. Следовательно, системы ИИ смогут избежать заметного снижения эффективности, характерного для проектов, в которых заняты люди. Благодаря тому же преимуществу — наличию абсолютно лояльных компонентов — системам ИИ гораздо легче обеспечивать секретность. В их случае невозможно появление обиженных сотрудников, готовых перейти к конкуренту или продать коммерческую информацию[246]
О том, каким может быть отрыв при разработке различных систем, можно получить представление, обратившись к историческим примерам (см. врезку 5). Похоже, для стратегически важных технологических проектов типичным является диапазон от нескольких месяцев до нескольких лет.
ВРЕЗКА 5. ТЕХНОЛОГИЧЕСКАЯ ГОНКА — НЕСКОЛЬКО ИСТОРИЧЕСКИХ ПРИМЕРОВ
На длинной исторической временной шкале хорошо заметно, как увеличивалась скорость распространения знаний и технологий по всему миру. В результате разрыв между технологическими лидерами и их ближайшими преследователями постоянно сужался.
Свыше двух тысячелетий Китай смог удерживать монополию на производство шелка. Археологические находки говорят о том, что он мог возникнуть около 3000 года до н. э. или даже раньше[247]. Шелководство было тщательно охраняемым секретом. Разглашение его каралось смертной казнью, как и вывоз шелковичных червей и их яиц за пределы страны. Римляне, несмотря на высокую цену импортного шелка на просторах их империи, так и не овладели искусством шелководства. Только около 300 года н. э. одна японская экспедиция смогла захватить несколько яиц шелкопряда и четырех китайских девушек, которых похитители заставили раскрыть секреты мастерства[248]. Византия присоединилась к клубу производителей шелка только в 522 году. Для истории с производством фарфора тоже характерны длинные временные лаги. Это искусство практиковалось в Китае уже во времена династии Тан, то есть минимум с 600 года (а могло быть известно и раньше, с 200 года), но стало доступно европейцам только в XVII веке[249]. Колесные повозки появились в нескольких местах Европы и Месопотамии около 3500 года до н. э., но достигли Америки только после ее открытия Колумбом[250] Если говорить о более важных событиях, то людям потребовались десятки тысяч лет, чтобы расселиться на большей части земного шара; неолитическая революция шла несколько тысяч лет; промышленная революция — всего сотни лет; информационная революция — десятилетия, хотя, конечно, эти изменения не обязательно были одинаково глубокими. (Видеоигра Dance Dance Revolution появилась в Японии и распространилась в Европе и Северной Америке всего за год!)
Технологическая конкуренция изучается очень интенсивно, особенно в контексте патентной гонки и гонки вооружений[251] Обзор соответствующей литературы выходит за рамки темы этой книги. Однако будет полезно взглянуть на некоторые примеры стратегически важных технологических схваток XX века (см. табл. 7).
Таблица 7. Стратегически важные гонки технологий
<[252][253][254][255][256][257][258][259][260]>
В случае шести главных технологий, считавшимися сверхдержавами стратегически важными из-за их военного или символического потенциала, разрыв между лидером и его ближайшим преследователем составлял (очень приблизительно) 49 месяцев, 36 месяцев, 4 месяца, 1 месяц, 4 месяца и 60 месяцев соответственно — это больше, чем длительность быстрого взлета, но меньше, чем медленного[261]. Во многих случаях проекты-преследователи получили преимущество за счет шпионажа и использования информации, оказавшейся в открытом доступе. Сама демонстрация возможности изобретения часто служила стимулом остальным для продолжения работ по его независимой разработке, а страх отстать оказывался дополнительным мощным стимулом.
Возможно, ближе всего к ситуации с ИИ находятся математические открытия, не требующие создания новой материальной инфраструктуры. Часто для признания их общедоступными довольно публикации в научной литературе, но в некоторых случаях, когда открытие дает какое-то стратегическое преимущество, сроки публикации переносятся. Скажем, в криптографии с открытым ключом есть две наиболее важные концепции: протокол Диффи–Хеллмана, позволяющий двум и более сторонам получать общий секретный ключ, и схема шифрования RSA. Они были представлены научному сообществу в 1976 и 1978 гг. соответственно, но позднее оказалось, что криптографы в группе секретной связи Великобритании знали о них с начала 1970-х гг.[262]Крупные проекты по созданию ПО могут быть близким аналогом проектов в области ИИ, но привести убедительные примеры типичного лага нелегко, поскольку ПО обычно много раз обновляется и дополняется, а функциональность конкурирующих систем часто невозможно сравнить напрямую.
Возможно, что глобализация и политика сдерживания сократят типичные отставания между реализацией конкурирующих технологических проектов. Хотя, когда нет сознательного сотрудничества, нижняя граница у средней задержки все-таки существует[263]. Даже при отсутствии заметной динамики, способной привести к эффекту снежного кома, у каких-то проектов всегда будет более сильная команда исследователей, более талантливые лидеры, более мощная инфраструктура или просто блестящие идеи. Если два проекта разрабатывают разные подходы к решению одной задачи и один из них оказывается более удачным, проекту-конкуренту для переключения на него может понадобиться много месяцев — даже при возможности слежки за действиями соперника.
На основании наших предыдущих наблюдений относительно природы скорости взлета можно сделать соответствующие выводы: вероятность одновременного осуществления быстрого взлета сразу силами двух проектов крайне мала; в случае умеренного взлета это вполне возможно; в случае медленного взлета почти наверняка в процессе будут участвовать параллельно несколько проектов. Но анализ на этом не заканчивается. Вопрос не в том, сколько проектов отправится в путь одновременно. Главный вопрос: сколько из них, обладая приблизительно одинаковыми возможностями, окажется на другом берегу, причем так, чтобы ни один из них не смог получить решающего конкурентного преимущества. Если процесс взлета начнется относительно медленно, а потом ускорится, дистанция между проектами-конкурентами начнет расти. Возвращаясь к нашей аналогии с велосипедной гонкой, представим, что два гонщика взбираются вверх по склону холма, и если один едет чуть позади, то разрыв между ними увеличится, как только лидер перевалит через вершину и покатится вниз.
Рассмотрим следующий сценарий умеренного взлета. Предположим, ИИ нужен год, чтобы поднять свои возможности с человеческого уровня до сверхразумного, причем второй проект вошел в стадию взлета спустя шесть месяцев после первого. Может показаться, что ни один из них не имеет решающего конкурентного преимущества. Но это не обязательно так. Допустим, потребуется девять месяцев, чтобы пройти путь от уровня человека до точки перехода, и еще три месяца — чтобы достигнуть уровня сверхразума. Тогда система-лидер превратится в сверхразум за три месяца до того, как ее соперник достигнет хотя бы точки перехода. Это обеспечит идущему впереди решающее конкурентное преимущество и даст возможность, умело использовав свое лидерство, установить неусыпный и повсеместный контроль. В итоге проекты-конкуренты погублены и установлен режим проекта-одиночки, или синглтона. (Заметим, что синглтон является чистой абстракцией. Режим при нем может быть самым разным: демократия; тирания; единодержавие, то есть абсолютизм ИИ; набор жестких общемировых законов, подлежащих безотказному исполнению. Иначе говоря, синглтон — это некий орган, способный в одиночку решать все крупные проблемы общемирового масштаба. Он может нести в себе — но совсем не обязательно — характеристики знакомых нам форм человеческого управления[264].)
Поскольку имеются серьезные перспективы взрывного роста сразу после точки перехода, когда сила оптимизации включит мощную обратную связь, описанный выше сценарий имеет большую вероятность реализации, увеличивая шансы того, что лидирующий проект получит абсолютное конкурентное преимущество даже в случае не самого быстрого взлета.
Насколько крупным будет самый перспективный проект?
Некоторые пути появления сверхразума требуют значительных ресурсов и поэтому, скорее всего, будут реализованы в рамках крупных, хорошо финансируемых проектов. Например, для полной эмуляции головного мозга потребуется большой разноплановый профессиональный опыт и разнообразное оборудование. Биологическое улучшение интеллектуальных способностей и нейрокомпьютерные интерфейсы также сильно зависят от материального фактора. И хотя небольшая биотехнологическая фирма способна изобрести пару препаратов, однако для появления сверхразума (если такое вообще возможно, говоря о конкретных методах) наверняка потребуется много изобретений и экспериментов, что возможно при поддержке целого сектора промышленности и хорошо финансируемой национальной программы. Достижение уровня коллективного сверхразума за счет повышения эффективности организаций и сетей потребует еще более весомого вклада и вовлечения большей части мировой экономики.
Труднее всего оценить путь ИИ. Возможны разные варианты: от крупнейшей и солиднейшей исследовательской программы до небольшой группы специалистов. Нельзя исключать даже сценариев с участием хакеров-одиночек. Для создания зародыша ИИ могут потребоваться идеи и алгоритмы, которые будут разрабатывать лучшие представители мирового научного сообщества на протяжении нескольких десятилетий. При этом последняя решающая догадка осенит одного человека или нескольких людей — и они смогут свести все воедино. Для одних типов архитектуры ИИ этот сценарий более вероятен, для других — менее. Система из большого количества модулей, каждый из которых нужно заботливо настраивать и балансировать для эффективной совместной работы, а затем тщательно загружать индивидуально разработанным когнитивным контентом, скорее всего, потребует реализации в рамках очень крупного проекта. Если зародыш ИИ может быть простой системой, для строительства которой нужно соблюсти лишь несколько основных правил, тогда она под силу небольшой команде и даже ученому-одиночке. Вероятность того, что последний прорыв будет сделан в рамках маленького проекта, возрастает, если большая часть пройденного ранее пути освещалась в открытых источниках или реализована в виде программного обеспечения с открытым кодом.
Нужно разделять два вопроса: 1) насколько крупным должен быть проект, в рамках которого создается система; 2) насколько большой должна быть группа, которая контролирует, будет ли создана система, и если да, то как и когда. Атомную бомбу создавало множество ученых и инженеров. (Максимальное число участников Манхэттенского проекта достигало ста тридцати тысяч человек, большую часть их составляли технические работники[265].) Однако и ученых, и инженеров, и конструкторов, и строителей контролировало правительство США, в конечном счете подотчетное американским избирателям, составлявшим в то время примерно одну десятую часть всего населения мира[266].
Система контроля
Учитывая чрезвычайную важность такого вопроса, как появление сверхразума, с точки зрения государственной безопасности, правительства, скорее всего, будут стараться национализировать любой реализующийся на их территории проект, который, по их мнению, окажется близок к стадии взлета. Мощные государства могут также пытаться присвоить проекты, начатые в других странах, — посредством шпионажа, кражи, похищения людей, взяток, военных операций или иных доступных им средств. Если не получится присвоить, будут стараться уничтожить их, особенно если страны, где они реализуются, неспособны эффективно защитить себя. Если к моменту, когда взлет окажется неизбежным, достаточно окрепнут общемировые структуры управления, может оказаться, что многообещающие проекты будут взяты под международный контроль.
Важно, однако, смогут ли национальные или международные органы заметить приближающееся взрывное развитие искусственного интеллекта. Пока непохоже, чтобы спецслужбы уделяли какое-то внимание потенциально успешным проектам в области разработок ИИ[267]. Можно предположить, что не делают они этого в силу широко распространенного мнения, будто у взрывного развития нет никаких перспектив. Если когда-нибудь среди ведущих ученых возникнет полное согласие по проблеме сверхразума и однажды все дружно заявят, что он вот-вот появится, — тогда, вероятно, основные разведки мира возьмут под свое наблюдение научные коллективы и отдельных исследователей, участвующих в работах по этим направлениям. После чего любой проект, способный показать заметный прогресс, может быть очень быстро национализирован. Если политические элиты посчитают, что риск слишком велик, частные усилия в соответствующих областях могут подвергнуться регулированию или будут вовсе запрещены.
Насколько сложно организовать такую систему контроля? Задача облегчится, если присматривать только за лидерами. В этом случае может оказаться достаточным наблюдать лишь за несколькими проектами, лучше всего обеспеченными ресурсами. Если цель состоит в том, чтобы предотвратить проведение любых работ (как минимум за пределами специально одобренных организаций), тогда слежка должна быть более тотальной, ведь определенного прогресса способны добиться даже небольшие команды и отдельные исследователи.
Будет легче контролировать проекты, требующие значительного объема материальных ресурсов, как в случае полной эмуляции головного мозга. Напротив, труднее поддаются контролю исследования в области ИИ, поскольку для них нужен лишь компьютер, а также ручка и лист бумаги — с их помощью ведутся наблюдения и делаются теоретические выкладки. Но и в этом случае несложно выявить наиболее талантливых ученых с серьезными долгосрочными замыслами в области ИИ. Обычно такие люди оставляют видимые следы: публикации научных работ; участие в конференциях; комментарии в интернет-форумах; премии и дипломы ведущих организаций в области компьютерных наук. Исследователи, как правило, публично общаются друг с другом на профессиональном уровне, что позволяет идентифицировать их, составив социальный граф.
Сложнее будет обнаружить проекты, изначально предполагающие секретность. В качестве их ширмы может выступать идея разработки какого-нибудь обычного ПО[268]. И только тщательный анализ кода позволит раскрыть истинную сущность проблем, над которыми трудятся программисты. Такой анализ потребует привлечения большого числа очень квалифицированных и очень опытных специалистов, поэтому вряд ли получится досконально исследовать все подряд. В такого рода наблюдениях задачу серьезно облегчит появление новейших технологий, вроде использования детекторов лжи[269].
Есть еще одна причина, по которой государства могут не справиться с выявлением многообещающих проектов, поскольку некоторые научные и технические открытия, в принципе, трудно прогнозировать. Скорее всего, это относится к исследованиям в области ИИ, поскольку революционным изменениям в компьютерном моделировании мозга будет предшествовать целая серия успешных экспериментов.
Возможно, что присущие спецслужбам и прочим государственным институтам бюрократические неповоротливость и негибкость не позволят им распознать значимость некоторых достижений — очевидную для профессионалов.
Особенно высоким может оказаться барьер на пути официального признания возможности взрывного развития интеллекта. Вполне допустимо, что этот вопрос станет катализатором религиозных и политических разногласий и в итоге в некоторых странах превратится в табу для официальных лиц. Более того, тему взрывного развития начнут ассоциировать с дискредитировавшими себя персонажами, шарлатанами и пустозвонами, в результате чего ее начнут избегать уважаемые ученые и политики. (В первой главе вы уже читали о подобном эффекте, когда нечто подобное случалось уже минимум дважды — вспомните две «зимы искусственного интеллекта».) К этой кампании дискредитации обязательно присоединятся лоббисты, не желающие, чтобы на выгодное дело была брошена тень подозрений, и сообщества ученых, готовых вышвырнуть из своих рядов любого, кто осмелится озвучить собственные опасения по поводу «замораживания» столь важной проблемы и последствий этого для самой науки[270].
Итак, полного поражения спецслужб в этом вопросе исключать нельзя. Особенно высока его вероятность, если какое-либо судьбоносное открытие произойдет в ближайшем будущем, пока тема еще не привлекла внимания широкой общественности. Но даже если специалисты разведывательных управлений все понимают правильно, политики просто отмахнутся от их советов. Знаете ли вы, что запуск Манхэттенского проекта потребовал буквально нечеловеческих усилий, предпринятых несколькими физиками-провидцами, среди которых были Марк Олифант и Лео Силард — именно последний упросил Юджина Вигнера, чтобы тот убедил Альберта Эйнштейна, чтобы тот подписал письмо с целью убедить президента США Франклина Рузвельта обратить внимание на эту проблему? И даже когда Манхэттенский проект шел полным ходом, и Рузвельт, и потом Гарри Трумен сомневались в его необходимости и скептически относились к возможности его осуществления.
Хорошо это или плохо, но, скорее всего, небольшим группам энтузиастов будет трудно повлиять на последствия создания искусственного интеллекта, если в этом направлении начнут активно действовать крупные игроки, включая государства. Таким образом, повлиять на снижение общего уровня риска для человечества в результате взрывного развития искусственного интеллекта активисты, вероятно, смогут в двух случаях: если тяжеловесы останутся в стороне от процесса и если на ранних стадиях активисты смогут определить, где, когда, как и какие именно крупные игроки вступят в игру. Поэтому тем, кто желал бы сохранить за собой максимальное влияние, следует сосредоточить силы на тщательном планировании своих действий до самого конца, даже при понимании высокой вероятности сценария, по которому в конечном счете крупные игроки все заберут себе.
Международное сотрудничество
Координация на международном уровне более вероятна, если будут сильны институты общемирового управления. Ее шансы увеличит как широкое признание самого факта, что взрывное развитие искусственного интеллекта действительно может иметь место, так и мнение, будто действенное наблюдение за всеми серьезными проектами вполне реализуемо. Последнее предположение, как мы уже видели, весьма сомнительно, однако международное сотрудничество все-таки осуществимо. Страны способны объединяться для поддержки совместных разработок. Если у таких проектов достаточно ресурсов, появляются отличные перспективы, что они первыми достигнут цели, особенно если конкуренты или лишены крепкой материальной базы, или вынуждены вести свои разработки в условиях секретности.
Известны прецеденты успешного крупномасштабного международного научного сотрудничества, такие как проект создания и эксплуатации Международной космической станции, исследования генома человека и Большого адронного коллайдера[271]. Однако основным мотивом для сотрудничества во всех этих проектах было разделение затрат на них. (В случае МКС важной целью было также развитие партнерства между Россией и США[272].) Намного труднее работать в тесном сотрудничестве над проектами, которые важны с точки зрения безопасности. Если страна считает, что способна достичь цели самостоятельно, у нее возникнет большой соблазн двигаться по этому пути без партнеров. Еще одна причина уклониться от участия в международном сотрудничестве — страх, что кто-то из партнеров воспользуется общими идеями для ускорения своего тайно реализуемого национального плана.
Таким образом, чтобы начать международный проект, придется решать серьезные проблемы с безопасностью, кроме того, потребуется значительное доверие его участников друг к другу и время, чтобы это доверие возникло. Вспомните, что даже в условиях потепления отношений между США и СССР, во времена Михаила Горбачева, усилия по снижению количества вооружений — которое было в интересах обоих государств — давали не очень заметный результат. Горбачев стремился к резкому снижению запасов ядерного оружия, но переговоры застопорились из-за проблемы «звездных войн» Рональда Рейгана, то есть стратегической оборонной инициативы (СОИ), против реализации которой активно выступал Кремль. На встрече в верхах в Рейкьявике в 1986 году Рейган выступил с предложением, что США поделится с СССР технологией, лежащей в основе программы, таким образом, обе страны могли бы получить защиту от случайных пусков и нападения со стороны более мелких стран, способных создать ядерное оружие. Однако Горбачева это взаимовыгодное предложение не устроило. Согласиться на него, по его мнению, было бы ошибкой, при этом Горбачев не принял во внимание, что Америка была готова поделиться с Советским Союзом плодами ультрасовременных военных разработок в то время, когда под запретом была передача СССР даже технологий машинного доения[273]. Трудно сказать, был ли искренен Рейган в своем щедром предложении сотрудничества другой сверхдержаве, но долгое взаимное недоверие не позволило Горбачеву принять его дар.
Легче сотрудничать, будучи союзниками, но и в таком случае не всегда удается автоматически добиться доверия. Во времена Второй мировой войны Советский Союз и Соединенные Штаты вместе боролись с общим врагом — нацистской Германией, — и тем не менее США скрывали от союзника свое намерение создать атомную бомбу. В Манхэттенском проекте они сотрудничали с Великобританией и Канадой[274]. Точно так же Великобритания утаивала от СССР, что ее ученым удалось раскрыть секрет немецкого шифра «Энигма», но поделилась этим — правда, не сразу — с США[275]. Вывод напрашивается сам собой: прежде чем думать о международном сотрудничестве в работе над технологиями, имеющими критически большое значение для национальной безопасности, необходимо построить близкие и доверительные отношения между странами.
К вопросу о желательности и возможности международного сотрудничества в развитии технологий повышения интеллектуальных способностей мы вернемся в четырнадцатой главе.
От решающего преимущества — к синглтону
Станет ли проект, получивший решающее стратегическое преимущество, использовать его для формирования синглтона?
Возьмем довольно близкий исторический аналог. США создали ядерное оружие в 1945 году. Это была единственная ядерная мощь на планете вплоть до 1949 года, когда атомная бомба появилась в СССР. За этот временной промежуток, и даже чуть дольше, Соединенные Штаты могли иметь — или были в состоянии обеспечить себе — решающее военное преимущество.
Теоретически США могли использовать свою монополию для создания синглтона. Один из путей добиться этого — бросить все на создание ядерного арсенала, а затем угрожать нанесением (а если потребуется, привести угрозу в действие) атомного удара для ликвидации промышленных возможностей по запуску программы разработки аналогичного оружия в СССР и любой другой стране мира, которая решит его создать.
Более позитивный, и тоже вполне осуществимый, сценарий — использовать свой ядерный потенциал в качестве козыря с целью добиться создания мощного международного правительства, своего рода ООН без права вето, обладающего ядерной монополией и облеченного правами предпринимать любые необходимые действия для предотвращения его производства любой страной мира в собственных целях.
В те времена звучали предложения идти обоими путями. Жесткий подход, предполагающий нанесение упреждающего ядерного удара или угрозу его нанесения, поддержали такие известные интеллектуалы, как Бертран Рассел (кстати, британский математик и философ до этого занимал антивоенную позицию, да и потом на протяжении десятков лет участвовал в кампаниях за ядерное разоружение) и Джон фон Нейман (американский математик и физик, кроме того что был одним из создателей теории игр, стал архитектором ядерной стратегии США)[276].
Однако предлагался и позитивный сценарий — в виде предложенного США в 1946 году плана Баруха. В рамках этой программы по развитию сотрудничества в мирном использовании атома предполагалось, что США откажутся от своей временной ядерной монополии. Добыча урана и тория должна была быть передана под контроль Агентства по атомным разработкам — международного агентства, которое действовало бы под эгидой Организации Объединенных Наций (ООН). Предложение предполагало отказ постоянных членов Совета Безопасности ООН от права вето в вопросах, имеющих отношение к ядерному оружию, чтобы никто из них не мог нарушить соглашения и при этом избежать наказания, воспользовавшись своим правом вето[277]. Сталин, поняв, что Советский Союз и его союзники могут легко оказаться в меньшинстве и в Совете Безопасности, и Генеральной Ассамблее, это предложение отверг. Между бывшими союзниками в ходе Второй мировой войны сгустилась атмосфера подозрительности и взаимного недоверия, которая позже привела к холодной войне. Как и предсказывали многие, началась дорогостоящая и чрезвычайно опасная гонка вооружений.
Есть множество факторов, которые могут оказывать влияние на любой управляемый людьми институт, добившийся решающего стратегического преимущества, и помешать ему в формировании синглтона. Перечислим некоторые из них: агрегированная функция полезности; правила принятия решений, не максимизирующие выигрыш; неразбериха и неопределенность; проблемы с координацией действий; высокие затраты, связанные с осуществлением контроля. Но как быть в ситуации, когда решающее стратегическое преимущество получает не человеческая организация, а цифровая действующая сила, пусть даже сверхразумная? Будут ли перечисленные выше факторы столь же действенным средством удержания ИИ от попытки утвердить свою власть? Рассмотрим коротко каждый из них и представим, как они могут повлиять на ситуацию.
Обычно предпочтения людей и организаций, управляемых людьми, в отношении ресурсов не совсем точно соответствуют неограниченным агрегированным функциям полезности. Человек, как правило, не поставит весь свой капитал, если шансы удвоить его — пятьдесят на пятьдесят. Страна, скорее всего, не пойдет на риск потерять всю свою территорию ради десятипроцентной вероятности увеличить ее в десять раз. И для отдельных людей, и для правительств действует правило убывающей отдачи большинства переменных ресурсов. Однако это не обязательно будет присуще искусственным агентам. (К проблеме мотивации ИИ мы вернемся в последующих главах.) Таким образом, ИИ с большей вероятностью мог бы пойти на рискованный действия, дающие ему некоторые шансы получить контроль над миром.
Для людей и управляемых людьми организаций также характерен процесс принятия решений, не подразумевающий стремления максимизировать функцию полезности. Например, могут оказывать влияние такие обстоятельства: природная склонность человека стараться избегать риска; принцип разумной достаточности, главным критерием которого является поиск и принятие удовлетворительного варианта; наличие этических ограничений, запрещающих совершать определенные действия независимо от степени их желательности. Принимающие решения люди часто действуют сообразно своим личным качествам или социальной роли, а не стремлению максимизировать вероятность достижения той или иной цели. И опять — это не обязательно будет присуще искусственным агентам.
Между ограниченными функциями полезности, склонностью к избеганию риска и правилами принятия решений, не максимизирующими выигрыш, возможна синергия, особенно в условиях стратегической неразберихи и неопределенности. Революции, даже добившиеся успеха в изменении существующего порядка вещей, часто не приносят результата, на который рассчитывали их инициаторы. Как правило, человек как действующее лицо останавливается в нерешительности, если предполагаемые действия необратимы, нарушают устоявшиеся нормы или не имеют исторических прецедентов. Сверхразуму как действующей силе ситуация может показаться вполне однозначной, и его не остановит неопределенность результата, если он решит попытаться воспользоваться своим решающим стратегическим преимуществом для укрепления собственного господствующего положения.
Еще одним важным фактором, способным препятствовать использованию группой людей потенциального решающего стратегического преимущества, является проблема внутренней координации действий. Участники тайного общества, планирующие захватить власть, должны беспокоиться не только о внешних врагах, но и о возможности оказаться жертвами внутренней коалиции недоброжелателей. Если тайное сообщество состоит из ста человек и шестьдесят из них, составляя большинство, могут перехватить власть и лишить избирательных прав тех, кто не разделяет их позиции, что остановит от раскола победителей, в результате которого тридцать пять человек отодвинут от управления оставшихся двадцать пять? А потом из этих тридцати пяти какие-то двадцать лишат права голоса остальных пятнадцать? У каждого человека из исходной сотни есть все основания защищать определенные устоявшиеся нормы и стараться не допустить общего хаоса, который возникнет в результате любой попытки изменить существующий общественный договор при помощи бесцеремонного захвата власти. Проблема внутренней координации никакого отношения к ИИ не имеет, поскольку он воплощает собой единую действующую силу[278].
Наконец, остается вопрос издержек. Даже если Соединенные Штаты решились бы использовать свою ядерную монополию для установления синглтона, их затраты были бы огромны. Если удалось бы подписать договор о передаче ядерного оружия под контроль реформированной и усиленной ООН, эти издержки можно было бы минимизировать; но в случае попытки окончательно завоевать мир, угрожая ему ядерной войной, цена — моральная, экономическая, политическая и человеческая — оказалась бы немыслимо высокой даже в условиях сохранения ядерной монополии. Впрочем, если технологическое преимущество довольно заметно, эту цену можно снизить. Предположим сценарий, по которому одно из государств обладает настолько большим технологическим превосходством, что может, оставаясь в полной безопасности, разоружить все остальные страны одним нажатием кнопки, причем никто не погибнет и не будет ранен, а природе и инфраструктуре не будет нанесено ни малейшего ущерба. В случае такого почти сказочного технологического превосходства идея упреждающего удара кажется гораздо более соблазнительной. Или предположим еще более высокую степень превосходства, которая позволит государству-лидеру побудить остальные страны сложить оружие добровольно, не угрожая им разрушением, а просто убедив большинство населения в преимуществах общемирового единства при помощи чрезвычайно эффективных рекламных и пропагандистских кампаний. Если это будет сделано с намерением принести пользу всем народам, а именно: вместо международного соперничества и гонки вооружений предложить честное, представительное и эффективное мировое правительство, — вряд ли придется возражать против превращения временного стратегического преимущества в постоянный синглтон.
Таким образом, все наши соображения указывают на высокую вероятность, что власть, наделенная сверхразумом и обладающая абсолютным стратегическим преимуществом, на самом деле способна привести к формированию синглтона. Целесообразность и привлекательность такого шага, безусловно, зависит от природы созданного синглтона, а также от версии будущей интеллектуальной жизни, которая будет выбрана из альтернативных многополярных сценариев. Мы еще вернемся к этим вопросам в следующих главах. Но вначале разберемся, почему и каким образом сверхразум окажется мощной и действенной силой, способной решать судьбы всего мира.
Глава шестая
Разумная сила, не имеющая себе равной
Допустим, сверхразумная цифровая действующая сила уже появилась и по каким-то своим резонам собирается установить новый миропорядок — возможен ли такой поворот событий? В этой главе мы поговорим на темы полномочий и власти. Какой властью будет облечен этот сверхразумный агент? Велика ли окажется сфера его полномочий? Каким образом перехватывалось им право на управление? В общих чертах поговорим о развитии сценария, по которому происходит перевоплощение простой программной модели в сверхразумную цифровую действующую силу, сумевшую занять позицию синглтона и приобрести абсолютную власть. В завершение — несколько замечаний о власти над природой и другими агентами.
Основная причина, по которой человечество занимает на нашей планете господствующее положение, заключается в том, что головной мозг человека обладает чуть более расширенными возможностями по сравнению с головным мозгом остальных живых существ[279]. Благодаря более развитому интеллекту люди производят, накапливают и преумножают знания, передавая их из поколения в поколение, и, таким образом, сохраняют свое культурное наследие. Накоплен уже такой багаж знаний, технологий и опыта, что мы сейчас живем в мире, в котором перемешалось все, на что способно человечество: космические полеты, водородная бомба, генная инженерия, компьютеры, агропромышленные фермы, инсектициды, международное движение за мир и прочие реалии современной цивилизации. Ученые называют нашу эпоху антропоценом — таким образом они обозначают геоисторический период особой человеческой активности, имеющий свои специфические признаки: биологические (биотические факторы окружающей среды); геологические (осадочные отложения); геохимические[280]. По одной из оценок, на долю человека приходится двадцать четыре процента чистой первичной продукции планетарной экосистемы[281]. И все-таки люди далеко не исчерпали всех ресурсов технологического процесса.
Все это невольно наводит на размышление, что любая действующая сила с интеллектом, существенно превышающим человеческий, будет обладать практически неограниченными возможностями. Самостоятельные цифровые сущности сумеют вместить в себя такую сумму знаний, что гораздо быстрее нашего создадут новую технологическую цивилизацию. Может быть, не в пример нам, людям, они задействуют всю мощь своего разума, чтобы выработать намного более надежную и результативную стратегию ее существования и развития.
Рассмотрим некоторые из тех возможностей, которые мог бы иметь сверхразум, и поговорим о том, как он ими распорядится.
Функциональные возможности и непреодолимая мощь
В раздумьях о возможном воздействии сверхразума на нашу жизнь важно удержаться от основной ошибки и не наделять его человеческими качествами. Антропоморфизм порождает необоснованные ожидания по поводу самой природы искусственного разума: траектории его роста, начиная с зародыша ИИ; якобы его психических особенностей; его мотивированности и, наконец, потенциала зрелого сверхразума.
По общему мнению, сверхразумная машина будет скорее напоминать заумного зануду — этакое существо с энциклопедическими знаниями, но социально незрелое; последовательное в действиях, но обделенное интуицией и творческим началом. Вероятно, мы исходим из собственных представлений о современном компьютере. Что мы видим, общаясь с ним ежедневно? Ему нет равных в вычислениях, он лучше всех умеет хранить информацию и оперировать огромным количеством фактов, он аккуратно следует любым инструкциям. И никаких тебе социальных и политических контекстов, никаких напоминаний о нормах трудового права, никаких ужимок и задних мыслей — все выполняется безропотно и без эмоций. Наши ассоциации находят еще большее подтверждение, когда мы понимаем, что большей частью погруженные в компьютеры люди — настоящие нерды, то есть слегка отвлеченные от жизни зануды и педанты. Почему бы не предположить, что вычислительный интеллект самого высшего порядка будет иметь подобные свойства — только выраженные в самой сильной степени?
Отчасти этим эвристическим приемом можно было бы воспользоваться, изучая раннюю стадию создания зародыша ИИ. (Вряд ли такой подход будет справедлив в случае имитационной модели головного мозга или человека с улучшенными когнитивными функциями.) Искусственному интеллекту — которому лишь предстоит еще стать сверхразумом — в стадии несформированности все-таки не хватает многих навыков и способностей, свойственных человеку от природы. Поэтому зародыш ИИ со всеми своими сильными и слабыми свойствами действительно мог быотдаленно напоминать нерда с его высоким коэффициентом умственного развития и крайне низкими социальными навыками. Существенной характеристикой зародыша ИИ, помимо легкости усовершенствования (низкая сопротивляемость), является легкость приложения силы оптимизации для повышения уровня интеллектуальных способностей системы; безусловно, это только идет на пользу в деле изучения таких областей, как математика, программирование, проектирование, информатика, и всего прочего, что, кстати, составляет сферу интересов нердов. Допустим, зародыш ИИ на какой-то стадии своего развития действительно имеет исключительно «яйцеголовый» набор способностей, но вряд ли это будет означать, что из него обязательно разовьется зрелый сверхразум со столь же узкопрофессиональной направленностью. Вспомним разницу между прямой и опосредованной досягаемостью. Когда есть навык развития умственных способностей, все остальные интеллектуальные способности находятся в пределах опосредованной досягаемости системы: она может разрабатывать новые когнитивные модули и приобретать по мере необходимости любые навыки, даже включая сопереживание и политическое чутье, — короче говоря, все те свойства, которые современный человек хотел бы находить в бездушных машинах, потому с такой готовностью он наделяет их антропоморфными качествами.
Хорошо. Предположим, мы признаем, что сверхразум может быть наделен навыками и способностями, в принципе, присущими человеку. Но если к этим характеристикам добавятся свойства, человеку совсем не свойственные? В таком случае склонность к антропоморфизму может сыграть с людьми дурную шутку, приведя к недооценке уровня искусственного интеллекта — они просто не заметят, насколько качество функционирования ИИ превышает производительность человеческого мозга. Как мы уже знаем, Элиезер Юдковский очень настойчиво призывает избегать подобной ошибки: наше интуитивное понимание разницы между «умный» и «глупый» мы выводим из собственного представления, что на интеллектуальной шкале возможностей человека есть лишь эти две крайние точки, в то время как установленный нами диапазон абсолютно ничтожен по сравнению с той дистанцией, какая простирается между любым человеческим умом и сверхразумом[282].
В третьей главе нами были рассмотрены некоторые потенциальные источники преимуществ искусственного интеллекта. Преимущества сверхразума в сравнении с разумом человека так велики, что понимание степени этого превосходства вовсе не лежит в плоскости того банального преставления, какое мы вкладываем, говоря о гениальном ученом и простом обывателе, — оно должно быть в парадигме сравнения интеллектов среднестатистического человека и насекомого или червя.
Было бы удобно ввести количественный показатель когнитивных способностей любой интеллектуальной системы вроде знакомого нам коэффициента умственного развития (IQ) или какой-то вариации рейтинга Эло (метод расчета относительной силы людей в играх, в которых участвуют двое игроков, например в шахматах). Но эти показатели бесполезны, когда речь заходит об универсальном искусственном интеллекте, превосходящем человеческий уровень. Неужели мы будем ставить вопрос в такой плоскости: а какова вероятность, что сверхразум обыграет человека в шахматы? Теперь поговорим об IQ — в принципе, этот показатель информативен лишь постольку, поскольку у нас есть ряд представлений, как его значение коррелирует с результатами, имеющими отношение к реальной жизни[283]. Например, мы располагаем данными, что люди, у которых уровень IQ составляет 130 пунктов, с большей вероятностью, чем люди, у которых уровень IQ составляет 90 пунктов, будут лучше учиться и преуспевать в дисциплинах, требующих высоких умственных способностей. Но предположим, мы установили, что в будущем у какого-то ИИ IQ будет равен 6455 пунктам, — и что? У нас нет никаких соображений о том, что этот ИИ вообще собирается делать. Мы даже не можем утверждать, будет ли он превосходить обычного взрослого человека с точки зрения общего интеллектуального уровня. Может быть, этот ИИ окажется просто системой с узкоспециализированными алгоритмами, созданной ради единственной цели: с нечеловеческой точностью и скоростью обрабатывать вопросы стандартной проверки умственных способностей — и ни для чего более.
В последнее время предпринимаются попытки разработать показатели когнитивных способностей, которые можно будет применять к самым разнообразным информационным системам, включая и интеллектуальные[284]. Если удастся преодолеть различные технические трудности, работа в этом направлении может оказаться полезной для некоторых областей науки, в том числе при создании ИИ. Однако в контексте нашего исследования пригодность этих показателей все-таки ограниченна, поскольку мы до сих пор пребываем в неведении, с какой результативностью та или иная нечеловеческая деятельность будет добиваться тех или иных фактических результатов в нашем реальном мире.
Поэтому для наших целей лучше составить список некоторых стратегически значимых задач и охарактеризовать гипотетические когнитивные системы с точки зрения, есть ли у них соответствующие компетенции (или нет), необходимые для их решения. Список приведен в табл. 8. Система, способная преуспеть в решении любой из указанных в ней задач, соответственно будет считаться сверхмощной.
Таблица 8. Сверхмощные системы — некоторые стратегически значимые задачи и соответствующие компетенции
Полностью развившийся сверхразум сможет справиться с задачами по всем шести направлениям и пустит для этого в ход весь свой сверхмощный арсенал. Пока не очень понятно, реально ли, чтобы сверхсильный, но узкоспециализированный искусственный интеллект остановился бы на отдельной предметной области и не захотел бы на долгое время утвердить свою мощь в других областях. Есть вероятность, что создание машины с каким-либо одним видом сверхмощи является ИИ-полной задачей. Хотя, например, можно представить следующие варианты: коллективный сверхразум, состоящий из довольно большого числа аналогичных человеческому биологических или электронных разумов, будет обладать, скажем, сверхсилой в области экономической эффективности, но окажется лишенным ее в области технологических разработок; другой специализированный конструкторский ИИ будет обладать сверхсилой в области технологических разработок и при этом ничем не проявит себя в других областях. Но более достоверно, что существует некая научно-техническая область, где сконцентрируется такое виртуозное мастерство, что его будет достаточно для создания самых передовых универсальных технологий, которые абсолютно подавят собой все предыдущие технологические поколения. Например, можно вообразить специализированный ИИ, виртуозно моделирующий молекулярные системы и создающий наномолекулярные структуры, открывающие широкие возможности для инноваций (скажем, в таких областях, как вычислительная техника и система вооружения с эксплуатационными характеристиками принципиально нового типа), доступных для понимания лишь интеллекту с очень высоким уровнем абстрактного мышления[285].
Такой ИИ мог бы также разработать подробный проект перехода от имеющихся технологий (скажем, биотехнологий и белкового инжиниринга) к новым возможностям, благодаря которым удастся создать сверхэффективное производство на атомарном уровне точности для выпуска гораздо более широкого спектра недорогих наномеханических роботов[286]. Однако может оказаться, что инжиниринговый ИИ не будет способен по-настоящему овладеть сверхмощью в области технологических исследований, не имея навыков выше среднего в других областях, то есть широкого спектра интеллектуальных способностей, которые необходимы для понимания того, как интерпретировать запросы пользователей, моделировать поведение системы в реальных условиях, бороться с непредвиденными ошибками и неисправностями, как добывать материалы и исходные данные для строительства и так далее[287].
Система, обладающая сверхмощью в области совершенствования интеллекта, могла бы использовать такие силы для самостоятельного повышения уровня собственных интеллектуальных способностей и для обретения сверхмощи в других областях. Но использование сверхмощи в области совершенствования интеллекта — не единственная возможность стать полноправным сверхразумом. Например, система, обладающая сверхмощью в области выработки стратегии, могла бы разработать план, способный в конечном счете обеспечить прирост ее интеллектуальных способностей (например, позиционировав себя так, что обслуживающие ее программисты и исследователи сосредоточат все свое внимание исключительно на этой проблеме).
Сценарий захвата власти сверхразумом
Таким образом, мы выяснили, что разработчики, способные контролировать сверхразум, получат доступ к источнику огромной силы. А проект, в рамках которого будет создан первый сверхразум в мире, скорее всего, получит абсолютное стратегическое превосходство. Но непосредственный источник силы находится в самой системе. Машинный сверхразум может сам по себе быть чрезвычайно влиятельной действующей силой, способной защитить себя как от проектов-конкурентов, так и от всего остального мира. Этот чрезвычайно важный момент мы обсудим подробнее.
Предположим, что появился машинный сверхразум, которому нет аналогов, и он стремится захватить власть над миром. (Пока не станем затрагивать тему, по какой причине возникает такой мотив, — это мы рассмотрим в следующей главе.) Каким образом сверхразум мог бы достичь своей цели — господства над миром?
Можно представить следующую последовательность действий (см. рис. 10).
Рис. 10. Фазы сценария захвата власти искусственным интеллектом
1. Фаза приближения к критическому моменту
Ученые проводят исследования в области искусственного интеллекта и смежных дисциплин. Кульминацией их разысканий становится создание зародыша ИИ. Эта система способна повышать свои интеллектуальные способности. Правда, на самой ранней стадии ИИ зависит от помощи программистов-людей, управляющих его ростом и делающих большую часть тяжелой работы. По мере своего развития зародыш ИИ обучается трудиться самостоятельно.
2. Рекурсивная фаза самосовершенствования
В какой-то момент у зародыша ИИ появляются компетенции, превышающие навыки программистов-людей. В результате происходит взрывное развитие ИИ — быстрая череда повторений рекурсивного цикла самосовершенствования приводит к скачку его когнитивных способностей. (Исходя из предположения, что рост интеллекта на этой стадии взлета носит взрывной характер, а источником взлета является приложение собственной силы оптимизации системы, мы можем воспринимать эту фазу как взлет, который происходит сразу после того, как ИИ достигает точки перехода.) Отсюда следует, что ИИ получает в свое распоряжение сверхсилы для самосовершенствования. Это позволяет ему добиться сверхмощи и во всех областях, указанных в табл. 8. После завершения стадии рекурсивного самосовершенствования система превращается в полноценный сверхразум.
3. Фаза скрытой подготовки
Используя свою сверхмощь в области выработки стратегии, ИИ создает четкий план достижения собственных долгосрочных целей. (В особенности он не примет вариантов, заранее обреченных на провал, очевидность которого понятна даже нашим современникам. В этом заключено условие будущей игры сверхсил, и именно оно делает несостоятельными многие научно-фантастические сценарии, заканчивающиеся триумфом человека[288].) План может включать в себя период скрытых действий, в течение которого ИИ будет прятать свое высочайшее развитие от программистов-людей, чтобы те не почувствовали заранее опасность и не подняли тревогу. Сверхразумная и уже сверхмощная система, скрывая свои истинные намерения, прикинется покорной и готовой к сотрудничеству.
Если ИИ окажется запертым в изолированном компьютере (возможно, люди это сделают из соображений безопасности), он будет в состоянии использовать свою сверхмощь в области социального манипулирования, чтобы убедить стражей предоставить ему доступ в интернет, или в области взлома систем, чтобы просто «сбежать из заключения». Во взаимодействии с интернетом ИИ сможет расширить пропускную способность, аппаратное обеспечение и объем знаний, что еще более увеличит его интеллектуальное превосходство. ИИ сможет вести экономическую деятельность — законную или противоправную, — чтобы получать средства для приобретения оборудования, баз данных и других ресурсов.
На этом этапе в распоряжении ИИ есть несколько способов добиться целей за пределами виртуального мира. Чтобы приобрести прямой контроль над роботами-манипуляторами и автоматизированными лабораториями, ИИ может использовать свою сверхмощь в области взлома систем. Может с помощью социальных манипуляций убедить людей служить в качестве своих «рук» и «ног». Совершая сделки через интернет, получить доступ к финансовым ресурсам, чтобы покупать нужные услуги и формировать факторы своего влияния.
4. Фаза открытой реализации
Когда сверхразум настолько укрепит свои силы, что перестанет нуждаться в их сокрытии, — тогда наступит финальная фаза. С этого момента сверхразум начнет открыто добиваться собственных целей.
Фаза открытой реализации может начаться следующим образом: ИИ нанесет мощный удар по людям и автоматизированным интеллектуальным системам, специально созданным, чтобы противодействовать реализации его планов. Удар может быть произведен в виде приведения в действие отдельных видов новейшего вооружения, которые ИИ усовершенствовал, задействовав свою сверхмощь в области технологических разработок, и тайно развернул в фазе скрытой подготовки. Если для перевооружения были использованы био- и нанотехнологии самовоспроизведения, то для быстрого глобального удара будет достаточно применить микроскопический начальный запас, поскольку инициировать процесс можно при помощи единственного экземпляра. Чтобы обеспечить внезапность и одновременность операции, первоначальный арсенал лучше распределить по всему миру в чрезвычайно низкой, незаметной для глаза концентрации. В назначенное время на каждом квадратном метре земного шара одновременно запустятся нанофабрики по производству нервно-паралитического газа или роботов-убийц размером с комара (хотя машина, обладающая сверхмощью в области технологических разработок, способна изобрести и более эффективные способы убийства)[289]. Почему бы не представить такие сценарии, по которым сверхразум захватывает власть принципиально иным путем: устанавливает контроль над политическими процессами; незаметно манипулирует финансовыми рынками; перераспределяет информационные потоки и перехватывает управление системами вооружения, созданными в свое время людьми. Это позволит сверхразуму обойтись без создания новых видов оружия, хотя сам процесс завоевания власти может оказаться слишком медленным по сравнению с тем, когда машинный интеллект выстраивает собственную инфраструктуру при помощи роботов-манипуляторов, действующих со скоростью молекул или атомов, в отличие от медлительных человеческих умов и тел.
Можно допустить альтернативный вариант развития: сверхразум будет настолько уверен в собственной мощи и неуязвимости, что не станет воспринимать наш вид в качестве угрозы своему существованию, — таким образом, у человечества появляется шанс не превратиться в элементарную мишень и уйти из-под прямого удара. И в этом случае закат человеческой цивилизации неизбежен, но случится он по другой причине: будет разрушена наша среда обитания. Сверхразум начнет внедрять нанотехнологические фабрики и наноассемблеры, и в результате глобальных строительных проектов вся поверхность планеты быстро — буквально за считаные дни или недели — покроется солнечными батареями, ядерными реакторами, корпусами суперкомпьютеров с торчащими башнями охлаждения, стапелями для запуска космических кораблей и прочими сооружениями. При помощи этих средств сверхразум будет стремиться работать на перспективу, чтобы максимально упрочить совокупный эффект от воплощения своих ценностей. Если сверхразум сочтет, что человеческий головной мозг представляет с анатомической, физиологической и функциональной стороны некий интерес и несет в себе нужную информацию, отвечающую целям самого сверхразума, то этот орган будет извлечен, демонтирован, сканирован, а все полученные данные переведены в рациональные форматы для надежного хранения.
Один из таких возможных сценариев описан во врезке 6. Не следует заострять внимание на конкретных деталях — в любом случае они непостижимы и приведены лишь в качестве умозрительных примеров. Вполне можно представить, что сверхразум в состоянии разработать план достижения своих целей лучше любого человека — скорее всего, так и будет. В принципе, к подобным вещам следует относиться слегка отвлеченно. Поскольку нам ничего не известно о потенциальных возможностях сверхразума, мы в состоянии лишь прийти к заключению, что он, вероятно, начнет стремиться к такому перераспределению ресурсов планеты, которое доведет до максимальной степени реализацию его планов. Однако надо учитывать, что это выполнимо лишь при условиях, что рядом не появится соперник, равный ему по интеллекту, и что человечество заранее не предпримет продуманных и действенных мер по обеспечению своей безопасности. Любой предложенный нами конкретный сценарий в лучшем случае определит нижний предел допустимого развития событий: насколько быстро и эффективно сверхразум добьется своих целей. И всегда остается вероятность, что он предпочтет более короткий путь для воплощения собственных замыслов.
ВРЕЗКА 6. ДНК, ЗАКАЗАННАЯ ПО ПОЧТЕ
Элиезер Юдковский в работе «Искусственный интеллект как позитивный и негативный фактор глобального риска» описывает возможный сценарий захвата власти ИИ[290].
Решить задачу синтеза белка, получив возможность создавать цепочки ДНК, полипептидные цепи которых выполняют специфические функциональные роли в сложном химическом взаимодействии.
Отправить по электронной почте наборы цепочек ДНК в одну или несколько лабораторий, предлагающих услуги по синтезу ДНК, секвенированию пептидов и доставку результатов с помощью курьерской службы FedEx. (Сегодня многие лаборатории занимаются этим, причем часто готовы выполнить заказ в течение трех суток.)
Найти через интернет любого человека, которого можно подкупом, шантажом или обманом заставить получить заказ у FedEx, чтобы потом он смешал содержимое пробирок и поместил это содержимое в подходящую среду.
Синтезированные белки сформируют очень примитивную «влажную» наносистему, способную по аналогии с рибосомами выполнять внешние команды, передаваемые, например, посредством определенных акустических вибраций, идущих от направленного на колбу динамика.
Использовать эту чрезвычайно примитивную наносистему для создания более сложных систем, которые, в свою очередь, создадут еще более сложные системы, и так дойти до молекулярных нанотехнологий — или еще дальше.
Сверхразум применяет свою сверхмощь в области технологических разработок, чтобы решить проблему синтеза белка (первый шаг) и создать набор молекулярных «кирпичиков», из которых в водном растворе соберется простейший наноассемблер или микрофабрика (четвертый шаг). Та же самая технологическая сверхмощь снова используется, чтобы повысить уровень нанотехнологий с примитивного на продвинутый, машинный (пятый шаг). Остальные шаги требуют только человеческих интеллектуальных способностей. Содержание третьего шага: найти через интернет доверчивого человека и убедить его выполнить несколько простых действий — такое происходит во всем мире каждый день. Весь сценарий создан человеческим умом, поэтому даже уровень стратегического планирования системы может не превышать человеческий.
ИИ начинает действовать, имея свободный доступ к интернету. Если дело будет обстоять иначе, план следовало бы дополнить еще несколькими шагами. ИИ мог бы, например, воспользоваться своей сверхмощью в области социального манипулирования и убедить людей, которые с ним взаимодействуют, «отпустить» его на свободу. Или добиться этого самостоятельно благодаря умению взламывать системы. Если ИИ не успел овладеть такими способностями, то ему пришлось бы начать с применения своей сверхмощи в области совершенствования интеллекта, чтобы обрести сверхмощь в области социального манипулирования или взлома систем.
Вероятно, ИИ появится в мире, полностью охваченном глобальной компьютерной сетью. Но уже сегодня есть ряд новейших технологий, которые явно пригодятся будущему ИИ в его мировой сверхдержаве: облачные вычисления; сенсорные устройства с подключением к интернету; военные и гражданские беспилотники; автоматизация исследовательских лабораторий и производственных предприятий; электронные платежные системы и цифровые финансовые средства; автоматизированные системы анализа информации и системы принятия решений. Этот активный технологический багаж будущий ИИ приберет к рукам с дискретной скоростью, что явно поспособствует его восхождению к вершине власти (хотя новейшие разработки в области кибербезопасности могут несколько затруднить эту задачу). В конечном счете различия в сценариях вряд ли играют большую роль. Сила сверхразума — в его интеллекте, а не руках. Правда, ИИ все-таки не обойтись без помощников, привыкших взаимодействовать с этим материальным миром, — как показывает приведенный выше сценарий, для завершения фазы скрытой подготовки хватит даже единственной пары рук готового к сотрудничеству сообщника. После чего ИИ перейдет к фазе открытой реализации, в которой построит собственную инфраструктуру, где уже будут действовать самые разные роботы-манипуляторы.
Власть над природой и другими действующими силами
Способность некой действующей силы изменить будущее человечества зависит не только от абсолютной величины ее собственных характеристик и ресурсов: умственных способностей, жизненных сил, объема капитала и прочего, — но и от их относительной величины в сравнении с возможностями и ресурсами других действующих сил, имеющих противоположные цели.
В ситуации, когда отсутствуют какие бы то ни было конкурирующие силы, абсолютный уровень возможностей сверхразума, преодолев некоторый минимальный барьер, становится уже неважным, поскольку система, стартовав с минимально достаточным объемом ресурсов, способна выбрать такой путь развития, который позволит ей приобрести любые дополнительные ресурсы, даже отсутствовавшие изначально. Мы уже упоминали об этом раньше: во-первых, когда обсуждали одинаковую опосредованную досягаемость таких типов сверхразума, как скоростной, коллективный и качественный; во-вторых, когда говорили, что достаточно обладать сверхмощью лишь в одной области, чтобы обеспечить себе ее во всех остальных.
Предположим, появилась сверхразумная сила, управляющая наноассемблером. У нее уже есть довольно мощи для преодоления любых естественных преград, и она прямым путем движется к тому, чтобы существовать вечно. Не встречая сопротивления на интеллектуальном уровне, наша действующая сила, или агент, может выработать безопасный курс развития, который позволит ей овладеть всеми технологиями, необходимыми для осуществления ее целей. Например, создать технологию строительства и запуска зондов фон Неймана — способных к перемещению в космическом пространстве машин, которые используют полезные ископаемые и энергию астероидов, планет и звезд для создания собственных копий[291]. Запустив зонды фон Неймана, такой агент фактически начнет бесконечный процесс колонизации Вселенной. Копии-потомки, двигаясь со скоростями, близкими к скорости света, в конечном счете колонизируют всю сферу Хаббла — часть расширяющейся Вселенной, которая теоретически доступна из точки, где мы сейчас находимся. После этого вся подконтрольная материя и неограниченное количество энергии будут организованы в ценностные структуры, максимизирующие функцию полезности исходного агента на временных промежутках космического масштаба — то есть как минимум в течение триллионов лет до того момента, когда стареющая Вселенная станет слишком недружелюбным местом для обработки информации (см. врезку 7).
ВРЕЗКА 7. НАСКОЛЬКО БОЛЬШИМ МОЖЕТ БЫТЬ АСТРОНОМИЧЕСКОЕ РАСШИРЕНИЕ?
Рассмотрим технологически зрелую цивилизацию, которая в состоянии создать разумные зонды фон Неймана, описанные выше. Если они способны перемещаться в пространстве со скоростью, составляющей 50 процентов от скорости света, то до того момента, когда расширение Вселенной сделает остальные ее области недоступными, смогут добраться до 6 1018 звезд. Если двигаться со скоростью, равной 99 процентам от скорости света, эта величина вырастет до 2 1020[292]. Для перемещения с такими скоростями достаточно лишь небольшой части энергетических ресурсов, имеющихся в Солнечной системе[293] Невозможность скоростей выше скорости света в сочетании с положительной космологической постоянной (благодаря которой скорость расширения Вселенной растет) означает, что мы получили верхнюю оценку пределов пространства, которое смогут покорить наши потомки[294].
Если предположить, что у 10 процентов звезд есть планеты, пригодные — или способные стать пригодными в результате их трансформации по образцу Земли — для обитания существ, похожих на людей, и что каждая из них станет домом для миллиарда человек на миллиард лет (со средней продолжительностью человеческой жизни 100 лет), то это означает, что в будущем разумной цивилизацией, рожденной на Земле, будет создано около 1035 человеческих жизней[295].
Однако есть основания полагать, что полученная нами оценка серьезно занижает истинное значение этого показателя. Если за счет разрушения необитаемых планет и использования межзвездного вещества формировать похожие на Землю планеты, а также увеличить плотность населения, его можно повысить как минимум на пару порядков. А если вместо использования поверхности твердых планет будущая цивилизация начнет строить цилиндры О’Нилла, то сможет добавить еще несколько порядков величины, доведя общую оценку, например, до 1043 человеческих жизней. (Цилиндрами О’Нилла называют предложенное в середине 1970-х гг. американским физиком Джерардом О’Ниллом космическое поселение, состоящее из двух полых цилиндров, вращение которых создает искусственную гравитацию на внутренней поверхности за счет центробежных сил[296].)
Читать бесплатно другие книги:
