Искусственный интеллект. Этапы. Угрозы. Стратегии Бостром Ник

Юдковский предложил, что зародышу ИИ следует задать в качестве конечной цели следование когерентному экстраполированному волеизъявлению (далее по тексту — КЭВ) человечества, которое он определял так:

Наше когерентное экстраполированное волеизъявление — это наше желание знать больше; думать быстрее; быть в большей степени людьми, которыми нам хотелось бы быть; стать ближе друг к другу; сделать так, чтобы наши мысли сближали нас, а не разделяли, чтобы наши желания совпадали, а не пересекались; экстраполировать так, как нам хотелось бы экстраполировать; понимать так, как нам хотелось бы понимать[497].

Когда Юдковский писал это, он не ставил перед собой задачу создать инструкцию по воплощению в жизнь своего предписания, более напоминающего поэтическое воззвание. Его целью было набросать эскиз того, как могло бы быть определено КЭВ, а также пояснить, зачем нужен именно этот подход.

Многие идеи, лежащие в основе КЭВ, имеют аналоги и предшественников в философской литературе. Например, в этике существует теория идеального наблюдателя, которая исследует понятия (например, «хороший» и «плохой») с точки зрения тех суждений, которые сделал бы гипотетический идеальный наблюдатель (под таковым понимается всеведущий, логически мыслящий, беспристрастный и свободный от любой предвзятости субъект)[498]. Однако модель КЭВ не является (и не должна считаться) этической теорией. Никто не утверждает, что есть связь между целью и нашим когерентным экстраполированным волеизъявлением. КЭВ можно считать полезным способом аппроксимации всего, что имеет конечную цель без какой-либо связи с этикой. Будучи основным прототипом метода косвенной нормативности, КЭВ заслуживает более подробного изучения.

Некоторые комментарии

Целесообразность КЭВ

Дополнительные замечания

Описание модели КЭВ в том виде, как оно дано выше, конечно, очень схематично. Остается множество параметров, которые можно бы описать по-разному и получить в результате разные варианты реализации.

Одним из таких параметров является база экстраполяции: чье волеизъявление следует учитывать? Можно сказать «всех», но этот ответ порождает массу новых вопросов. Должна ли база экстраполяции включать «маргинальные» состояния человека и какие? Примут ли во внимание эмбриональное и плодное состояние? Как быть с людьми, у которых наступила смерть мозга, людьми с тяжелыми психическим расстройствами и пациентами, находящимися в коме? Должны ли оба полушария людей с расщепленным мозгом иметь одинаковый вес, и должен ли он совпадать с весом, который присвоен мозгу среднестатистического здорового человека? Как быть с людьми, которые жили раньше и уже умерли? А с теми, кто родится в будущем? С высшими млекопитающими и другими существами, обладающими чувствами? Имитационными моделями мозга? Инопланетянами?

Одно из мнений заключается в том, чтобы включать в популяцию лишь взрослых людей, живущих на Земле на момент начала создания ИИ. После этого первая экстраполяция, полученная на этой базе, решит, нужно ли ее расширять. Поскольку количество «маргиналов» на периферии этой базы сравнительно невелико, результат экстраполяции не должен сильно зависеть от того, где именно будет проведена граница — например, будут или нет учитываться и эмбрион, и плод или только плод.

Однако если кого-то исключат из исходной базы экстраполяции, это не будет означать, что их желания и благополучие принесли в жертву. Если КЭВ тех, кто в базу включен (например, живущие на Земле взрослые люди), будет состоять в том, что этические соображения следует распространить и на другие существа, результат КЭВ учтет эти предпочтения. Тем не менее возможно, что интересы людей, включенных в исходную базу экстраполяции, будут учтены в большей степени, чем всех остальных. В частности, если процесс начинает действовать только в случае согласия между индивидуальными экстраполированными волеизъявлениями (как предполагается в оригинальном предложении Юдковского), то возникает значительный риск преобладания голосов тех, кто не самым благородным образом начнет выступать против заботы о благополучии высших млекопитающих или эмуляторов. Тогда был бы нанесен серьезный ущерб нравственной атмосфере всего человеческого сообщества[505].

Метод КЭВ выгодно отличается от других еще и тем, что снижает конкуренцию между людьми за создание первого сверхразума. Но даже признав, что метод выглядит лучше многих других, мы не можем исключить совсем возникновение конфликтных ситуаций. Всегда найдутся те, кто начнет преследовать собственные корыстные интересы: и отдельные личности, и сообщества, и целые государства могут стремиться увеличить свою долю будущего пирога за счет исключения других из базы экстраполяции.

Такое стремление к власти объясняется по-разному. Например, собственник проекта, полностью финансирующий разработку ИИ, имеет право влиять на дальнейшие результаты. Этичность этого права сомнительна. Оспорить ее можно, например, тем, что проект по созданию первого успешного зародыша ИИ несет огромные риски гибели всего человечества, которые, соответственно, должны быть как-то компенсированы. Но справедливая величина компенсации настолько высока, что единственно возможная ее форма — это предоставление каждому доли тех благ, которые удастся получить в случае успеха[506].

Другой аргумент сторонников концентрации власти над ИИ заключается в том, будто значительные слои народонаселения имеют примитивные или аморальные предпочтения, поэтому включение их в базу экстраполяции только увеличит риск превращения будущего человечества в антиутопию. Трудно определить соотношение добра и зла в душе человека. Так же трудно оценить, как оно изменяется в зависимости от его принадлежности к различным группам, социальным стратам, культурам и странам. Независимо от того, оптимистично или пессимистично смотришь на природу человека, вряд ли возникнет желание стремиться к освоению космических пространств на основании одной лишь надежды, что в экстраполированном волеизъявлении большинства из семи миллиардов живущих сейчас на планете людей преобладают добрые черты. Конечно, исключение определенной группы из базы экстраполяции не гарантирует победы; вполне возможно, что в душах тех, кто первым готов исключить других или концентрировать власть над проектом, зла намного больше.

Еще одна причина борьбы за контроль над исходными условиями состоит в том, что кто-то может считать, будто предложенные другими подходы к созданию ИИ не сработают так, как должно, даже если предполагается, что ИИ будет следовать КЭВ человечества. Если у нескольких групп разработчиков сформируются разные представления о научных направлениях, которые с наибольшей вероятностью приблизят успех, они вступят между собой в беспощадную борьбу. Каждая группа начнет стремиться к тому, чтобы воспрепятствовать остальным создать ИИ. В подобной ситуации конкурирующие проекты должны урегулировать свои эпистемологические противоречия, не прибегая к вооруженным конфликтам, а с помощью методов, позволяющих более надежно определять, кто прав больше, а кто — меньше[507].

До сих пор мы рассматривали различные варианты того, как должна быть описана цель ИИ. Но на поведение разумной системы оказывают влияние и другие компоненты архитектуры. Особенно критически важно, какие методы теории принятия решений и теории познания в нем используются. И еще: будет ли ИИ сообщать людям о своих планах до начала их реализации.

В табл. 13 приведен список проектных решений, которые необходимо выполнить в процессе создания сверхразума. Разработчики проекта должны уметь объяснить, какие решения были приняты по отношению к каждому случаю и почему были приняты именно эти, а не иные решения[521].

Таблица 13. Перечень компонентов

Описание цели

Какую цель должен преследовать ИИ? Как он должен интерпретировать описание этой цели? Должна ли цель предполагать специальное вознаграждение для тех, кто внес свой вклад в успех проекта?

Принятие решений

Должен ли ИИ использовать причинный подход к принятию решений, подход на основе ожиданий, безусловный подход или какой-то еще?

Эпистемология, то есть познание мира

Какой должна быть функция априорной вероятности ИИ, какие другие явные и неявные предположения о мире ему следует сделать? Как он должен учитывать влияние человека?

Ратификация, то есть подтверждение

Должны ли планы ИИ проходить проверку человеком прежде, чем будут реализованы? Если да, как будет организован этот процесс?

Описание цели

Мы уже обсуждали, как можно использовать косвенную нормативность для определения цели, которую должен преследовать ИИ, и рассмотрели некоторые варианты, например модели, основанные на морали и когерентном экстраполированном волеизъявлении. Если мы остановились на каком-то из вариантов, это создает необходимость делать следующий выбор. Например, есть множество вариаций модели КЭВ, зависящих от того, кого включают в базу экстраполяции, от ее структуры и так далее. Другие формы мотивации могут означать необходимость использовать иное описание цели. Предположим, создается ИИ-оракул, цель которого — давать точные ответы. Если при этом используется метод приручения, в описании цели должна присутствовать формулировка о недопустимости чрезмерного использования ресурсов при подготовке этих ответов.

При выборе вариантов устройства ИИ следует также ответить на вопрос, должна ли цель предполагать специальное вознаграждение для тех, кто внес свой вклад в успех проекта, например за счет выделения им дополнительных ресурсов или оказания влияния на поведение ИИ. Любое упоминание этого обстоятельства можно назвать «стимулирующий пакет». Благодаря стимулирующему пакету мы повысим вероятность успешной реализации проекта, пусть и ценой некоторого компромисса с точки зрения достижения стоящих перед ним целей.

Например, если целью проекта является создание процесса, реализующего когерентное экстраполированное волеизъявление человечества, тогда стимулирующий пакет может представлять собой указание, что желаниям некоторых людей при экстраполировании будет присвоено большее значение. Если такой проект окажется успешным, его результатом не обязательно станет реализация когерентного экстраполированного волеизъявления всего человечества. Скорее, будет достигнута некоторая близкая к этому цель[522].

Поскольку стимулирующий пакет включается в описание цели, а сверхразуму придется обязательно интерпретировать и реализовывать это определение, можно воспользоваться преимуществами, предлагаемыми методом косвенной нормативности, и сформулировать в описании сложные положения, довольно трудные, если реализацией будет заниматься человек. Например, вместо того чтобы вознаграждать программистов за какую-то наспех сколоченную, но понятную системой показателей, например сколько часов они проработали и сколько ошибок исправили, в стимулирующем пакете может быть указано, что программисты «должны получать вознаграждение пропорционально их вкладу, который увеличил ожидаемую вероятность успешной реализации проекта так, как этого хотели заказчики». Более того, нет причины ограничивать круг тех, на кого распространяется стимулирующий пакет, только участниками проекта. Можно указать, что вознагражден будет каждый человек в соответствии с его вкладом. Распределение благодарности — задача трудная, но от ИИ можно ожидать разумной аппроксимации критерия, явно или неявно указанного в стимулирующем пакете.

Предположим, сверхразум отыщет какой-то способ вознаградить даже тех, кто умер задолго до его создания[523]. И тогда стимулирующий пакет может быть расширен за счет некоторых умерших людей, причем не только до начала проекта, но и, возможно, до первого упоминания о концепции стимулирующего пакета. Конечно, проведение такой ретроспективной политики уже ни к чему людям, лежащим в могилах, но это было бы правильно по этическим соображениям. Правда, есть одно техническое возражение: если цель проекта — воздать по заслугам, то тогда об этом нужно упомянуть в самом описании цели, а не в рамках стимулирующего пакета.

Мы не можем слишком глубоко погружаться в этические и стратегические вопросы, связанные с созданием стимулирующего пакета. Однако позиция разработчиков ИИ по этим вопросам является важным аспектом концепции его устройства.

Принятие решений

Еще один важный компонент проекта по созданию ИИ — система принятия решений. Выбор того или иного подхода влияет на стратегию поведения ИИ в судьбоносные моменты его существования. От этого может зависеть, например, будет ли ИИ открыт для договорных отношений с другими гипотетическими сверхразумными цивилизациями или, напротив, станет объектом шантажа с их стороны. Специфика процесса принятия решений также играет роль в трудных ситуациях вроде тех, когда имеется ограниченная вероятность неограниченных выигрышей («пари Паскаля») или чрезвычайно низкая вероятность чрезвычайно высоких ограниченных выигрышей («ограбление Паскаля»), а также когда ИИ сталкивается с фундаментальной нормативной неопределенностью или многочисленными копиями той же программы-агента[524].

Варианты, приведенные в таблице, включают в себя причинный подход к принятию решений (у которого есть множество вариаций) и подход на основе ожиданий, а также более современных кандидатов вроде «безусловного» и «вневременного» подхода, которые еще только разрабатываются[525]. Может оказаться не слишком просто подобрать верный вариант и убедиться, что мы правильно его используем. Хотя перспективы прямого описания подхода ИИ к принятию решений кажутся более реальными, чем прямого описания его конечных целей, значительный риск ошибки все-таки существует. Многие сложности, способные поставить в тупик наиболее популярные теории принятия решений, были обнаружены совсем недавно, откуда следует, что могут существовать и иные проблемы, пока невидимые глазу. В случае ИИ результаты применения ошибочного подхода могут быть катастрофическими, вплоть до гибели всего человечества.

Учитывая эти сложности, возникает идея описать подход к принятию решений, который должен использовать ИИ, непрямым методом. Можно предложить ИИ использовать «тот подход к принятию решений D, который мы предложили бы ему применить после долгих размышлений над этим вопросом». Однако ИИ должен иметь возможность принимать решения еще до того, как узнает, что такое D. Отсюда возникает потребность в промежуточном подходе к принятию решений D’, которым ИИ мог бы руководствоваться в процессе поиска D. Можно попытаться определить D’ как своего рода суперпозицию текущих гипотез ИИ о D (взвешенных на их вероятности), хотя остаются нерешенными некоторые технические проблемы, в частности, как сделать это в общем виде[526]. Есть еще один повод для беспокойства: ИИ способен сделать непоправимо неверный выбор (например, перезаписать себя, зафиксировав ошибочный подход к принятию решений) на стадии обучения, прежде чем у него появится возможность определить правильность того или иного подхода. Чтобы уменьшить риск ошибки в период повышенной уязвимости ИИ, можно попробовать наделить зародыш ограниченной рациональностью в той или иной форме — сознательно упрощенным, но более надежным подходом к принятию решений, который стойко игнорирует эзотерические соображения, даже если мы думаем, что они в конечном счете могут оказаться правильными, и который впоследствии должен заменить себя на более сложный (непрямой) подход к принятию решений, удовлетворяющий определенным критериям[527]. Можно ли это сделать, и если да, то как — вопрос открытый.

Эпистемология, или Познание мира

В рамках проекта необходимо сделать фундаментальный выбор в отношении методов теории познания, которыми будет пользоваться ИИ, и описать принципы и критерии оценки эпистемологических гипотез. Можно, например, остановиться на байесовском подходе и принять эпистемологию как функцию априорного распределения вероятности — имплицитного присвоения ИИ значений вероятности возможным мирам до того, как им будут рассмотрены и учтены какие-либо воспринимаемые свидетельства. В других условиях методы познания могут принимать иную форму, однако в любом случае необходимо некоторое индуктивное правило обучения, если ИИ должен обобщать наблюдения, сделанные в прошлом, и делать предсказания относительно будущего[528]. Однако, как и в случае с описанием цели и подходом к принятию решений, есть риск, что наше определение эпистемологии окажется ошибочным.

На первый взгляд может показаться, что размер ущерба от неправильного выбора методов теории познания ограничен. Ведь если они совсем не будут работать, ИИ просто окажется не слишком интеллектуальным и не будет представлять угрозу, о которой говорится в этой книге. Но остается опасность, что эпистемология будет определена достаточно хорошо для того, чтобы ИИ был инструментально эффективен в большинстве ситуаций, но при этом в определении будет содержаться некий изъян, из-за которого ИИ собьется с пути в каком-то жизненно важном вопросе. Такой ИИ станет походить на умного человека, абсолютно убежденного в истинности ложной догмы, на которой выстроена его философия; он начнет «бороться с ветряными мельницами» и всего себя посвятит достижению фантастических или опасных целей.

Незначительные различия в априорном распределении вероятностей способны привести к серьезным отличиям в поведении ИИ. Например, может быть приравнена к нулю априорная вероятность того, что Вселенная бесконечна. И тогда независимо от количества астрономических свидетельств в пользу этого ИИ будет упрямо отвергать все космологические теории, построенные на идее бесконечной Вселенной, делая в результате неправильный выбор[529]. Или окажется нулевой априорная вероятность того, что Вселенная не является вычислимой по Тьюрингу (на самом деле это общее свойство многих априорных распределений вероятностей, которые обсуждаются в научной литературе, включая уже упомянутую в первой главе колмогоровскую сложность), что также приведет к плохо понимаемым последствиям, если это допущение — известное как тезис Чёрча–Тьюринга — окажется ложным. ИИ может быть наделен априорным распределением вероятностей, которое приведет к появлению у него тех или иных сильных метафизических воззрений разного рода, например предположение о возможности истинности дуализма разума и тела или возможности существования не поддающихся улучшению моральных фактов. Если какие-то из этих воззрений окажутся ошибочными, возникнет шанс того, что ИИ будет стремиться достичь своих конечных целей способами, которые мы бы отнесли к порочной реализации. И при этом нет никакой очевидной причины полагать, что такой ИИ, будучи фундаментально неправым в каком-то одном очень важном аспекте, не сможет стать достаточно эффективным в инструментальном смысле, чтобы обеспечить себе решающее стратегическое преимущество. (Еще одной областью, где может играть ключевую роль выбор эпистемологических аксиом, является изучение эффекта наблюдателя и его влияния на выводы, которые можно сделать на основе дейктической информации[530])

У нас есть все основания сомневаться в своей способности разрешить все фундаментальные эпистемологические проблемы к моменту начала создания первого зародыша ИИ. Поэтому лучше исходить из того, что для задания его методов познания мира будет использован непрямой подход. Но тогда возникает множество вопросов, аналогичных случаю применения непрямого подхода к определению процесса принятия решений. Однако в случае эпистемологии есть больше надежд на позитивную конвергентность, поскольку любой из широкого спектра подходов теории познания обеспечивает создание безопасного и эффективного ИИ и в конечном счете приводит к одним и тем же результатам. Причина заключается в том, что различия в априорном распределении вероятностей, как правило, стираются при наличии довольно большого количества эмпирических свидетельств и в результате проведения глубокого анализа[531].

Было бы неплохо поставить себе цель наделить ИИ фундаментальными эпистемологическими принципами, аналогичными тем, которые управляют нашим собственным мышлением. Тогда, если последовательно применять свои стандарты, любой ИИ, отклоняющийся от этого идеала, должен считаться мыслящим неправильно. Конечно, это применимо лишь к нашим действительно фундаментальным эпистемологическим принципам. Не относящиеся к фундаментальным принципы ИИ должен постоянно создавать и пересматривать самостоятельно по мере развития своих представлений о мире. Задача ИИ — не потворствовать человеческим предубеждениям, а избавляться от следствий нашего невежества и глупости.

Ратификация, или Подтверждение

Последним пунктом в нашем списке вариантов выбора различных аспектов устройства ИИ является ратификация. Должны ли планы ИИ проходить проверку человеком прежде, чем будут реализованы? В случае ИИ-оракула ответ на этот вопрос утвердительный по определению. Оракул выдает информацию; человек решает, использовать ли ее и если да, то как. Однако в случае ИИ-джинна, ИИ-монарха и ИИ-инструмента вопрос о том, нужна ли какая-то форма ратификации, остается открытым.

Чтобы посмотреть, как может работать ратификация, возьмем ИИ, который должен действовать как монарх, реализующий КЭВ человечества. Представим, что прежде чем запустить его, мы создаем оракула, единственной целью которого будет отвечать на вопросы о том, что должен делать монарх. В предыдущих главах мы видели, что с созданием оракула-сверхразума связаны определенные риски (в частности, риск проявления преступной безнравственности или риск инфраструктурной избыточности). Но мы примем за данность, что ИИ-оракул будет успешно создан и указанные подводные камни удастся обойти.

Итак, есть ИИ-оракул, выдающий нам свои оценки последствий запуска тех или иных фрагментов кода, в которых реализуется КЭВ человечества. Оракул не может прогнозировать во всех деталях, что произойдет, но его предсказания, скорее всего, окажутся точнее наших. (Если сверхразум ничего не сможет сказать о том, что будет делать программа, было бы безумием ее запускать.) В общем, оракул немного думает и выдает результат. Чтобы он был понятнее, оракул может предложить оператору набор инструментов, с помощью которых можно изучить различные аспекты предсказанного исхода. Помимо картины, как может выглядеть будущее, оракул представит статистику количества мыслящих существ, которые будут жить в разные времена, и нижние, средние и пиковые показатели их благополучия. Он также может составить подробные биографии нескольких случайных людей (возможно, воображаемых, выбранных в силу репрезентативности). И обратить внимание оператора на некоторые аспекты, о которых тот мог бы не спросить, но которые действительно заслуживают его внимания.

Такая способность заранее проанализировать возможные исходы дает нам очевидные преимущества. В ходе анализа можно увидеть последствия ошибки в определениях, которые планируется заложить в ИИ-монарха или записать в его исходном коде. Если «хрустальный шар» показывает нам будущее в руинах, можно удалить код планируемого к созданию монарха и попробовать что-то еще. Будем считать, что изучать возможные последствия нашего выбора прежде, чем сделать его, следует непременно, особенно в тех случаях, когда на кону — будущее всего человеческого вида.

Потенциально серьезные недостатки ратификации не лежат на поверхности. Желание противоборствующих фракций заранее увидеть, каким будет вердикт высшего разума, вместо того чтобы просто положиться на его мудрость, может подорвать миротворческую суть КЭВ. Сторонники подхода, основанного на морали, могут беспокоиться из-за того, что решимость спонсора улетучится, как только он увидит, к каким жертвам приведет стремление к оптимальному решению с точки зрения этики. Кроме того, у нас могут быть все основания предпочитать жизнь, в которой потребуется постоянно преодолевать себя, то есть будущее, полное сюрпризов и противоречий, — будущее, контуры которого не так тесно привязаны к нынешним исходным условиям, но оставляющее определенный простор для резкого движения и незапланированного роста. Мы с меньшей вероятностью строили бы амбициозные планы, если бы могли подбирать каждую деталь будущего и отправлять на доработку его черновики, не полностью отвечающие нашему преходящему настроению.

Итак, вопрос ратификации планов ИИ организаторов не слишком прост, как может показаться вначале. Тем не менее правильнее было бы воспользоваться возможностью и ознакомиться с вариантами, если такой функционал будет реализован. Но не стоит ждать от наблюдателя детального изучения и корректировки каждого аспекта предполагаемого результата, будет лучше, если мы наделим его правом вето, которое он мог бы использовать ограниченное число раз, прежде чем проект был бы окончательно прекращен[532].

Прежде чем обратиться к более узким вопросам машинного интеллекта, следует познакомиться с несколькими стратегическими концепциями и соображениями, которые имеют отношение к научному и технологическому развитию в целом.

Различные темпы технологического развития

Предположим, что некое лицо, наделенное властными полномочиями, предлагает прекратить финансирование определенной области исследований, оправдывая это рисками или долгосрочными последствиями, связанными с развитием новой технологии, которая когда-нибудь может появиться в этой области. Естественно, официальное лицо не удивится, если со стороны научного сообщества поднимется ропот недовольства.

Ученые и их защитники часто говорят, что контролировать эволюцию технологий, блокируя исследования, бесполезно. Если технология возможна (говорят они), то она появится независимо от опасений властных лиц по поводу предполагаемых будущих рисков. Действительно, чем большим потенциалом обладает технология, тем с большей уверенностью можно сказать, что кто-то где-то будет мотивирован ее создать. Прекращение финансирования не остановит прогресс и не устранит сопутствующие ему риски.

Интересно, что этот аргумент о бесполезности контроля почти никогда не возникает в тех случаях, когда лица, наделенные властными полномочиями, предлагают увеличить финансирование некоторых областей исследований, несмотря на то что аргумент этот, похоже, обоюдоострый. Не приходилось слышать возмущенных криков: «Пожалуйста, не увеличивайте бюджеты в нашей области. А лучше сократите их. Исследователи в других странах наверняка заполнят пустоту, эта работа так или иначе будет сделана. Не растрачивайте общественные средства на проведение исследований в нашей стране!»

С чем связана такая двойственность? Одно из объяснений, конечно, заключается в том, что у членов научного сообщества проявляется предубеждение в свою пользу, заставляющее нас верить, что исследования — это всегда хорошо, и пытаться использовать практически любые аргументы в пользу повышения их финансирования. Однако возможно также, что двойные стандарты объясняются национальными интересами. Предположим, что развитие некой технологии будет иметь эффект двух типов: небольшую пользу В для ее создателей и страны, которая их финансирует, и гораздо более ощутимый вред Н — вплоть до риска гибели — для всех. Выбор в пользу разработки такой опасной технологии могли бы сделать даже те, кто в целом придерживается альтруистических взглядов. Они могли бы рассуждать следующим образом: вред Н будет нанесен в любом случае, что бы они ни делали, поскольку если не они, то кто-то еще все равно эту технологию создаст; а раз так, то можно было бы хотя бы получить пользу В для себя и своей страны. («К несчастью, скоро появится оружие, которое уничтожит мир. К счастью, мы получили грант на его создание!»)

Чем бы ни объяснялся аргумент о бесполезности контроля, с его помощью невозможно доказать, что с объективной точки зрения отсутствуют причины для попытки контролировать технологическое развитие. Это невозможно доказать, даже если мы допустим истинность вдохновляющей идеи, что в случае неустанных усилий ученых и исследователей в конечном счете все возможные технологии будут созданы — то есть если мы допустим следующее.

Гипотеза о технологической полноте

Если ученые и исследователи не прекратят свои усилия, тогда все важные базовые возможности, которые можно получить при помощи неких технологий, будут получены[534].

Есть как минимум две причины, по которым из гипотезы о технологической полноте не следует аргумент о бесполезности контроля. Во-первых, может не иметь место посыл, поскольку на самом деле нам не дано знать, прекратят ли ученые и исследователи свои усилия (прежде чем будет достигнута технологическая зрелость). Эта оговорка особенно актуальна в контексте, в котором присутствует экзистенциальный риск. Во-вторых, даже если мы уверены, что все важные базовые возможности, которые можно получить при помощи неких технологий, будут получены, все же имеет смысл попытаться влиять на направление исследований. Важно не то, будет ли создана та или иная технология, а то, когда она будет создана, кем и в каком контексте. А на эти обстоятельства рождения новой технологии, определяющие эффект от нее, можно влиять, открывая и закрывая вентиль финансирования (и применяя другие инструменты контроля).

Из этих рассуждений следует принцип, который предполагает, что нам нужно уделять внимание относительной скорости развития различных технологий[535].

Принцип разной скорости технологического развития

Следует тормозить развитие опасных и вредных технологий, особенно тех, которые повышают уровень экзистенциального риска, и ускорять развитие полезных технологий, особенно тех, которые снижают уровень экзистенциального риска, вызванного другими технологиями.

Соответственно, любое решение лиц, облеченных властью, можно оценивать исходя из того, насколько оно обеспечивает преимуществами желательные виды технологий по сравнению с нежелательными[536].

Предпочтительный порядок появления

Некоторые технологии являются амбивалентными по отношению к экзистенциальным рискам, увеличивая одни и снижая другие. К такого рода технологиям принадлежит изучение и разработка сверхразума.

В предыдущих главах мы видели, что с появлением машинного сверхразума возникает высочайший экзистенциальный риск глобального масштаба, но при этом другие экзистенциальные риски могут снижаться. Скажем, практически исчезнут риски гибели человечества вследствие природных катаклизмов: падений астероидов, извержений вулканов, вспышек эпидемий — поскольку сверхразум способен разработать контрмеры в каждом из этих случаев или хотя бы перевести их в менее опасную категорию (например, за счет колонизации космоса).

Экзистенциальные риски природных катаклизмов относительно малы на обозримой шкале времени. Но сверхразум способен также устранить совсем или существенно снизить многие антропогенные риски. В частности, риск случайной гибели человечества в результате инцидентов, связанных с новыми технологиями. Поскольку сверхразум в целом гораздо способнее человека, он будет меньше ошибаться, лучше понимать, когда требуются те или иные меры предосторожности, и принимать их более компетентно. Разумно устроенный сверхразум может иногда идти на риск, но только если это оправданно. Более того, как минимум в тех сценариях, где сверхразум формирует синглтон, многие антропогенные экзистенциальные риски неслучайного характера, связанные с проблемой отсутствия глобальной координации, исчезают совершенно. К ним относятся риски войн, технологической и других нежелательных форм конкуренции и эволюции, а также избыточного использования ресурсов.

Поскольку существенную угрозу вызывает развитие людьми таких направлений, как синтетическая биология, молекулярные нанотехнологии, климатический инжиниринг, инструменты биомедицинского улучшения и нейропсихологического манипулирования, средства социального контроля, способные привести к тоталитаризму или тирании, а также другие технологии, которые пока невозможно представить, устранение этих рисков станет огромным благом для человечества. Однако если природные и прочие риски не техногенного характера низки, то этот аргумент стоит уточнить: важно, чтобы сверхразум был создан раньше других опасных технологий, например инновационных нанотехнологий. Важно не то, когда он появится (с объективной точки зрения), а правильный порядок появления.

Если сверхразум появится раньше других потенциально опасных технологий, скажем, нанотехнологий, то он будет в силах снизить экзистенциальный риск, связанный с нанотехнологиями, но нанотехнологии снизить риск, связанный с появлением сверхразума, не могут[537]. Следовательно, создав вначале сверхразум, мы будем иметь дело лишь с одним видом экзистенциального риска, а создав вначале нанотехнологии, получим как риск нанотехнологий, так и риск сверхразума[538]. То есть даже если экзистенциальный риск сверхразума высок и даже если это самая рискованная из всех технологий, все равно имеет смысл торопить его создание.

Однако эти аргументы в пользу «чем быстрее, тем лучше» основаны на предположении, что риски, связанные со сверхразумом, одинаковы независимо от того, когда он будет создан. Если все-таки они снижаются с течением времени, возможно, лучше было бы замедлить революцию машинного интеллекта. Даже притом что более позднее появление сверхразума оставит больше времени для других экзистенциальных катастроф, может быть, предпочтительнее подождать с его созданием? Особенно это верно в том случае, если экзистенциальные риски, связанные со сверхразумом, намного выше, чем риски других потенциально опасных технологий.

Есть несколько причин полагать, что опасность, заложенная во взрывном развитии интеллекта, будет резко снижаться в ближайшие десятилетия. Одна из них заключается в том, что чем позже произойдет взрыв, тем больше времени будет на решение проблемы контроля. Это осознали лишь недавно, и большинство лучших идей по решению проблемы появились за последнее десятилетие (причем некоторые из них — уже за время написания этой книги). Есть основания полагать, что ситуация будет прогрессировать, и хотя проблема оказалась очень сложной, в течение века развитие может оказаться значительным. Чем позже появится сверхразум, тем большего прогресса удастся добиться. Это сильный аргумент в пользу более позднего появления сверхразума — и очень сильный аргумент против его слишком раннего появления.

Есть еще одна причина, почему отсрочка в появлении сверхразума может сделать его безопаснее. Она даст возможность развиться различным позитивным тенденциям, способным повлиять на его действия. Насколько большое значение вы присвоите этой причине, зависит от оптимистичности вашего взгляда на человеческую цивилизацию.

Оптимист, конечно, укажет на множество обнадеживающих признаков и повсеместно возникающих возможностей. Люди могут научиться лучше ладить друг с другом, что приведет к снижению уровня насилия, количества войн и жестокости; может вырасти степень глобальной координации и политической интеграции, что позволит избежать нежелательной гонки вооружений в области технологий (подробнее об этом ниже) и прийти к согласию относительно широкого распространения потенциальных благ от взрывного развития интеллекта. Похоже, именно в этом направлении складываются долгосрочные исторические тенденции[539].

Кроме того, оптимист может ожидать, что в нашем столетии возрастет здравомыслие человечества: станет меньше предубеждений (в среднем); продолжат накапливаться знания о мире; людям станет привычнее размышлять об абстрактных будущих вероятностях и глобальных рисках. Если повезет, мы станем свидетелями общего роста эпистемологических стандартов как в индивидуальном, так и в коллективном сознании. Тенденции такого масштаба обычно заметны. Научный прогресс приведет к тому, что мы будем знать намного больше. Благодаря экономическому росту все большая доля человечества будет получать достаточное питание (особенно в возрасте, критическом с точки зрения развития мозга) и доступ к качественному образованию. Успехи в информационных технологиях упростят поиск, обобщение, оценку и распространение данных и идей. Более того, к концу столетия на счету человечества будут дополнительные сто лет ошибок — и на них можно будет учиться.

Многие потенциальные плоды прогресса являются амбивалентными в уже упомянутом нами смысле: они увеличивают одни экзистенциальные риски и снижают другие. Например, благодаря успехам в развитии технологий слежения, глубинной обработки данных, детекции лжи, биометрии, психологических или нейрохимических средств манипулирования мнениями и желаниями можно снизить экзистенциальные риски за счет большей международной координации усилий по борьбе с терроризмом и преступностью. Однако те же самые успехи могут увеличить некоторые экзистенциальные риски в результате усиления негативных социальных процессов или формирования стабильных тоталитарных режимов.

Важным рубежом является улучшение биологического механизма познания, например за счет генетического отбора. Обсуждая это в главах второй и третьей, мы пришли к выводу, что наиболее радикальные системы сверхразума, скорее всего, возникнут в форме машинного интеллекта. Это заявление согласуется с тем, что биологическое улучшение интеллектуальных способностей сыграет важную роль в подготовке к созданию и собственно создании искусственного сверхразума. Такое когнитивное совершенствование может показаться очевидным способом снизить риски — чем умнее люди, работающие над проблемой контроля, тем больше вероятность, что ее решение будет найдено. Однако когнитивное совершенствование также ускоряет процесс создания машинного интеллекта, тем самым сокращая время, которое у нас есть для поиска этого решения. Когнитивное совершенствование может иметь и другие следствия, имеющие отношение к интересующему нас вопросу. Они заслуживают более пристального рассмотрения. (Большинство следующих мыслей относительно когнитивного улучшения равно применимы и к небиологическим средствам повышения нашей индивидуальной или коллективной эпистемологической эффективности.)

Скорость изменений и когнитивное совершенствование

Повышение среднего уровня и верхнего предела человеческих интеллектуальных способностей, скорее всего, приведет к ускорению технологического прогресса, в том числе в области создания различных форм машинного интеллекта, решения проблемы контроля и достижения множества других технических и экономических целей. Каким будет чистый эффект такого ускорения?

Давайте рассмотрим ограниченный случай «универсального ускорителя» — воображаемого вмешательства, с помощью которого можно ускорить буквально все. Действие такого универсального ускорителя скажется больше на произвольном изменении масштаба временной шкалы и не приведет к качественным изменениям наблюдаемых результатов[540].

Если мы хотим наполнить смыслом идею ускорения различных процессов благодаря когнитивному совершенствованию, нам, очевидно, нужна какая-то иная концепция, нежели универсальный ускоритель. Более перспективно было бы сконцентрировать внимание на вопросе, как когнитивное улучшение способно повысить скорость изменения одних процессов относительно скорости изменения других. Такое различие способно повлиять на динамику всей системы. Итак, рассмотрим следующую концепцию.

Ускоритель макроструктурного развития

Рычаг, который повышает скорость развития макроструктурных свойств человеческого существования, при этом оставляя неизменной динамику на микроуровне.

Представьте, что вы потянули этот рычаг в направлении торможения. Тормозные колодки прижимаются к огромному колесу человеческой истории, летят искры, раздается металлический скрежет. После замедления колеса мы получаем мир, в котором технологические инновации происходят медленнее, а фундаментальные или имеющие глобальное значение изменения в политической структуре и культуре случаются реже и не столь резко, как прежде. Чтобы одна эпоха пришла на смену другой, должны смениться многие поколения. На протяжении своей жизни люди становятся свидетелями совсем незначительных изменений в базовой структуре человеческого существования.

Большинство представителей нашего вида были свидетелями гораздо более медленного макроструктурного развития, чем сейчас. Пятьдесят тысяч лет назад могло пройти целое тысячелетие без единого значительного технологического прорыва, без заметного увеличения объема человеческих знаний и понимания мира, без значимых глобальных политических изменений. Однако на микроуровне калейдоскоп человеческой жизни мелькал с довольно высокой скоростью — рождения, смерти и прочие события в жизни человека. В эпоху плейстоцена день среднего человека мог быть насыщен событиями больше, чем сейчас.

Если в ваших руках оказался бы волшебный рычаг, позволяющий менять скорость макроструктурного развития, что бы вы сделали? Ускорили бы его, затормозили или оставили как есть?

Объективная точка зрения предполагает, что для ответа на этот вопрос потребуется оценить изменение уровня экзистенциального риска. Но вначале давайте определимся с различием между двумя его типами: статическим и динамическим. Статический риск ассоциируется с пребыванием в определенном состоянии, и общий размер статического риска системы есть прямая функция того, насколько долго система остается в этом состоянии. Все природные риски, как правило, статические: чем дольше мы живем, тем выше вероятность гибели в результате попадания астероида, извержения супервулкана, вспышки гамма-излучения, начала эпидемии или какого-то другого взмаха космической смертоносной косы. Некоторые антропогенные риски тоже статические. На индивидуальном уровне чем дольше солдат выглядывает из-за бруствера, тем выше кумулятивная вероятность погибнуть от пули снайпера. Статические риски есть и на экзистенциальном уровне: чем дольше мы живем в глобально анархической системе, тем выше кумулятивная вероятность термоядерного Армагеддона или мировой войны с применением неядерного оружия массового поражения — и то и другое способно уничтожить цивилизацию.

Динамический риск, в отличие от статического, это дискретный риск, связанный с неким необходимым или желательным переходом из одного состояния в другое. Как только переход завершен, риск исчезает. Величина динамического риска, связанного с переходом, обычно не является простой функцией его длительности. Риск пересечения минного поля не уменьшится вдвое, если бежать по нему в два раза быстрее. С быстрым взлетом в ходе создания сверхразума связан динамический риск, зависящий от качества проведенной подготовки, но не от того, потребуется на взлет двадцать миллисекунд или двадцать часов.

То есть о гипотетическом ускорителе макроструктурного развития можно сказать следующее.

   1. В той мере, в которой нас беспокоит статический риск, нам следует стремиться к быстрому ускорению — при условии, что у нас есть реалистичные перспективы дожить до постпереходной эпохи, в которой все остальные экзистенциальные риски будут значительно снижены.

   2. Если бы мы точно знали, что некий шаг вызовет экзистенциальную катастрофу, нам следовало бы снизить скорость макроструктурного развития (или даже обратить его вспять), чтобы дать большему количеству поколений шанс прожить жизнь до того момента, пока не опустится занавес. Но на самом деле было бы слишком пессимистично считать, что человечество обречено.

   3. В настоящее время статический экзистенциальный риск, похоже, относительно низок. Если предположить, что технологические макроусловия нашей жизни останутся на нынешнем уровне, вероятность экзистенциальной катастрофы, скажем, в ближайшее десятилетие, очень мала. Поэтому с задержкой технологического развития на десять лет — при условии, что она будет сделана на нынешней стадии развития или в какой-то другой момент, когда статический риск окажется столь же низким, — будет связан лишь незначительный экзистенциальный статический риск, притом что задержка вполне способна благотворно повлиять на величину экзистенциального динамического риска, в частности, из-за большего времени на подготовку к переходу.

Делаем вывод: скорость макроструктурного развития важна постольку, поскольку влияет на то, насколько подготовлено будет человечество к тому моменту, когда столкнется с ключевыми динамическими рисками[541].

Поэтому мы должны спросить себя, как когнитивное совершенствование (и соответствующее ускорение макроструктурного развития) повлияет на ожидаемый уровень подготовки в момент перехода. Следует ли нам предпочесть более короткий период подготовки на более высоком уровне интеллекта? С более высоким интеллектом время подготовки можно использовать более эффективно, а последний критически важный шаг сделает более разумное человечество. Или нам следует предпочесть действия на том уровне интеллекта, который более близок сегодняшнему, если это даст нам больше времени на подготовку?

То, какой вариант лучше, зависит от природы вызова, к которому мы готовимся. Если он заключается в решении проблемы, для которой ключевым является обучение на основе опыта, тогда определяющим фактором может быть длительность периода подготовки, поскольку для накопления требуемого опыта нужно время. Как мог бы выглядеть подобный вызов? В качестве гипотетического примера можно предположить, что в какой-то момент в будущем будет создано новое оружие, способное в случае начала войны вызвать экзистенциальную катастрофу, скажем, с вероятностью один к десяти. Если мы столкнулись бы с таким вызовом, то могли бы захотеть замедлить темпы макроструктурного развития, чтобы у нашего вида было больше времени для совместных действий до того момента, когда будет сделан критически важный шаг и новое оружие станет реальностью. Можно надеяться на то, что благодаря этой отсрочке, подаренной торможением развития, человечество научится обходиться без войн, например, международные отношения на Земле станут напоминать те, что характерны для стран Евросоюза, которые яростно боролись друг с другом на протяжении многих веков, а теперь сосуществуют в мире и относительной гармонии. Такое умиротворение может стать следствием или постепенного смягчения нравов в результате различных эволюционных процессов, или шоковой терапии в результате вспышки насилия, недотягивающей до экзистенциального уровня (например, локального ядерного конфликта и вызванного им изменения во взглядах, способного привести к созданию глобальных институтов, необходимых для исключения войн между государствами). Если такого рода обучение не может быть ускорено за счет когнитивного совершенствования, тогда в таком улучшении смысла нет, поскольку оно лишь ускорит горение бикфордова шнура.

Однако с потенциальным взрывным развитием искусственного интеллекта может быть связан вызов и иного рода. Для решения проблемы контроля требуется проницательность, здравый смысл и теоретические знания. Не очень понятно, чем тут может помочь дополнительный исторический опыт. Получить непосредственный опыт переживания взрывного развития невозможно (пока не будет слишком поздно), да и многие другие скрытые от глаз аспекты проблемы контроля делают ее уникальной и не позволяют использовать какие-то исторические прецеденты. По этим причинам количество времени, которое пройдет до взрывного развития искусственного интеллекта, мало что значит само по себе. Но, вполне вероятно, приобретут значение следующие обстоятельства: 1) интеллектуальный прогресс в изучении проблемы контроля, достигнутый к моменту детонации; 2) навыки и интеллект, доступные в этот момент, чтобы реализовать наилучшие из имеющихся решения (или сымпровизировать в случае их отсутствия)[542]. Очевидно, что последний фактор должен положительно повлиять на когнитивное улучшение. Как когнитивное улучшение повлияет на первый фактор — пока неясно.