Совместимость. Как контролировать искусственный интеллект Рассел Стюарт
• При десяти сантиметрах мы вступаем в область практического применения технологии: большинство домовладельцев заказывают покраску домов внутри и снаружи, хотя, пожалуй, не слишком часто, и тысячи маляров находят работу.
• Когда мы доходим до валиков и пульверизаторов, эквивалента кисти до метра толщиной, цена существенно падает, спрос удовлетворен и количество маляров несколько снижается.
• Если один человек управляет командой из сотни роботов-маляров, по производительности эквивалентных кисти стометровой толщины, то множество домов можно целиком выкрасить за час и лишь очень немногие маляры продолжают работать.
Итак, прямой эффект технологии действует в обе стороны. Сначала, повышая производительность, технология может увеличить занятость благодаря снижению стоимости труда, таким образом увеличивая спрос. Впоследствии дальнейшее продвижение технологии приводит к тому, что требуется все меньше и меньше людей. Эти изменения показаны на рис. 8[163].
Многие технологии демонстрируют аналогичные кривые. Если в определенном секторе экономики мы находимся слева от пика, то совершенствование технологии повышает занятость в этом секторе. Современными примерами являются такие виды работы, как устранение граффити, охрана окружающей среды, инспектирование транспортных контейнеров и строительство домов в менее развитых странах, — все это становится экономически более целесообразным, если нам помогают роботы. Если мы уже справа от пика, дальнейшая автоматизация сокращает занятость. Скажем, нетрудно предсказать, что количество лифтеров продолжит уменьшаться. В долгосрочной перспективе можно ожидать, что большинство отраслей будут оттеснены в крайнюю правую часть кривой. В одной недавней статье по результатам эконометрического исследования экономистов Дэвида Аутора и Анны Саломонс утверждается, что «за последние 40 лет количество рабочих мест сократилось буквально в каждом секторе, внедрившем технологии для повышения производительности»[164].
На какие же компенсационные эффекты ссылаются сторонники оптимистичного взгляда на экономику?
• Кто-то должен делать роботов-маляров. Сколько человек? Намного меньше, чем количество замещенных роботами маляров, в противном случае покраска дома роботами была бы дороже, а не дешевле, и никто не покупал бы роботов.
• Покрасить дом становится несколько дешевле, и люди немного чаще приглашают маляров.
• Наконец, поскольку мы меньше платим за покраску дома, то можем потратить больше на другие вещи, что увеличивает занятость в иных секторах.
Экономисты пытались измерить эти эффекты в разных отраслях, где наблюдался рост автоматизации, но результаты обычно неоднозначны.
Традиционно большинство экономистов исходят из общей картины: автоматизация повышает производительность, следовательно, в целом люди в выигрыше, в том смысле, что получают больше товаров и услуг на тот же объем работы.
К сожалению, экономическая теория не предполагает, что каждый человек останется в выигрыше в результате автоматизации. В общем, автоматизация повышает долю дохода, отходящего капиталу (собственникам роботов-маляров), и снижает долю, достающуюся рабочим (бывшим малярам). Экономисты Эрик Бриньолфсон и Эндрю Макафи в книге «Вторая эра машин»[165] утверждают, что этот эффект постоянно наблюдается уже несколько десятилетий. Данные по США представлены на рис. 9. Они свидетельствуют, что с 1947 по 1973 г. заработная плата и производительность росли параллельно, но после 1973 г. зарплаты стагнировали, хотя производительность примерно удвоилась. Бриньолфсон и Макафи называют это явление великим разъединением. Другие ведущие экономисты также озвучивали свое беспокойство, в том числе нобелевские лауреаты Роберт Шиллер, Майк Спенс и Пол Кругман, а также Клаус Шваб, глава Всемирного экономического форума, и Ларри Саммерс, бывший главный экономист Всемирного банка и министр финансов при президенте Билле Клинтоне.
Те, кто выступает против идеи технологической безработицы, указывают на банковских операционистов, работу которых могут частично выполнять банкоматы, и кассиров розничных магазинов, чья работа ускорилась благодаря штрихкодам и радиочастотным меткам на товаре. Часто заявляется, что занятость на этих позициях расширяется благодаря технологии. Действительно, с 1970 по 2010 г. количество операционистов в США примерно удвоилось, хотя следует отметить, что и население страны за этот период выросло на 50 %, а ее финансовый сектор — более чем на 400 %[166], так что трудно объяснить увеличение занятости, полностью или частично, распространением банкоматов. К сожалению, с 2010 по 2016 г. около 100 000 операционистов потеряли работу, и американское Бюро учета трудовых ресурсов (BLS) прогнозирует сокращение еще 40 000 рабочих мест к 2026 г.: «Интернет-банкинг и автоматизация, предположительно, продолжат замещать все больше обязанностей, традиционно выполняемых операционистами»[167]. Данные по кассирам розничных магазинов не более оптимистичны: их число на душу населения упало на 5 % с 1997 по 2005 г., и BLS говорит: «Достижения технологии, такие как кассы самообслуживания в розничных магазинах и растущие онлайновые продажи, и дальше будут ограничивать потребность в кассирах». Оба сектора оказались в состоянии кризиса. То же самое можно сказать практически обо всех низкоквалифицированных работах, предполагающих использование машин.
Какие профессии ждет упадок с появлением новых технологий на базе ИИ? Главный пример в СМИ — управление автотранспортом. В США около 3,5 млн водителей грузовиков, многие из этих рабочих мест пострадают от автоматизации. Amazon и некоторые другие компании уже используют грузовики с автопилотом для транспортировки грузов по трассам федерального значения, хотя пока еще с водителями-дублерами[168]. Представляется весьма вероятным, что дальнемагистральная часть рейса каждого грузовика скоро будет автоматизирована, а люди какое-то время продолжат обслуживать городское движение, подвоз пассажиров и доставку. Вследствие предполагаемых изменений очень немногие молодые люди хотят пойти в дальнобойщики; по иронии в США в настоящее время наблюдается значительная нехватка водителей грузовиков, что лишь ускоряет внедрение автоматизации.
Офисная работа также под угрозой. Например, BLS предсказывает сокращение на 13 % среднедушевой занятости в сфере страхового андеррайтинга в период с 2016 до 2026 г.: «Автоматизированные системы страхования позволяют работникам быстрее обрабатывать обращения, и держать много специалистов становится незачем». Если языковая технология будет развиваться, как ожидается, то многие рабочие места в сфере продаж и обслуживания клиентов также окажутся под угрозой, как и работа в сфере юриспруденции. (В соревновании 2018 г. программа ИИ обошла опытных преподавателей права в анализе стандартных соглашений о неразглашении конфиденциальной информации и выполнила задание в 200 раз быстрее[169].) Рядовые задачи компьютерного программирования, которые сегодня часто передаются на аутсорсинг, также, вероятно, будут автоматизированы. Действительно, практически все, что можно поручить аутсорсерам, является перспективным кандидатом на автоматизацию, поскольку аутсорсинг предполагает разбиение работы на задачи, которые можно отделить друг от друга и распределить между исполнителями в обособленном виде. Сфера роботизированной автоматизации процессов разрабатывает программные средства, обеспечивающие именно этот эффект для офисных задач, выполняемых онлайн.
По мере развития ИИ, безусловно, становится возможным, что в ближайшие десятилетия весь обыденный физический и умственный труд фактически будет дешевле выполняться машинами. С тех пор как тысячелетия назад мы перестали быть охотниками-собирателями, наши общества использовали большинство людей как роботов, выполняющих повторяющиеся ручные и мыслительные работы. Неудивительно, что роботы скоро возьмут эту роль на себя. Когда это произойдет, резко упадут зарплаты людей, неспособных конкурировать за оставшиеся высококвалифицированные работы. Ларри Саммерс описывает это так: «Очень может быть, что при наличии возможностей замены [труда капиталом] некоторые категории трудящихся не смогут заработать на прожиточный минимум»[170]. Именно это произошло с лошадьми: механические средства перевозки грузов стали дешевле стоимости их содержания, и лошади пошли на корм домашним питомцам. Столкнувшись с угрозой социоэкономического аналога превращения в корм для домашних питомцев, люди будут не слишком довольны своими правительствами.
Перед угрозой потенциального недовольства людей правительства по всему миру начинают уделять этому вопросу некоторое внимание. Большинство уже убедилось, что идея переобучения всех и каждого в специалистов по обработке и анализу данных или разработчиков роботов не спасает. Миру требуется, пожалуй, пять или десять миллионов таких специалистов, что никоим образом не может покрыть порядка миллиарда рабочих мест, которые могут исчезнуть. Обработка и анализ данных — слишком маленькая спасательная шлюпка для пассажиров гигантского круизного лайнера[171].
Некоторые работают над «планами перехода» — но перехода к чему? Чтобы планировать переход, нужна достижимая цель, то есть реализуемое представление о желаемой будущей экономике, где большая часть того, что мы сегодня называем работой, выполняется машинами.
Одно из очевидных представлений — картина экономики, где трудится намного меньше людей, потому что работать не обязательно. Именно такое будущее предвидел Кейнс в эссе «Экономические возможности для наших внуков». Он описывал высокую безработицу, поразившую Великобританию в 1930 г., как «временную фазу разрегулированности», вызванную «повышением технической эффективности», которое происходит «быстрее, чем мы способны решать проблему поглощения трудовых резервов». Он, однако, не допускал, что в долгосрочной перспективе — после столетия дальнейшего технологического развития — произойдет возврат к полной занятости:
Таким образом, впервые со времен творения человек столкнется с реальной, неотступной проблемой — как использовать свою свободу от давления экономических забот, чем занять свободное время, которое добыли для него наука и сложный процент, чтобы жить мудро, согласно и достойно.
Подобное будущее требует радикального изменения нашей экономической системы, поскольку во многих странах работающие граждане не сталкиваются с нищетой или нуждой. Так, современные последователи Кейнса обычно выступают за ту или иную форму всеобщего базового дохода (universal basic income, UBI), гарантируемого правительством любому гражданину, независимо от формы его участия или неучастия в производстве. Выплачиваемый за счет налогов на добавленную стоимость или на прибыль от капитала, UBI обеспечил бы разумный доход каждому взрослому независимо от обстоятельств. Стремящиеся к более высокому уровню жизни могли бы продолжать работать без потери UBI, а остальные тратили бы свое время так, как сочтут нужным. Как ни странно, идея UBI пользуется поддержкой по всему политическому спектру, от Института Адама Смита[172] до Партии зеленых[173].
Одним жизнь с UBI представляется вариантом рая на земле[174]. Для других это символ признания провала — утверждения, что большинству людей нечего предложить обществу в смысле экономической ценности. Их можно обеспечить едой и крышей над головой, по большей части силами машин, а в остальном предоставить самим себе. Истина, как обычно, лежит где-то посередине и зависит в основном от того, какого взгляда на человеческую сущность вы придерживаетесь. Кейнс в своем эссе провел четкое различие между теми, кто к чему-то стремится, и теми, кто просто радуется жизни, — «устремленными» людьми, для которых «джем не джем, если только это не завтрашний джем вместо сегодняшнего джема», и «восхищенными» людьми, «способными получать непосредственное удовольствие от вещей». Идея UBI предполагает, что абсолютное большинство людей относится к категории восхищенных.
Кейнс предполагает устремленность одной из «привычек и инстинктов обычного человека, привитую ему бесчисленными поколениями», а не «реальной жизненной ценностью». Он предсказывает, что этот инстинкт постепенно исчезнет. Вопреки такому мнению можно предположить, что устремленность — неотъемлемое свойство каждого, кто является человеком в подлинном смысле. Устремленность и восхищение жизнью не взаимоисключающие понятия и часто неотделимы друг от друга: подлинная радость и непреходящее удовлетворение проистекают из наличия цели и ее достижения (или хотя бы попыток ее достичь), обычно вопреки препятствиям, а не из пассивного наслаждения от сиюминутных удовольствий. Подняться на вершину Эвереста самостоятельно не то же самое, что прилететь туда на вертолете.
Связь между устремленностью и наслаждением составляет основу нашего понимания того, как обустроить желаемое будущее. Возможно, будущие поколения будут удивляться, почему мы вообще тревожились из-за такой пустой вещи, как «работа». На случай, если изменение отношения будет медленным, давайте рассмотрим экономические следствия представления, что большинству людей будет лучше заниматься чем-нибудь полезным, даже если основная масса товаров и услуг будет создаваться машинами с крайне незначительным участием человека. Неизбежно многие люди займутся оказанием межличностных услуг, которые можно — или желательно — оказывать только силами людей. То есть, даже если нам больше незачем заниматься рутинным физическим или умственным трудом, мы все-таки можем делиться своей человечностью. Нам нужно будет хорошо освоить искусство быть людьми[175].
Сегодняшние профессии этого типа включают психотерапевтов, ответственных тренеров в спорте, преподавателей, консультантов, компаньонов и лиц, ухаживающих за детьми и престарелыми. В этом контексте часто используется понятие профессии опеки, но это вводит в заблуждение, бесспорно внося позитивный смысл для тех, кто осуществляет уход, но и придавая негативный оттенок зависимости и беспомощности для получателей ухода. Рассмотрим, однако, следующее наблюдение, также сделанное Кейнсом:
Именно люди, способные сохранить и довести до полного совершенства искусство жизни как таковой, а не продажи себя ради средств существования, сумеют наслаждаться изобилием, когда оно придет.
Всем нам нужна помощь в том, чтобы научиться «искусству жизни как таковой». Это вопрос не зависимости, а развития. Способность вдохновлять других и передавать другим умение наслаждаться и созидать, будь то в изобразительном искусстве, музыке, литературе, беседе, садоводстве, архитектуре, еде, вине или видеоиграх, станет нужной как никогда.
Следующий вопрос — распределение доходов. В большинстве стран оно долгие десятилетия движется в неправильном направлении. Это комплексная проблема, но одно ясно: высокий доход и высокое социальное положение обычно проистекают из предложения высокой добавленной стоимости. Например, профессии ухода за детьми ассоциируются с низким доходом и низким социальным положением. Это отчасти является следствием того факта, что мы, честно говоря, не знаем, как выполнять подобную работу. Некоторые от природы хорошо ее выполняют, но многие нет. Противоположный пример — профессия хирурга-ортопеда. Мы не наймем подростка, которому нечем заняться и нужно немного наличности, на должность хирурга-ортопеда за $5 в час плюс все, что он найдет съестного в холодильнике. Мы затратили столетия на исследования, чтобы понять, как устроен человеческий организм и как его «починить», если он «сломался», и люди в этой профессии должны учиться много лет, чтобы освоить знания и навыки, необходимые, чтобы ею заниматься. Хирурги-ортопеды являются высокооплачиваемыми и уважаемыми специалистами. Им много платят не потому только, что они много знают и долго учились, а потому, что все их знание и обучение приносит реальные плоды. Оно позволяет им добавлять очень много ценности к жизням других людей, особенно людей с переломами.
К сожалению, наше научное понимание ума отличается шокирующей ущербностью, а научное понимание счастья и полноты жизни — тем более. Мы попросту не знаем, как добавлять ценность к жизням других людей последовательным и предсказуемым образом. Мы достигли скромного успеха в лечении некоторых психических заболеваний, но до сих пор ведем «столетнюю войну» за преодоление невежества даже в такой элементарной сфере, как обучение детей чтению[176]. Нам необходимо радикально переосмыслить систему образования и науки, так, чтобы уделить человеку больше внимания, чем физическому миру. (Джозеф Аун, президент Северо-Восточного университета в США, утверждает, что в университетах должна изучаться и преподаваться «наука о человеке — гуманика»[177].) Утверждение, что счастье должно быть инженерной дисциплиной, звучит странно, но это, похоже, неизбежный вывод. Такая дисциплина должна опираться на фундаментальную науку — лучшее понимание того, как работает ум человека на когнитивном и эмоциональном уровнях, — и преподаваться широкому кругу специалистов, от архитекторов жизни, помогающих людям планировать свой личный жизненный путь, до профессионалов в таких областях, как «оптимизация любопытства» и «личная жизнестойкость». При опоре на реальную науку эти профессии будут шаманством не в большей степени, чем современные мостостроение и ортопедическая хирургия.
Перестройка нашего образования и исследовательских учреждений с целью создания этой фундаментальной науки и ее преобразования в учебные программы и признанные профессии займет десятилетия, поэтому имеет смысл начать уже сегодня. Жаль, что мы не сделали этого давным-давно. Конечным результатом, если все получится, станет мир, в котором очень даже стоит жить. Без этой перестройки мы рискуем обречь себя на слишком высокий уровень социально-экономического неблагополучия.
Присвоение других человеческих занятий
Нужно дважды подумать, прежде чем поручать машинам занятия, предполагающие межличностное взаимодействие. Если способность быть человеком — наше главное, так сказать, качество в глазах других людей, то изготовление поддельных людей представляется неудачной идеей. К счастью для нас, мы явно опережаем машины в понимании чувств других людей и умении предсказывать их реакции. Практически любой человек знает, что испытываешь, попав молотком по пальцу или страдая от неразделенной любви.
Этому естественному преимуществу человека противостоит естественный же недостаток — склонность обманываться внешностью, особенно человеческой. Алан Тьюринг предостерегал против придания роботам человеческого облика[178]:
Я очень надеюсь и верю, что серьезные усилия не будут затрачиваться на изготовление машин с наиболее характерными человеческими, но неинтеллектуальными характеристиками, такими как форма человеческого тела; мне кажется никчемным предпринимать подобные попытки, результаты которых будут сродни тому неприятному, что есть в искусственных цветах.
К сожалению, предупреждение Тьюринга осталось неуслышанным. Ряд исследовательских групп уже создали до жути человекообразных роботов, как, например, те, что представлены на рис. 10.
В качестве инструментов исследования роботы могут способствовать пониманию того, как люди интерпретируют поведение и коммуникации робота. Как прототипы будущих коммерческих продуктов они являются вариантом обмана. Они обходят сознательную осведомленность и воздействуют непосредственно на эмоциональное «я», возможно, убеждая нас, что наделены реальным интеллектом. Представьте, например, насколько проще было бы выключить приземистую серую коробку, работающую ненадлежащим образом, даже если бы она сигнализировала о своем нежелании быть выключенной, чем поступить так же с человекообразными Цзя Цзя или Geminoid DK. Представьте также, какую сумятицу и, пожалуй, психологический дискомфорт вызывало бы у маленьких детей, если бы за ними ухаживали сущности, которые представляются такими же людьми, как и их родители, но на самом деле не люди; и словно бы заботятся о них так же, как родители, но это только кажется.
Помимо базовой способности передавать невербальную информацию посредством мимики и движений, с чем прекрасно справляется даже Багз Банни, роботам незачем быть человекообразными — этому нет убедительной причины. Напротив, имеются веские, прагматичные причины не делать их человекообразными — например, наше вертикальное положение относительно неустойчиво по сравнению с передвижением на четырех ногах. Собаки, кошки и лошади отлично вписались в нашу жизнь, и их физическая форма является очень хорошей подсказкой в отношении их вероятного поведения. (Представьте, что лошадь вдруг начала вести себя как собака!) То же самое будет верно в отношении роботов. Четырехногое, двурукое строение, как у кентавра, представляется удачным стандартом. В роботе, точно повторяющем облик человека, не больше смысла, чем в «Феррари» с ограничением скорости 8 км/ч или в «малиновом» мороженом из печеночного паштета со свекольным соком.
Человекообразность некоторых роботов уже привела к политическим и эмоциональным затруднениям. 25 октября 2017 г. Саудовская Аравия предоставила гражданство Софии, гуманоидному роботу, представляющему собой, по описанию, не более чем «чатбот с лицом»[179], даже хуже[180]. Возможно, это была пиар-акция, но предложение Комитета по юридическим вопросам Европейского парламента звучит совершенно серьезно[181]. В нем рекомендуется:
…в долгосрочной перспективе создать особый правовой статус для роботов, чтобы, по крайней мере, самые совершенные автономные роботы могли иметь статус электронных личностей, отвечающих за любую принесенную ими пользу и причиненный вред.
Иными словами, сам робот будет нести юридическую ответственность за ущерб, а не его владелец или производитель. Это предполагает, что роботы будут владеть финансовыми активами и подвергаться наказаниям за неподчинение. В буквальном понимании это просто бессмысленно. Например, если мы посадим робота в тюрьму за просрочку платежа, ему-то что?
Помимо ненужного и на самом деле абсурдного повышения статуса роботов, имеется опасность, что более активное использование машин в принятии решений, влияющих на людей, принизит статус и достоинство людей. Эта возможность прекрасно показана в сцене из научно-фантастического фильма «Элизиум», когда Макс (которого играет Мэтт Дэймон) пытается объяснить «чиновнику», решающему вопрос о досрочном освобождении (рис. 11), почему продление срока его заключения незаконно. Разумеется, все безрезультатно. Чиновник даже делает Максу выговор за недостаточно почтительное отношение.
Возможны два взгляда на подобное унижение человеческого достоинства. Первый очевиден: давая машинам власть над людьми, мы обрекаем самих себя на более низкий статус и теряем право участвовать в принятии решений, касающихся нас. (Крайней формой этого было бы предоставление машинам права убивать людей, что обсуждалось ранее в этой главе.) Второй подход не столь прямолинеен: даже если вы верите, что решения принимают не машины, а люди, которые их разрабатывают и поставляют, тот факт, что эти люди, разработчики и поставщики, не считают целесообразным учитывать личные обстоятельства человека в каждом конкретном случае, свидетельствует о том, что они не придают особой ценности жизни других людей. Это вероятный симптом начала великого разъединения человечества на элиту, обслуживаемую людьми, и огромную деклассированную массу, которую обслуживают и контролируют машины.
В ЕС статья 22 Общего регламента по защите персональных данных (GDPR) от 2018 г. явно запрещает предоставление власти машинам в подобных случаях:
Субъект данных должен иметь право не подпадать под действие решения, основанного исключительно на автоматической обработке, включая формирование профиля, которое порождает юридические последствия в его отношении или существенно воздействует на него.
В принципе, звучит прекрасно, но пока — во всяком случае, когда пишутся эти строки, — еще неясно, насколько это будет действенно на практике. Часто значительно проще, быстрее и дешевле предоставить право решения машинам.
Одной из причин беспокойства по поводу автоматизированного принятия решений является возможность алгоритмического смещения — тенденции алгоритмов машинного обучения генерировать неправомерно тенденциозные решения о ссудах, жилищных вопросах, рабочих местах, страховании, досрочном освобождении, тюремном заключении, зачислении в колледж и т. д. Явное применение таких критериев, как раса, в этих решениях незаконно уже много десятилетий во многих странах и запрещено статьей 9 Общего регламента по защите данных Евросоюза (GDPR) для очень широкого спектра приложений. Это, конечно, не значит, что, исключив расу из данных, мы обязательно получим расово непредубежденное решение. Например, еще с 1930-х гг. введенная правительством практика «красной черты»{9} привела к тому, что территории, соответствующие некоторым почтовым индексам в США, оказались отрезаны от ипотечного кредитования и других видов инвестиций, что обернулось снижением стоимости недвижимости. Просто так совпало, что районы с этими индексами были населены главным образом афроамериканцами.
Во избежание политики «красной черты» сегодня только первые три цифры пятизначного почтового индекса могут использоваться при принятии решения о выдаче кредита. Кроме того, процесс принятия решения должен быть поднадзорным, чтобы гарантировать отсутствие любых других «случайных» тенденций. Часто утверждают, что GDPR обеспечивает всеобщее «право на объяснение» многих автоматизированных решений[182], но в действительности требование статьи 14 — это всего лишь:
…достоверная информация о соответствующей логической схеме, а также о значимости и предполагаемых последствиях указанной обработки для субъекта данных.
В настоящее время неизвестно, как суды будут добиваться исполнения этого положения. Возможно, горемычному потребителю попросту вручат описание определенного алгоритма глубокого обучения, который использовался для натаскивания классификатора, принявшего решение.
Сегодня вероятные причины алгоритмического смещения связаны с данными, а не с намеренными злоупотреблениями корпораций. В 2015 г. журнал Glamour сообщил о неприятном открытии: «Первый связанный с женщиной результат выдачи Google по поисковому запросу „генеральный директор“ оказался лишь двенадцатым — и это была Барби». (В результатах 2018 г. были и реальные женщины, но большинство из них являлись моделями, изображавшими женщин-гендиректоров на стоковых фото; результаты поиска в 2019 г. немного лучше.) Это следствие не сознательной гендерной тенденциозности механизма ранжирования поиска изображений Google, а изначальной необъективности культуры, предоставляющей данные. Мужчин среди генеральных директоров намного больше, чем женщин, и когда люди хотят изобразить «типичного» гендиректора в подписанных изображениях, то почти всегда выбирают мужчину. То, что тенденциозность вызвана, прежде всего, данными, разумеется, не означает, что незачем предпринимать меры для решения этой проблемы.
Есть и другие, технические причины того, что наивное применение методов машинного обучения может привести к тенденциозным результатам. Например, меньшинства, по определению, хуже представлены в общенациональных выборках данных, отсюда прогнозы относительно отдельных представителей меньшинств могут быть менее точными, если делаются, главным образом, на основании данных, полученных от других членов той же группы. К счастью, много внимания уже уделяется проблеме устранения непреднамеренной необъективности из алгоритмов машинного обучения, и сейчас имеются методы, обеспечивающие неискаженные результаты согласно целому ряду обоснованных и приемлемых определений объективности[183]. Математический анализ этих определений объективности показывает, что соответствие им всем одновременно невозможно, и если это делается принудительно, то приводит к меньшей точности прогнозов, а в случае кредитных решений — к меньшей прибыли заимодавца. Возможно, это разочаровывает, но, по крайней мере, проясняет компромисс, сопутствующий устранению алгоритмического смещения. Будем надеяться, что знание об этих методах и о самой проблеме быстро распространится среди представителей власти, специалистов и пользователей.
Итак, передача машинам власти над отдельными людьми может вызывать проблемы. Как насчет власти над массами людей? А именно — должны ли мы доверять машинам роли политиков и управленцев? В настоящее время этот вопрос может показаться надуманным. Машины не способны поддерживать продолжительный разговор и не имеют фундаментального понимания факторов, связанных с принятием широкомасштабных решений, например о повышении минимальной заработной платы или отклонении предложения другой корпорации о слиянии. Однако тенденция очевидна: машины во многих сферах принимают все более высокоуровневые решения. Рассмотрим, к примеру, авиалинии. Сначала компьютеры помогали составлять расписание полетов. Вскоре они занялись подбором экипажей, бронированием мест и управлением текущей деятельностью. Затем они были подключены к всемирным информационным сетям, чтобы создавать в реальном времени отчеты о состоянии дел для менеджеров авиалиний, чтобы те могли эффективно решать возникающие проблемы. Теперь они берут на себя управление проблемами: изменение маршрутов и графиков работы персонала, изменение брони и пересмотр графика обслуживания оборудования.
Все это к лучшему с точки зрения экономики авиалиний и удобства пассажиров. Вопрос в том, остаются ли компьютерные системы инструментом для людей или люди становятся инструментом для компьютерных систем — поставляющим информацию и при необходимости исправляющим ошибки, но уже не имеющим сколько-нибудь полного представления о том, как работает вся система. Ответ становится ясен, когда система дает сбой и во всем мире воцаряется хаос, пока ее не вернут в онлайновый режим. Например, единственный компьютерный «глюк» 3 апреля 2018 г. привел к значительной задержке или отмене 15 000 полетов в Европе[184]. Когда биржевые алгоритмы вызвали в 2010 г. «обвал» на Нью-Йоркской фондовой бирже, уничтожив $1 трлн за несколько минут, единственным решением стало прервать операции. Что тогда произошло, до сих пор не вполне ясно.
Когда еще не было никаких технологий, люди жили, как большинство животных, на грани голодной смерти. Мы, так сказать, стояли непосредственно на земле. Технология постепенно вознесла нас на вершину пирамиды из машин, увеличив наши возможности оставить свой след как лично, так и всем нашим биологическим видом. Мы по-разному можем построить отношения между людьми и машинами. Если мы организуем их так, чтобы люди сохраняли достаточное понимание, власть и автономию, технологические части системы могут невероятно повысить возможности человека, позволив каждому из нас стоять на огромной пирамиде возможностей — можно сказать, быть полубогом. Взглянем, однако, на упаковщицу со склада онлайнового магазина. Она продуктивнее своих предшественников, потому что пользуется небольшой армией роботов, подносящих ей ячейки хранения, откуда она набирает товары, но она является частью большой системы, управляемой интеллектуальными алгоритмами, которые решают, где ей стоять, какие товары брать и отсылать. Она уже частично погрузилась в пирамиду, а не стоит на ее вершине. Лишь вопрос времени, когда песок заполнит просветы внутри пирамиды и она станет не нужна.
Глава 5. Слишком интеллектуальный ИИ
«Проблема гориллы»
Не нужно особого воображения, чтобы понять: неразумно создавать сущность, более умную, чем мы сами. Мы понимаем, что власть над средой и другими биологическими видами является следствием нашей разумности, и мысль о еще более умной сущности, будь то робот или инопланетянин, тут же вызывает тошнотворное чувство.
Около 10 млн лет назад предки современной гориллы создали (честно говоря, по случайности) генетическую линию, ведущую к современным людям. Как гориллы к этому относятся? Очевидно, если бы они были способны рассказать нам о нынешнем положении своего вида в сравнении с людьми, то сошлись бы на крайне негативном мнении. У их вида, в сущности, нет будущего, кроме того, которое мы ему позволим. Мы не хотим оказаться в аналогичной ситуации перед лицом сверхинтеллектуальных машин. Я называю это «проблемой гориллы»: сумеют ли люди сохранить превосходство и автономию в мире, включающем машины с существенно более высоким интеллектом?
Чарльз Бэббидж и Ада Лавлейс, разработавшие и написавшие программы для аналитической машины в 1842 г., сознавали ее потенциал, но, по-видимому, не беспокоились из-за этого[185]. В 1847 г., однако, Ричард Торнтон, редактор религиозного журнала Primitive Expounder, яростно выступил против механических калькуляторов[186]:
Ум… опережает сам себя и расправляется с необходимостью собственного существования, изобретая машины, которые должны вместо него мыслить… Как знать, однако, не замыслят ли таковые машины, будучи доведены до большого совершенства, устранить все свои недостатки, а затем напечь идеи, недоступные разуму простого смертного!
Это, пожалуй, первое размышление об экзистенциальном риске, сопутствующем вычислительным устройствам, но оно осталось незамеченным.
Напротив, роман Сэмюэла Батлера «Эдгин», изданный в 1872 г., разработал эту тему с большой глубиной и сразу завоевал популярность. Эдгин{10} — страна, где были запрещены все механические устройства после ужасной гражданской войны между сторонниками и противниками машин. В одной из частей романа, «Книге машин», объясняется причина этой войны и приводятся аргументы обеих сторон[187]. Это жутковатое предвидение споров, вновь вспыхнувших в первые годы XXI в.
Главный аргумент противников машин — машины разовьются настолько, что человечество утратит контроль над ними:
Разве не создаем мы сами наследников нашего превосходства на земле? Ежедневно увеличивая красоту и тонкость их устройства, ежедневно наделяя их все большими умениями и давая все больше той саморегулирующейся автономной силы, которая лучше любого разума?.. Пройдут века, и мы окажемся подчиненной расой…
Мы должны сделать выбор из альтернатив: продолжать терпеть нынешние страдания или наблюдать, как нас постепенно подавляют наши собственные творения, пока мы не утратим всякое превосходство перед ними, как дикие звери не имеют его перед нами… Ярмо будет ложиться на нас мало-помалу и совсем незаметно.
Рассказчик также приводит главный контраргумент сторонников машин, предвосхищающий представление о симбиозе человека и машины, которое мы рассмотрим в следующей главе.
Была лишь одна серьезная попытка ответить на это. Автор ответа сказал, что машины будут рассматриваться как часть собственной физической природы человека, будучи не чем иным, как внетелесными конечностями.
Хотя противники машин в Эдгине победили в споре, сам Батлер, судя по всему, имел двойственные взгляды. С одной стороны, он сожалеет, что «эдгинцы возлагают здравый смысл на алтарь логики, когда среди них появляется философ, завладевающий ими, поскольку почитается обладателем особого знания», и говорит: «Они грызут друг другу глотки из-за вопроса о машинах». С другой стороны, эдгинское общество, которое он описывает, на диво гармонично, производительно и даже идиллично. Эдгинцы всецело согласны, что возвращаться на путь изобретения механизмов — полное безумие, и взирают на остатки машинерии, хранящиеся в музеях, «с теми же чувствами, какие вызывают у английского антиквара истуканы друидов или кремневые наконечники стрел».
Известно, что роман Батлера был знаком Алану Тьюрингу, рассмотревшему долгосрочное будущее ИИ в лекции, с которой выступил в Манчестере в 1951 г.[188]:
Представляется возможным, что, когда методы машинного рассуждения заработают, не потребуется много времени, чтобы превзойти наши слабые силы. Перед машинами не будет стоять проблема умирания, и они смогут общаться друг с другом, изощряя свой ум. Таким образом, на каком-то этапе нам следует ожидать, что машины возьмут власть, как это описывается в «Эдгине» Сэмюэла Батлера.
В том же году Тьюринг повторил эти опасения в лекции по радио, транслировавшейся на всю Великобританию Третьей программой Би-би-си:
Если машина умеет мыслить, то может мыслить разумнее нас, и что тогда ждет нас? Даже если мы сумели бы удержать машины в подчиненном положении, например отключив питание в критический момент, мы как биологический вид чувствовали бы себя совершенно униженными… Эта новая опасность… безусловно, заслуживает того, чтобы из-за нее тревожиться.
Когда противники машин из Эдгина «почувствовали серьезные опасения за будущее», то сочли своим «долгом покончить со злом, пока это еще возможно» и уничтожили все машины. Ответ Тьюринга на «новую опасность» и «тревогу» — подумать о том, чтобы «отключить питание» (хотя вскоре станет очевидно, что это на самом деле не выход). В классическом научно-фантастическом романе Фрэнка Герберта «Дюна», действие которого происходит в далеком будущем, человечество чудом пережило Батлерианский джихад, катастрофическую войну с «мыслящими машинами». Возникает новая заповедь: «Не делай машину подобием человеческого разума». Эта заповедь запрещает любые вычислительные устройства.
Все эти радикальные реакции отражают рудиментарные страхи перед машинным разумом. Да, от перспективы появления сверхинтеллектуальных машин становится не по себе. Да, логически возможно, что такие машины могут захватить власть над миром и подчинить или уничтожить человеческую расу. Если это единственное, что нам светит, тогда, действительно, единственный разумный ответ, доступный нам в настоящее время, — это попытаться свернуть исследования в области ИИ, а именно запретить разработку и использование универсальных ИИ-систем человеческого уровня.
Как большинство исследователей ИИ, я содрогаюсь при мысли об этом. Кто смеет указывать мне, о чем можно думать и о чем нельзя? Любой, кто предлагает покончить с изучением ИИ, должен быть очень убедительным. Прекратить исследования ИИ означало бы отказаться не просто от одного из главных путей к пониманию того, как устроен человеческий разум, но и от уникальной возможности улучшить положение человека — создать намного более совершенную цивилизацию. Экономическая ценность ИИ человеческого уровня измеряется в тысячах триллионов долларов, и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпораций и властей. Он пересилит туманные возражения философа, как бы тот ни почитался в качестве «обладателя особого знания», по выражению Батлера.
Второе возражение против идеи запрета универсального ИИ — его трудно запретить. Прогресс в разработке универсального ИИ достигается, главным образом, в дискуссиях ученых из исследовательских лабораторий по всему миру, по мере возникновения и решения математических задач. Мы не знаем заранее, какие идеи и уравнения запрещать, и, даже если бы знали, не приходится ожидать, что подобный запрет будет осуществимым или действенным.
Еще больше осложняет проблему то, что исследователи, двигающие вперед разработку универсального ИИ, часто работают над чем-то еще. Как я уже замечал, изучение инструментального ИИ — специализированных безобидных приложений наподобие игровых программ, медицинской диагностики и планирования путешествий — часто ведет к развитию методов универсального характера, применимых к широкому спектру других задач, и приближает нас к ИИ человеческого уровня.
По этим причинам крайне маловероятно, чтобы сообщество по изучению ИИ — или правительства и корпорации, контролирующие законы и исследовательские бюджеты, — откликнулись на «проблему гориллы», запретив прогресс в области ИИ. Если «проблему гориллы» можно решить только так, она не будет решена.
Единственный подход, который, вероятно, сработает, — это понять, что плохого несет в себе создание более совершенного ИИ. Оказывается, мы знаем ответ уже несколько тысячелетий.
«Проблема царя Мидаса»
Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.
В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ»[189], аннотация на обложке которой гласит: «„Механический мозг“ и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде»[190]. Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.
Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.
Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.[191]:
В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства[192].
К сожалению, этот период защищенности быстро подходит к концу.
Мы уже видели, как алгоритмы выбора контента в социальных сетях ради максимальной отдачи от рекламы вызвали хаос в обществе. Если вы считаете максимизацию отдачи от рекламы низкой целью, которой никто не будет добиваться, давайте представим, что поставили перед сверхинтеллектуальной системой будущего высокую цель найти лекарство от рака — в идеале как можно быстрее, потому что каждые 3,5 секунды от рака умирает человек. За считаные часы ИИ-система прочитала всю литературу по биомедицине и рассмотрела миллионы потенциально эффективных, но не протестированных ранее химических соединений. За несколько недель она спровоцировала развитие опухолей разных типов в каждом человеке в мире, чтобы провести клинические испытания этих соединений, поскольку это самый быстрый способ найти лекарство. Приехали!
Если вы предпочитаете решать проблемы защиты окружающей среды, то можете попросить машину справиться с быстрым закислением океанов вследствие высокого содержания углекислоты. Машина разрабатывает новый катализатор, запускающий невероятно быструю химическую реакцию между океаном и атмосферой и восстанавливающий уровень кислотности океанов. К сожалению, в этом процессе расходуется четверть содержащегося в атмосфере кислорода, обрекая нас на медленную мучительную смерть от удушья. Опять приехали!
Подобные апокалипсические сценарии весьма примитивны — пожалуй, от «конца света» и не приходится ждать ничего иного. Во многих сценариях, однако, нас «мало-помалу и незаметно» настигает ментальное удушье. Пролог «Жизни 3.0» Макса Тегмарка довольно подробно описывает сценарий, в котором сверхинтеллектуальная машина постепенно берет экономическую и политическую власть над всем миром, оставаясь, в сущности, необнаруженной. Интернет и машины глобального действия на его основе — уже ежедневно взаимодействующие с миллиардами «пользователей» — являются идеальной средой для увеличения власти машин над людьми.
Я не предполагаю, что поставленная перед такими машинами задача будет из разряда «поработить мир». Более вероятно, это будет максимизация прибыли или вовлеченности, возможно, даже безобидная, на первый взгляд, цель наподобие увеличения показателей в регулярных оценках уровня счастья пользователей или сокращения нашего энергопотребления. Далее, если мы считаем, что наши действия направлены на достижение наших целей, изменить наше поведение можно двумя путями. Во-первых, старым добрым способом — не меняя ожиданий и целей, изменить обстоятельства, например предложив деньги, направив на нас пистолет или взяв измором. Для компьютера это дорогой и трудный путь. Второй способ — изменить ожидания и цели. Это намного проще для машины. Он заключается в том, чтобы поддерживать с вами ежедневный многочасовой контакт, контролировать ваш доступ к информации и обеспечивать значительную часть ваших развлечений в виде игр, телевизионных программ, фильмов и социальных взаимодействий.
Алгоритмы обучения с подкреплением, оптимизирующие переходы по ссылкам в социальных сетях, не способны осмыслить поведение человека. В действительности они даже «не знают» в сколько-нибудь разумном понимании этого слова, что люди существуют. Машинам, понимающим человеческую психологию, убеждения и мотивации, будет относительно легко переориентировать нас в направлениях, увеличивающих степень удовлетворения целям машины. Например, она может снизить наше потребление энергии, убедив нас иметь меньше детей, постепенно — и неизбежно — осуществив мечты философов-антинаталистов, мечтающих полностью исключить тлетворное воздействие человечества на природный мир.
Немного практики, и вы научитесь видеть пути, на которых достижение более или менее фиксированной цели может вылиться в произвольные нежелательные результаты. Один из типичных путей — упустить часть цели, в которой вы действительно заинтересованы. В подобных случаях — как в вышеприведенных примерах — ИИ-система часто будет находить оптимальное решение, которое доводит до крайности то, что для вас важно, но о чем вы забыли упомянуть. К примеру, если вы скажете автономному автомобилю: «Доставь меня в аэропорт максимально быстро!» — и он поймет это буквально, то разгонится до 300 км/ч, и вы окажетесь в тюрьме. (К счастью, автомобили в настоящее время не примут такой запрос.) Если вы говорите: «Доставь меня в аэропорт максимально быстро, не нарушая скоростной режим», — он будет предельно быстро разгоняться и тормозить, чтобы в промежутках двигаться с максимальной скоростью, возможно, даже оттеснять другие машины, чтобы выиграть несколько секунд в толчее на въезде в терминал аэропорта. И так далее. Постепенно вы добавите достаточно оговорок, и движение машины примерно сравняется с поведением опытного водителя, везущего в аэропорт пассажира, который боится опоздать.
Управление транспортным средством — простая задача, имеющая лишь локальные последствия, и ИИ-системы, создающиеся под нее сегодня, не особенно интеллектуальны. Поэтому многие потенциальные отказные режимы можно предусмотреть, другие проявятся на автотренажерах или в тестовых поездках общей протяженностью в миллионы километров с профессиональными водителями, готовыми взять управление на себе при любом сбое, а третьи всплывут лишь впоследствии, когда автомобили уже будут на дорогах и случится нечто из ряда вон выходящее.
К сожалению, в случае сверхинтеллектуальных систем, имеющих глобальное воздействие, ничего нельзя смоделировать или продублировать. Безусловно, очень трудно, пожалуй, невозможно для обычных людей предвосхитить и заранее исключить все разрушительные пути, которыми машина может решить двинуться к поставленной цели. В общем, если у вас одна цель, а у сверхинтеллектуальной машины другая, противоречащая вашей, то машина получит желаемое, а вы нет.
Страх и жадность: инструментальные цели
Машина, преследующая неверную цель, — это плохо, но бывает и хуже. Решение, предложенное Аланом Тьюрингом, — отключить питание в критический момент — может оказаться недоступным по очень простой причине: невозможно сбегать за кофе, если ты мертв.
Попробую объяснить. Предположим, машина имеет задачу приносить кофе. Если она достаточно интеллектуальна, то, безусловно, поймет, что не выполнит задачу, если будет выключена прежде, чем осуществит свою миссию. Итак, задача подать кофе создает необходимую подзадачу — не допустить отключения. То же самое относится к поиску лекарства от рака или вычислению числа пи. Будучи мертвым, решительно ничего невозможно сделать, поэтому следует ожидать, что ИИ-системы будут действовать на упреждение, оберегая свое существование практически перед любой задачей.
Если эта задача противоречит предпочтениям людей, то мы получаем сюжет «2001: Космическая одиссея», где компьютер HAL 9000 убивает четверых из пяти астронавтов на борту корабля, чтобы исключить вмешательство в свою миссию. Дэйв, последний оставшийся астронавт, ухитряется отключить HAL в эпичной битве умов — полагаю, чтобы сюжет был интересным. Если бы HAL действительно был сверхинтеллектуальным, «отключенным» оказался бы Дэйв.
Важно понимать, что самосохранение никоим образом не должно быть встроенным инстинктом или главной директивой машин. (Следовательно, Третий закон робототехники[193] Айзека Азимова, «Робот должен заботиться о своей безопасности», совершенно излишен.) Во встроенном самосохранении нет необходимости, потому что это инструментальная цель — цель, являющаяся полезной подцелью практически любой исходной задачи[194]. Любая сущность, имеющая определенную задачу, будет автоматически действовать так, как если бы имела и инструментальную цель.
Кроме необходимости быть живым, инструментальной целью в нашей нынешней системе является доступ к деньгам. Так, интеллектуальная машина может хотеть денег не из жадности, а потому что деньги полезны для достижения любых целей. В фильме «Превосходство», когда мозг Джонни Деппа загружается в квантовый суперкомпьютер, первое, что делает машина, — копирует себя на миллионы других компьютеров в интернете, чтобы ее не могли отключить. Второе ее действие — быстро обогащается на биржевых операциях, чтобы финансировать свои экспансионистские планы.
В чем именно заключаются эти планы? Они включают разработку и постройку значительно большего квантового суперкомпьютера, проведение исследований в области ИИ и получение нового знания в физике, нейронауке и биологии. Эти ресурсные задачи — вычислительная мощность, алгоритмы и знание — также являются механизмами, полезными для достижения любой приоритетной цели[195]. Они кажутся довольно безопасными, пока не приходит понимание того, что процесс приобретения будет продолжаться беспредельно. Наконец, машина, вооруженная непрерывно совершенствующимися человеческими моделями принятия решений, разумеется, предвосхитит и отразит любой наш ход в этом конфликте.
Взрывоподобное развитие ИИ
Ирвинг Джон Гуд, блестящий математик, работал с Аланом Тьюрингом в Блетчли-парке, взламывая шифровальные коды немцев во время Второй мировой войны. Он разделял интерес Тьюринга к машинному интеллекту и статистическому анализу. В 1965 г. он написал самую известную свою статью «Размышления о первой ультраинтеллектуальной машине»[196]. Первое предложение в работе свидетельствует, что Гуд, встревоженный ядерным противостоянием холодной войны, считал ИИ возможным спасителем человечества: «Выживание человека зависит от быстрого создания ультраинтеллектуальной машины». Далее по тексту статьи, однако, он становится более осмотрительным. Он вводит понятие взрывоподобного развития ИИ, но, как его предшественники Батлер, Тьюринг и Винер, боится утраты контроля:
Определим ультраинтеллектуальную машину как машину, способную далеко обойти интеллектуальные усилия любого человека, сколь угодно умного. Поскольку конструирование машины — одно из таких интеллектуальных усилий, ультраинтеллектуальная машина могла бы сконструировать машины, значительно превосходящие интеллект человека; тогда, безусловно, произошло бы «взрывоподобное развитие ИИ» и интеллект человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина — это последнее изобретение, которое еще потребуется сделать человеку при условии, что машина достаточно послушна, чтобы сообщить нам, как удерживать ее под контролем. Любопытно, что этот момент так редко рассматривается вне научной фантастики.
Этот абзац описывает суть любого обсуждения сверхинтеллектуального ИИ, хотя сделанное в конце его предостережение обычно отбрасывается. Позицию Гуда можно подкрепить, заметив, что ультраинтеллектуальная машина не только может усовершенствовать свою конструкцию; скорее всего, она сделает это, поскольку, как мы видели, интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения. Возможность взрывоподобного развития ИИ часто упоминается как главный источник опасности для человечества, потому что это дало бы нам совсем мало времени на решение проблемы контроля[197].
Аргумент Гуда, бесспорно, подкрепляется естественной аналогией с химическим взрывом, в котором реакция каждой молекулы высвобождает достаточно энергии, чтобы вызвать более одной дополнительной реакции. В то же время логически возможно, что у взрывоподобного развития интеллекта может быть убывающая отдача и мы получим затухающий процесс вместо взрыва[198]. Нет очевидного способа доказать, что взрыв обязательно произойдет.
Сценарий убывающей отдачи по-своему интересен. Он мог бы возникнуть, если окажется, что достижение определенного уровня улучшения становится намного сложнее с ростом интеллектуальности машины. (Для упрощения я предполагаю, что универсальный машинный интеллект является измеримым по некоторой линейной шкале, что едва ли может быть верным.) В этом случае люди все равно не смогут создать сверхинтеллектуальность. Если машина, уже обладающая сверхчеловеческими возможностями, «выдыхается» в попытке развить собственный интеллект, значит, люди сойдут с дистанции еще раньше.
Далее, я никогда не слышал серьезного аргумента в пользу того, что создание любого заданного уровня машинного интеллекта попросту не под силу человеческой изобретательности, но думаю, что это следует считать логически возможным. «Логически возможно» и «я готов поставить на это будущее человечества», разумеется, совершенно не одно и то же. Ставить против человеческой изобретательности представляется проигрышной стратегией.
Если взрывоподобное развитие ИИ действительно произойдет и если мы к тому моменту не решим проблему управления машинами с интеллектом, лишь слегка превосходящим человеческий, — например, не сумеем запретить вышеописанное циклическое самосовершенствование, — тогда у нас не останется времени на решение проблемы контроля и все будет кончено. Это сценарий «быстрого взлета» у Бострома, согласно которому интеллектуальность машин ы колоссально возрастает за считаные дни или недели. По словам Тьюринга, «из-за этого, безусловно, есть основания тревожиться».
Возможными ответами на эту опасность представляются:
• отказ от исследования ИИ;
• отрицание того, что разработке продвинутого ИИ сопутствуют неизбежные риски;
• понимание и уменьшение рисков путем разработки ИИ-систем, гарантированно остающихся под контролем человека;
• самоустранение — просто оставление будущего за интеллектуальными машинами.
Отрицание и преуменьшение рисков являются темами оставшихся глав книги. Как я уже утверждал, отказ от исследования ИИ маловероятен (поскольку слишком велики выигрыши от его использования) и очень трудноосуществим. Самоустранение представляется наихудшим выходом. Оно часто сопровождается идеей, что ИИ-системы, более интеллектуальные, чем мы, почему-то заслуживают унаследовать нашу планету, тогда как людям останется «уйти смиренно в сумрак вечной тьмы»{11}, утешаясь мыслью, что наше блистательное электронное потомство решает собственные задачи. Этот взгляд сформулировал робототехник и футурист Ханс Моравек[199]. Он пишет: «Безграничность киберпространства будет наполнена нечеловеческими сверхумами, занятыми делами, которые рядом с человеческими заботами то же самое, что наши рядом с заботами бактерии». Мне кажется, что это ошибка. Ценность для людей определяется, прежде всего, сознательным человеческим существованием. Если нет людей и любых других сознающих сущностей, чей субъективный опыт является значимым для нас, то ничего ценного не происходит.
Глава 6. Спор вокруг не столь могущественного ИИ
«Последствия подселения на Землю второго разумного вида являются настолько далеко идущими, что об этом стоит поразмыслить»[200]. Так заканчивается рецензия журнала The Economist на «Сверхразумность» Ника Бострома. Большинство сочтут эти слова классическим примером британской сдержанности. Безусловно, рассуждаете вы, великие умы современности уже вовсю размышляют над этим вопросом — участвуют в серьезных дебатах, взвешивают риски и выгоды, ищут решения, выявляют слабые места этих решений и т. д. Пока еще нет, насколько мне известно!
Знакомя с этими идеями аудиторию технарей, буквально видишь всплывающие над головами присутствующих мысли, начинающиеся словами «Но ведь…» и заканчивающиеся восклицательными знаками.
Частица «но» имеет несколько смыслов. Первый носит характер отрицания. Отрицающие говорят: «Но это не может быть реальной проблемой по причине XYZ». Некоторые из этих XYZ отражают процесс мышления, который, мягко говоря, можно назвать самообольщением, другие более основательны. Второй тип «но» принимает форму уклонения: все верно, проблемы существуют, но не нужно пытаться их решать, потому ли, что они неразрешимы, или потому, что нашего внимания требуют более важные вещи, чем конец цивилизации, или потому, что лучше о них вообще не упоминать. Третьи «но» — упрощенные быстрые решения: «Но почему бы нам просто не сделать АВС?» Как и в случае отрицания, часть этих АВС попросту никчемны, но некоторые, может быть случайно, приближаются к обнаружению истинной природы проблемы.
Я не утверждаю, что в принципе невозможно рационально опровергнуть мысль о том, что неправильно сконструированные сверхинтеллектуальные машины будут представлять собой серьезный риск для человечества. Я всего лишь пока не слышал рациональных возражений. Поскольку вопрос кажется очень важным, он заслуживает публичного обсуждения самого высокого уровня. Итак, поскольку я заинтересован в подобном обсуждении и надеюсь, что читатель примет в нем участие, позвольте мне кратко охарактеризовать основные моменты, какими они видятся на сегодняшний день.
Отрицание
Отрицание того, что проблема вообще существует, — самый простой путь. Скотт Александер, автор блога Slate Star Codex, начал широко известную статью об опасности ИИ[201] такими словами: «Я начал интересоваться рисками, которые несет ИИ, еще в 2007 г. В то время реакцией большинства на эту тему были смех и предложение вернуться к ней, когда в нее поверит хоть кто-нибудь, кроме отдельных интернет-психов».
Попросту никчемные замечания
Воспринимаемая угроза делу всей жизни порой заставляет умнейших и обычно вдумчивых людей говорить нечто, что они предпочли бы исключить из дальнейшего рассмотрения. Поскольку это именно такой случай, я не стану называть имена авторов нижеследующих аргументов. Все они являются известными исследователями ИИ. Я добавил опровержения аргументов, хотя в этом и нет особой необходимости:
• Электронные калькуляторы обладают сверхчеловеческими возможностями в арифметике. Калькуляторы не захватили мир, следовательно, нет причин бояться сверхчеловеческого ИИ.
— Опровержение: интеллектуальность не равна умению производить арифметические действия, и способности калькуляторов производить арифметические действия не дают им возможности захватить мир.
• Лошади обладают сверхчеловеческой силой, но мы не ищем доказательств того, что они для нас неопасны; значит, нам незачем доказывать и безопасность ИИ-систем.
— Опровержение: интеллектуальность не равна физической силе, и сила лошадей не дает им возможности захватить мир.
• В истории имеется ноль случаев убийства машинами миллионов человек; методом индукции приходим к выводу, что это невозможно и в будущем.
— Опровержение: в мире все бывает в первый раз, и первому разу предшествует ноль случаев этого события.
• Никакая физическая величина во Вселенной не может быть бесконечной, в том числе интеллектуальность, следовательно, страхи из-за сверхинтеллектуальности раздуты.
— Опровержение: сверхинтеллектуальность не должна быть бесконечной, чтобы создать проблемы, а физические законы позволяют существование компьютерных устройств в миллиарды раз мощнее человеческого мозга.
• Мы не боимся фатальных для биологической жизни, но крайне маловероятных опасностей вроде материализации черной дыры на околоземной орбите, так почему мы должны бояться сверхинтеллектуального ИИ?
— Опровержение: если бы множество физиков работали над созданием такой черной дыры, неужели мы бы не спросили их, безопасно ли это?
Все не так просто!
Главная тема современной психологии — один только показатель IQ не характеризует всей полноты интеллектуальности человека[202]. У интеллектуальности есть разные измерения, говорят теоретики: пространственное, логическое, лингвистическое, социальное и т. д. Алиса, наша футболистка из главы 2, может иметь лучший пространственный интеллект, чем ее друг Боб, но худший социальный. Таким образом, невозможно выстроить всех людей в строгом порядке по интеллектуальности.
Это еще более справедливо в отношении машин, поскольку их способности намного уже. Поисковая машина Google и программа AlphaGo не имеют почти ничего общего, кроме того, что созданы двумя подразделениями одной корпорации, так что бессмысленно говорить, что одна из них интеллектуальнее другой. Это делает понятие «машинного IQ» сомнительным и заставляет предположить, что было бы заблуждением описывать будущее как простой забег за IQ с участием людей и машин.
Кевин Келли, основатель и редактор журнала Wired и невероятно чуткий техноаналитик, продолжает этот аргумент следующим шагом. В «Мифе о сверхчеловеческом ИИ»[203] он пишет: «Интеллектуальность не одномерна, так что понятие „умнее людей“ бессмысленно». Все тревоги из-за сверхинтеллектуальности отброшены одним ударом.
Очевидно, однако, что машина могла бы превзойти человеческие возможности по всем релевантным параметрам интеллектуальности. В этом случае, даже по строгим стандартам Келли, машина была бы умнее человека. Впрочем, это весьма убедительное предположение необязательно опровергает аргумент Келли. Возьмем, к примеру, шимпанзе. Краткосрочная память у них лучше, чем у людей, что проявляется даже в таких сугубо человеческих задачах, как запоминание последовательности цифр[204]. Краткосрочная память — важный параметр интеллектуальности. Таким образом, согласно аргументации Келли, люди не умнее шимпанзе; его слова аналогичны заявлению, что фраза «умнее, чем шимпанзе» бессмысленна. Слабое утешение для шимпанзе (а также бонобо, горилл, орангутанов, китов, дельфинов и т. д.) — биологических видов, существующих только потому, что мы соизволили им это разрешить! И еще более слабое утешение для видов, которые мы уже уничтожили. Малоутешительно это и для людей, которые опасаются быть уничтоженными машинами.
Это невозможно
Еще до рождения ИИ в 1956 г. почтенные интеллектуалы хмыкали и заявляли, что разумные машины невозможны. Алан Тьюринг посвятил немалую часть своей эпохальной статьи 1950 г. «Вычислительные машины и разум» опровержению их аргументов. С тех пор сообщество разработчиков ИИ отбивают нападки философов[205], математиков[206] и прочих, убежденных в невозможности ИИ. В сегодняшних спорах вокруг сверхинтеллектуальности ряд философов вновь извлекли на свет эти заявления, чтобы доказать: человечеству нечего бояться[207][208], что неудивительно.
Столетнее исследование ИИ, AI100, — масштабный долгосрочный проект Стэнфордского университета. Его цель — следить за ходом создания ИИ, точнее, «изучать и прогнозировать влияние ИИ на каждую сторону работы, жизни и развлечений людей». Первый крупный отчет проекта, «Искусственный интеллект и жизнь в 2030 г.» удивляет[209]. Как и следовало ожидать, в нем подчеркиваются выгоды от ИИ в таких сферах, как диагностика заболеваний и безопасность на транспорте. Неожиданным оказалось заявление, что «в отличие от фильмов, появление расы сверхчеловеческих роботов не просматривается и, скорее всего, даже невозможно».
Насколько мне известно, это первый раз, когда серьезные исследователи ИИ публично озвучили точку зрения, что ИИ человеческого или сверхчеловеческого уровня невозможен, — и это в разгар периода невероятно быстрого прогресса исследований ИИ, когда рушится один барьер за другим. Представьте, что группа ведущих онкологов объявила бы, что все это время они морочили нам голову: они всегда знали, что лекарство от рака никогда не будет создано.
Что могло стать мотивом подобного кульбита? Отчет не приводит никаких аргументов или свидетельств. (Действительно, какие могут быть свидетельства в пользу того, что никакая физически возможная структура атомов не в состоянии превзойти человеческий мозг?) Я подозреваю, тому были две причины. Во-первых, естественное желание опровергнуть существование «проблемы гориллы», открывающей очень неприятную перспективу перед исследователем ИИ. Безусловно, если ИИ человеческого уровня невозможен, «проблема гориллы» попросту самоустраняется. Во-вторых, это синдром «нашизма» — инстинктивное стремление держать круговую оборону против всего, что кажется нападками на ИИ.
Мне кажется странным видеть в утверждении, что сверхинтеллектуальный ИИ возможен, нападки на ИИ, тем более странно защищать ИИ, утверждая, что эта цель никогда не будет достигнута. Невозможно предотвратить будущую катастрофу, просто положившись на недостаточную изобретательность человека.
Мы уже ставили на это прежде и проигрывали. Как обсуждалось в предыдущих главах, физика начала 1930-х гг., олицетворяемая лордом Резерфордом, убедительно говорила о невозможности извлечения атомной энергии, но изобретение Лео Силардом в 1933 г. цепной реакции, инициируемой нейтронами, доказало, что эта убежденность не имела под собой оснований.
Прорыв, совершенный Силардом, пришелся на неудачное время — начало гонки вооружений с нацистской Германией. Тогда не было возможностей развивать атомную технологию во благо. Через несколько лет, продемонстрировав цепную реакцию деления атомных ядер в своей лаборатории, Силард написал: «Мы все выключили и пошли по домам. Той ночью я почти не сомневался, что мир движется к бедствию».
Еще слишком рано об этом беспокоиться
Часто видишь здравомыслящих людей, пытающихся успокоить встревоженное общество утверждениями, что, поскольку ИИ человеческого уровня вряд ли появится еще несколько десятилетий, бояться нечего. Например, как говорится в отчете AI100, «нет причины беспокоиться, что ИИ представляет собой непосредственную угрозу для человечества».
Этот аргумент порочен в двух отношениях. Во-первых, он использует логическую уловку: беспокойство проистекает не из близости катастрофы. Например, Ник Бостром пишет в «Сверхразумности»: «В этой книге никоим образом не утверждается, что мы стоим на пороге большого прорыва в изучении ИИ или что мы можем сколько-нибудь точно предсказать, когда это достижение может произойти». Во-вторых, долгосрочный риск может вызывать тревогу уже сейчас. Верный момент, чтобы начать беспокоиться из-за потенциально серьезной проблемы для человечества, определяется не только моментом ее возникновения, но тем, сколько нужно времени, чтобы подготовить и осуществить ее решение.
Например, если бы мы обнаружили большой астероид, который столкнется с Землей в 2069 г., разве мы бы сказали, что беспокоиться слишком рано? Наоборот! Был бы создан экстренный всемирный проект по разработке средств противодействия угрозе. Мы не стали бы ждать 2068 г., чтобы начать работать над решением, поскольку не могли бы заранее сказать, сколько времени на это потребуется. В действительности проект планетарной защиты NASA уже работает над возможными решениями, хотя «никакой известный астероид не представляет существенной опасности столкновения с Землей в ближайшие 100 лет». Если вас это успокоило, там также сказано: «Около 74 % объектов больше 140 м, приближающихся к Земле, пока остаются необнаруженными».
Если рассматривать риски всемирной катастрофы вследствие изменения климата, которая, по предсказаниям, случится в этом веке, можно ли сказать, что слишком рано действовать по их предупреждению? Напротив, возможно, уже слишком поздно. Соответствующая временная шкала появления сверхчеловеческого ИИ менее предсказуема, но, разумеется, это значит, что он, как и ядерный синтез, может появиться значительно раньше, чем ожидается.
Одна из формулировок аргумента «еще слишком рано беспокоиться», получившая распространение, принадлежит Эндрю Ыну: «Это все равно что бояться перенаселенности Марса»[210]. (В дальнейшем он усилил аргументацию, заменив Марс на альфу Центавра.) Ын, бывший профессор Стэнфорда, является ведущим экспертом по машинному обучению, и его мнение имеет вес. Данная оценка обращается к удобной аналогии: риск является не просто контролируемым и очень отдаленным; прежде всего, крайне маловероятно, что мы вообще попытаемся переселить на Марс миллиарды людей. Однако это ложная аналогия. Мы уже вкладываем огромные научные и технические ресурсы в создание ИИ-систем со все большими возможностями, почти не задумываясь о том, что произойдет, если мы добьемся успеха. Таким образом, более адекватная аналогия — работать над планом переселения человечества на Марс, не задаваясь вопросами о том, чем мы будем дышать, что пить и есть, когда там окажемся. Напротив, можно понять аргумент Ына буквально и ответить, что высадка даже одного человека на Марс будет представлять собой перенаселенность, поскольку Марс способен обеспечить существование нуля человек. Так, группы, в настоящее время планирующие отправить на Марс горстку людей, беспокоятся из-за перенаселенности Марса, потому и разрабатывают системы жизнеобеспечения.
Мы специалисты!
При любом обсуждении технологического риска лагерь сторонников технологии выдвигает аргумент, что все страхи из-за рисков вызываются невежеством. Например, вот что утверждает Орен Эциони, исполнительный директор Института изучения ИИ им. Аллена, видный исследователь в области машинного обучения и понимания естественного языка[211]:
С возникновением любой технологической инновации люди испытывают страх. От ткачей, швырявших свои башмаки в механические ткацкие станки в начале промышленной эры, и до сегодняшнего страха роботов-убийц нашей реакцией управляет незнание того, как новая технология скажется на нашем самоощущении и хлебе насущном. Если же мы чего-то не знаем, наш испуганный ум достраивает картинку.
В Popular Science вышла статья «Билл Гейтс боится ИИ, но исследователи ИИ осведомлены лучше»[212]:
Если поговорить с исследователями ИИ — опять-таки настоящими исследователями, бьющимися над тем, чтобы заставить системы вообще работать, не говоря уже о том, чтобы работать хорошо, — окажется, что они не беспокоятся, что сверхразумность покончит с ними сейчас или в будущем. В противоположность жутким историям, которые так любит рассказывать Маск, исследователи ИИ не занимаются лихорадочным строительством «чертогов призыва» за крепостными стенами, самоликвидирующихся после обратного отсчета.
Этот вывод опирался на опрос четверых человек, причем все они в действительности сказали в интервью, что тема безопасности ИИ в долгосрочной перспективе является важной.
Дэвид Кенни, в то время вице-президент IBM, обратился к Конгрессу США с письмом в духе, очень близком Popular Science, со следующими успокоительными словами[213]:
Если вы действительно занимаетесь изучением машинного интеллекта и действительно применяете его в реальном мире к бизнесу и обществу — как мы в IBM, когда создавали свою передовую когнитивную компьютерную систему Watson, — то понимаете, что эта технология не поддерживает нагнетание страхов, обычно сопутствующее сегодняшним дебатам вокруг ИИ.
Во всех трех случаях послание одно и то же: «Не слушайте их, специалисты — мы». Что ж, можно заметить, что это аргумент с переходом на личности, попытка опровергнуть чужое послание, обесценив его автора, но даже если принять этот аргумент за чистую монету, он все равно ничего не доказывает. Илон Маск, Стивен Хокинг и Билл Гейтс, безусловно, очень хорошо владеют научным и технологическим мышлением, а Маск и Гейтс еще и руководили и финансировали многие проекты исследования ИИ. Было бы еще менее обоснованно утверждать, что Алан Тьюринг, И. Дж. Гуд, Норберт Винер и Марвин Минский были не подготовлены обсуждать ИИ. Наконец, запись в вышеупомянутом блоге Скотта Александера, озаглавленная «Исследователи ИИ о риске, который несет ИИ», отмечает, что «исследователи ИИ, в том числе некоторые лидеры этого направления, с самого начала играли ключевую роль в постановке вопроса о рисках ИИ и сверхинтеллектуальности». Он перечисляет еще несколько ученых, а сегодня этот список значительно длиннее.
Другой стандартный риторический ход «защитников ИИ» — представлять своих противников новыми луддитами. Упоминание Орена Эциони о «ткачах, швыряющих свои башмаки в механические ткацкие станки» как раз из этой оперы. Луддиты — это ремесленники-ткачи, протестовавшие в начале XIX в. против внедрения машин, заменивших их квалифицированный труд. В 2015 г. Фонд содействия развитию информационной технологии и инноваций вручил свою ежегодную Премию луддитов «алармистам, предрекающим апокалипсис из-за искусственного интеллекта». Что за странное представление о «луддитах», включая Тьюринга, Винера, Минского, Маска и Гейтса, входящих в число самых видных участников технологического прогресса XX и XXI вв.!
Обличение новых луддитов свидетельствует о непонимании природы опасений и цели высказывания этих опасений. Это все равно что называть луддитами инженеров-ядерщиков, указывающих на необходимость контроля реакции синтеза. Как и в случае странного феномена — исследователей ИИ, вдруг заявивших, что ИИ невозможен, — этот загадочный момент, на мой взгляд, можно объяснить все тем же синдромом «нашизма».
Уклонение
Некоторые комментаторы готовы признать, что риски реальны, но все-таки высказываются за то, чтобы ничего не делать. Их аргументы: ничего сделать невозможно, важно сделать что-то совершенно другое, нужно помалкивать о рисках.
Исследования невозможно контролировать
Типичный ответ на предположения, что продвинутый ИИ может быть опасен для человечества, — запретить исследования ИИ невозможно. Обратите внимание на мысленный скачок: «Ага, кто-то заговорил о рисках! Наверняка предложит запретить мое исследование!» Этот скачок может быть уместным при обсуждении рисков с опорой только на «проблему гориллы», и я склонен согласиться, что ее решение путем запрета создания сверхинтеллектуального ИИ потребовало бы наложить определенные ограничения на исследования ИИ.
Однако текущее обсуждение рисков сосредоточено не на носящей общий характер «проблеме гориллы» (пользуясь языком журналистики, противостоянии людей и сверхразума), а на «проблеме царя Мидаса» и ее вариантах. Решение «проблемы царя Мидаса» решает и «проблему гориллы» — не предотвращением появления сверхинтеллектуального ИИ и не обнаружением способа победить его, а исключением самой возможности его конфликта с людьми. Обсуждения «проблемы царя Мидаса» обычно избегают предложения свернуть исследования ИИ. Предлагается лишь уделить внимание вопросу предотвращения отрицательных последствий плохо сконструированных систем. Аналогично разговор о рисках утечки на АЭС нужно рассматривать не как попытку запретить исследования в области ядерной физики, а как предложение направить больше усилий на решение проблемы безопасности.
Имеется очень интересный исторический прецедент сворачивания научного исследования. В начале 1970-х гг. биологи начали понимать, что новые методы рекомбинации ДНК — встраивания генов одного организма в другой — могут нести существенные риски для здоровья человека и мировой экосистемы. Две конференции в калифорнийском Асиломаре в 1973 и 1975 гг. привели сначала к мораторию на подобные эксперименты, а затем к выработке детальных принципов биобезопасности с учетом рисков каждого предлагаемого эксперимента[214]. Некоторые типы опытов, например с использованием генов токсинов, были сочтены слишком опасными, чтобы их разрешить.
Сразу после конференции 1975 г. Национальный институт здравоохранения, финансирующий практически все основные медицинские исследования в США, начал процесс организации Консультативного комитета по рекомбинантной ДНК, который играл важнейшую роль в выработке принципов Национального института здравоохранения, фактически воплощавших рекомендации асиломарских конференций. С 2000 г. эти принципы включают запрет одобрения финансирования любого протокола, предполагающего генеративное изменение человека — модификацию человеческого генома, наследуемую последующими поколениями. За этим запрещением последовали правовые запреты в 50 с лишним странах.
«Улучшение человеческого капитала» являлось одной из заветных целей евгеники, направления конца XIX — начала XX вв. Разработка CRISPR-Cas9, очень точного метода редактирования генома, возродила эту мечту. На международном саммите, проведенном в 2015 г., обсуждались возможности его будущего применения, призвав к сдержанности в случаях, когда отсутствует «широкий общественный консенсус в отношении допустимости предлагаемого применения»[215]. В ноябре 2018 г. китайский ученый Хэ Цзянькуй объявил, что отредактировал геномы трех человеческих эмбрионов, как минимум два из которых развились, что привело к рождению живых младенцев. Разразился международный скандал, и на тот момент, когда я пишу эти строки, Цзянькуй находится под домашним арестом. В марте 2019 г. международная группа из ведущих ученых недвусмысленно потребовала ввести официальный запрет на подобные эксперименты[216].
Выводы из этих споров вокруг ИИ неоднозначны. С одной стороны, они свидетельствуют о том, что мы можем отказаться от продолжения исследований, имеющих огромный потенциал. Международный консенсус против изменения генома до сих пор был в основном успешным. Страх, что запрет просто заставит ученых уйти в подполье или перебраться в страны без соответствующего законодательного ограничения, оказался безосновательным. С другой стороны, изменение генома — легко выявляемый процесс, случай конкретного применения более общего знания о генетике, требующий специального оборудования и реальных людей-испытуемых. Более того, он относится к области репродуктивной медицины, уже находящейся под пристальным контролем и правовым регулированием. Эти характеристики не относятся к разработке универсального ИИ, и на сегодняшний день никто не предложил реально осуществимой формы законодательного сворачивания исследований ИИ.
Какнасчетизм
С какнасчетизмом меня познакомил консультант британского политика, вынужденный постоянно сталкиваться с этим приемом на встречах с общественностью. Чему бы ни посвящалось выступление, кто-нибудь обязательно задавал вопрос: «А как насчет страданий палестинцев?»
В ответ на любое упоминание о рисках, которые несет продвинутый ИИ, вы, скорее всего, услышите: «А как насчет преимуществ ИИ?» Например, версия Орена Эциони[217]:
Апокалипсические пророчества часто не учитывают потенциальной пользы от ИИ в таких областях, как предотвращение медицинских ошибок, снижение аварийности автомобильного транспорта и многих других.
Вот что сказал Марк Цукерберг, исполнительный директор компании Facebook, в недавнем обмене мнениями с Илоном Маском в соцсетях[218]:
Если вы выступаете против ИИ, значит, вы против более безопасных автомобилей, которые никогда не попадут в аварию, и против способности поставить более точный диагноз заболевшим людям.
Помимо распространенного убеждения, что любой, кто заводит речь о рисках, является «противником ИИ», и Цукерберг, и Эциони утверждают, что обсуждать риски — значит игнорировать потенциальную пользу ИИ или даже отрицать ее.
Все как раз наоборот, и вот почему. Во-первых, если бы ИИ не сулил выгод, не было бы ни экономического, ни социального импульса для его исследования, следовательно, и опасности когда-либо создать ИИ человеческого уровня. Нам просто нечего было бы обсуждать. Во-вторых, если предотвратить риски не удастся, не будет и пользы. Эффект от использования атомной энергии значительно снизился из-за частичного расплавления рабочей зоны АЭС «Три-Майл-Айленд» в 1979 г., неуправляемой реакции и катастрофических выбросов в Чернобыле в 1986 г., а также многочисленных разрушений на Фукусиме в 2011 г. Эти катастрофы серьезно затормозили развитие ядерной промышленности. Италия запрет ила ядерную энергетику в 1990 г., а Бельгия, Германия, Испания и Швейцария заявили о планах запрета. С 1990 г. введение в строй АЭС по всему миру составляет около 1/10 этого показателя до Чернобыля.
Замалчивание
Крайняя форма уклонения от проблемы — попросту предложить помалкивать о рисках. Например, упомянутый отчет AI100 включает следующее предостережение:
Если общество относится к этим технологиям, главным образом, со страхом и подозрением, это приведет к ошибочным шагам, которые задержат разработку ИИ или загонят ее в подполье, помешав важной работе по обеспечению безопасности и надежности технологий ИИ.
Роберт Аткинсон, директор Фонда информационной технологии и инноваций (того самого, что вручает Премию луддитов), выдвинул тот же аргумент в дебатах 2015 г.[219] Несмотря на то что вопросы о том, как следует описывать риски, общаясь со СМИ, вполне адекватны, общий его посыл ясен: «Не упоминайте риски, это помешает финансированию». Разумеется, если бы никто не знал о рисках, не было бы ни финансирования поиска возможностей их снижения, ни причины для кого бы то ни было заниматься этой работой.
Прославленный специалист по когнитивной науке Стивен Пинкер предлагает более оптимистичный вариант аргумента Аткинсона. С его точки зрения, «культура безопасности в развитых обществах» гарантированно исключит любые серьезные риски, которые несет ИИ, следовательно, неуместно и контрпродуктивно привлекать к ним внимание[220]. Даже если отмахнуться от факта, что наша «продвинутая» культура безопасности привела к Чернобылю, Фукусиме и неуправляемому глобальному потеплению, Пинкер в своей аргументации попадает пальцем в небо. Культура безопасности заключается в людях, указывающих на возможные системные отказы и ищущих пути их предотвращения. (В случае ИИ стандартная модель — обязательно ведет к системному отказу.) Утверждение, будто нелепо привлекать внимание к отказам, поскольку культура безопасности в любом случае их отследит, равнозначно заявлению, что никому из свидетелей наезда на пешехода не следует вызывать скорую помощь, поскольку кто-нибудь так или иначе вызовет скорую помощь все равно.
Пытаясь представить риски публике и политикам, исследователи ИИ находятся в проигрышном положении по сравнению с ядерными физиками. Физикам не нужно писать книги, объясняющие общественности, что, если собрать критическую массу высокообогащенного урана, это может быть рискованно, поскольку последствия уже были продемонстрированы в Хиросиме и Нагасаки. Не потребовалось особых усилий, чтобы убедить власти и фонды в важности соблюдения безопасности при развитии ядерной энергетики.
Нашизм
В «Эдгине» Батлера сосредоточение на «проблеме гориллы» приводит к незрелому и ложному противостоянию сторонников и противников машин. Сторонники считают опасность господства машин минимальной или несуществующей, противники убеждены, что она непреодолима, пока все машины не уничтожены. Спор принимает фракционный характер, и никто не пытается решить фундаментальную проблему сохранения контроля человека над машинами.
В разной степени обсуждение всех важнейших технологических вопросов XX в. — ядерной энергии, генетически модифицированных организмов и ископаемого топлива — страдает фракционизмом. По каждому вопросу имеется две стороны, за и против. Динамика и результаты во всех случаях разные, но симптомы нашизма одинаковы: взаимное недоверие и очернение, иррациональная аргументация и отказ принимать любой (разумный) довод, который может свидетельствовать в пользу другой фракции. На протехнологической стороне наблюдаем отрицание и сокрытие рисков в сочетании с обвинениями в луддизме, на антитехнологической — убежденность, что риски непреодолимы, а проблема неразрешима. На представителя протехнологической фракции, слишком честно высказывающегося о проблеме, смотрят как на предателя, что особенно прискорбно, поскольку эта фракция включает большинство людей, способных решить эту проблему. Член антитехнологической фракции, обсуждающий возможное уменьшение рисков, — тоже «изменник», поскольку зло видится в технологии как таковой, а не в ее возможных эффектах. Таким образом, лишь крайние маргиналы — у которых меньше всего шансов быть услышанными по обе стороны баррикад — могут высказываться от имени каждой фракции.
Нельзя ли просто…
…выключить эту штуку?
Уловив саму идею экзистенциального риска, будь то в форме «проблемы гориллы» или «проблемы царя Мидаса», большинство людей, я в том числе, сразу же начинают искать простое решение. Часто первое, что приходит в голову, — это выключить машину. Например, сам Алан Тьюринг в приведенной ранее цитате рассуждает, что мы можем «удержать машины в подчиненном положении, например отключив питание в критический момент».
Это не поможет по той простой причине, что сверхинтеллектуальная сущность уже подумала об этой возможности и предприняла шаги по ее предотвращению. Она сделает это не из желания остаться живой, а потому что преследует ту или иную цель, которую мы ей дали, и знает, что не сможет ее достичь, если ее отключат.
Уже придуман ряд систем, которые невозможно отключить, не причинив серьезный ущерб нашей цивилизации. Это системы, реализованные в качестве так называемых смарт-контрактов в блокчейне. Блокчейн — высокораспределенная форма выполнения вычислений и хранения данных на основе шифрования, созданная специально для того, чтобы никакую часть данных нельзя было уничтожить и ни один смарт-контракт невозможно было прервать, фактически не взяв под контроль очень большое число машин и не разрушив цепочку, что, в свою очередь, может уничтожить значительную часть интернета и (или) финансовой системы. Ведутся споры, является ли эта невероятная устойчивость «фичей или багом», но, несомненно, это инструмент, с помощью которого сверхинтеллектуальная ИИ-система могла бы себя защитить.
…посадить ее под замок?
Если невозможно выключить ИИ-систему, нельзя ли окружить машины своего рода брандмауэром, получая от них полезную работу по ответам на вопросы, но не позволяя напрямую влиять на реальный мир? Таков замысел Oracle AI, подробно обсуждаемой в сообществе специалистов по безопасности ИИ[221]. Система Oracle AI может быть условно интеллектуальной, но способна отвечать на любой вопрос только «да» или «нет» (или сообщать соответствующие вероятности). Она может иметь доступ ко всей информации, которой обладает человечество, только с помощью чтения, то есть без непосредственного доступа в интернет. Разумеется, это означает отказ от сверхинтеллектуальных роботов, помощников и многих других типов ИИ-систем, но заслуживающая доверия Oracle AI все равно будет иметь колоссальную экономическую ценность, поскольку мы сможем задавать ей важные для нас вопросы, например имеет ли болезнь Альцгеймера инфекционную природу или следует ли запретить автономное оружие. Таким образом, Oracle AI, бесспорно, представляет собой интересную возможность.
К сожалению, здесь имеются серьезные трудности. Во-первых, система Oracle AI будет, по меньшей мере, столь же упорно (как и мы) постигать физическое устройство и происхождение своего мира — вычислительные ресурсы, их режим работы и тех «таинственных сущностей», которые создали информационное хранилище и теперь задают вопросы. Во-вторых, если задача системы Oracle AI заключается в том, чтобы давать точные ответы на вопросы за разумный промежуток времени, у нее будет стимул вырваться из своей клетки, чтобы получить больше вычислительных возможностей и контролировать спрашивающих, заставив их задавать лишь простые вопросы. Наконец, мы пока не изобрели брандмауэр, надежно защищающий от обычных людей, не говоря о сверхинтеллектуальных машинах.
Я думаю, что у части этих проблем могут быть решения, особенно если мы ограничим системы Oracle AI, чтобы они были доказуемо рациональными логическими или Байесовыми калькуляторами. А именно — мы могли бы потребовать, чтобы алгоритм был способен выдать лишь вывод, обусловленный предоставленной информацией, и имели бы возможность проверить математическими методами, что алгоритм удовлетворяет этому условию. При этом все равно остается проблема контроля за процессом принятия решения, какие логические или Байесовы вычисления выполнять, чтобы найти самое сильное решение из возможных, максимально быстро. Поскольку есть стимул для быстрого протекания этого процесса, то имеется и стимул приобретать вычислительные ресурсы и, разумеется, защищать собственное существование.
В 2018 г. Центр исследования совместимого с человеком ИИ в Беркли провел семинар, на котором мы задались вопросом: «Что бы вы сделали, узнав совершенно точно, что сверхинтеллектуальный ИИ будет создан в течение десятилетия?» Мой ответ был следующим: убедить разработчиков повременить с созданием универсального интеллектуального агента — способного самостоятельно выбирать свои действия в реальном мире — и вместо этого создать Oracle AI. Тем временем мы бы трудились над решением проблемы обеспечения максимально возможной доказываемой безопасности систем Oracle AI. Эта стратегия может сработать по двум причинам: во-первых, сверхинтеллектуальная система Oracle AI все равно стоила бы триллионы долларов, и разработчики, возможно, согласились бы с ограничением; во-вторых, контролировать системы Oracle AI почти наверняка проще, чем универсального интеллектуального агента, и у нас было бы больше шансов решить проблему в течение десятилетия.
…работать в командах из людей и машин?
Корпорации дружно уверяют нас, что ИИ не угрожает трудовой занятости или человечеству, потому что мы просто создадим команды людей, сотрудничающих с ИИ. Например, в упомянутом ранее письме Дэвида Кенни Конгрессу утверждается, что «обладающие высокой ценностью системы ИИ специально разработаны для того, чтобы дополнить человеческий разум, а не заменить работников»[222].
Циник заметил бы, что это всего лишь пиар-ход, призванный подсластить горькую пилюлю — исчезновение работников-людей из числа клиентов корпораций, но я считаю, что это все-таки шажок вперед, пусть маленький. Действительно, сотрудничество людей и ИИ — желанная цель. Очевидно, что команда не добьется успеха, если задачи ее членов будут рассогласованными, поэтому акцент на команды в составе людей и ИИ подчеркивает необходимость решить основополагающую проблему согласования ценности. Разумеется, подчеркнуть проблему не то же самое, что решить ее.
…слиться с машинами?
Объединение человека и машины в команду в своем крайнем проявлении превращается в слияние человека и машины, когда электронное оборудование подключается непосредственно к мозгу и становится частью единой, расширенной, сознающей сущности. Футурист Рэй Курцвейл так описывает эту возможность[223]:
Мы собираемся непосредственно слиться с ним, мы собираемся стать искусственными интеллектами… Если заглянуть в конец 2030-х или в 2040-е гг., наше мышление будет по большей части небиологическим, и небиологическая часть в конечном счете станет такой разумной и обретет такие огромные возможности, что сможет полностью моделировать, имитировать и понять биологическую часть.
Курцвейл оценивает эти изменения положительно. Илон Маск, в свою очередь, считает слияние человека и машины в основном оборонительной стратегией[224]:
Если мы достигнем тесного симбиоза, ИИ не будет «другим» — он будет вами и будет иметь такие же отношения с корой вашего головного мозга, какие ваша кора имеет с лимбической системой… Перед нами встанет выбор: остаться позади и стать фактически бесполезными или своего рода домашним питомцем — знаете, чем-то вроде кошки — либо постепенно найти какой-то способ вступить в симбиоз и слиться с ИИ.
Компания Маска Neuralink Corporation работает над устройством, получившим название «нейронное кружево», по технологии, описанной в романах Иэна Бэнкса из цикла «Культура». Целью является создание надежной постоянной связи между корой головного мозга человека и внешними компьютерными системами и сетями. Имеется два главных препятствия технического характера: первое — трудности соединения электронного устройства с тканями мозга, их энергопитание и связь с внешним миром; второе — тот факт, что мы почти совершенно не понимаем нейронной реализации высоких уровней когнитивной деятельности в мозге, следовательно, не знаем, куда присоединять устройство и какие процессы оно должно выполнять.
Я сомневаюсь, что препятствия, описанные в предыдущем абзаце, непреодолимы. Во-первых, такие технологии, как нейронная пыль, быстро снижают размер и требования к питанию электронных устройств, которые могут быть подсоединены к нейронам и обеспечивать сенсорику, стимуляцию и внутричерепную коммуникацию[225]. (К 2018 г. технология достигла размеров около 1 мм3, так что, возможно, более точный термин — нейронный песок.) Во-вторых, сам мозг имеет потрясающие возможности адаптации. Принято было считать, например, что нам нужно понять код, с помощью которого мозг управляет мышцами руки, прежде чем можно будет успешно подсоединить мозг к роботу-манипулятору, и что мы должны разобраться, как улитка уха анализирует звук, чтобы можно было создать ее заменитель. Оказалось, что мозг делает большую часть работы за нас. Он быстро постигает, как заставить роботизированную руку делать то, что хочет ее владелец, и как отображать информацию, поступающую в имплант внутреннего уха, в форме различимых звуков. Более чем вероятно, что мы наткнемся на способы снабдить мозг дополнительной памятью, каналами коммуникации с компьютерами и, возможно, даже каналами коммуникации с мозгом других людей — даже не понимая в полной мере, как все это работает[226].
Независимо от технологической осуществимости этих идей, следует задаться вопросом, обещает ли это направление исследований наилучшее возможное будущее для человечества. Если людям нужно сделать себе операцию на мозге только для того, чтобы пережить угрозу ими же созданной технологии, вероятно, мы где-то ошиблись.
…не ставить перед ИИ человеческие цели?
Это распространенная логика — проблемное поведение ИИ порождается постановкой задач определенного типа; исключаем эти задачи, и все прекрасно. Скажем, Ян Лекун, первопроходец глубокого обучения, директор Facebook по исследованию ИИ, часто приводит эту мысль, когда старается преуменьшить риск, который несет ИИ[227]:
Читать бесплатно другие книги:
