Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта Тегмарк Макс

К сожалению, в тот же раз я получил и неприятный урок: СМИ иногда могут сеять страх и раздор среди людей. Часовое публичное выступление Маска было посвящено увлекательнейшему рассказу об исследовании космоса, и я был убежден, что из него можно будет сделать потрясающее ТВ-шоу. В самом конце какой-то студент задал ему не имеющий отношения к теме выступления вопрос об искусственном интеллекте. Ответ Маска содержал фразу: «С искусственным интеллектом мы вызываем дьявола», — и только об этом и сообщалось в СМИ. Причем практически вне всякого контекста. Меня поражало, как многие журналисты неосознанно делали прямо противоположное тому, чего мы пытались достичь нашей конференцией в Пуэрто-Рико. В то время как мы хотели создать в сообществе базовый консенсус, находя почву для объединения, СМИ стремились подчеркивать то, что нас разделяет. Чем больше они сообщали о наших разногласиях, тем более высокое место они занимали в рейтинге Нильсена и тем быстрее рос рекламный бюджет. Более того, при том что мы хотели помочь людям, придерживающимся противоположных мнений, объединиться, понять друг друга и начать действовать вместе, сообщения СМИ вызывали в людях с противоположными мнениями раздражение друг против друга, усугубляя их взаимное непонимание публикацией только самых провокационных высказываний, — всегда лишенных контекста. По этой причине мы забанили журналистов на своей конференции в Пуэрто-Рико и установили там правило Чатем-хауса, которое запрещало участникам конференции рассказывать во время и после нее кому бы то ни было кто что говорил[63].

Хотя конференция в Пуэрто-Рико прошла успешно, нам этот успех дался совсем не легко. Пошедший обратный отсчет требовал скрупулезной подготовительной работы, включавшей, например, мои переговоры по телефону и Skype, чтобы собрать критическую массу экспертов, достаточную для притяжения всех остальных будущих участников; в ней были и свои драматические моменты — например, когда я встал в 7 утра 27 декабря, чтобы сквозь хрипы и треск ненадежного соединения услышать голос Маска, говорившего мне из Уругвая: «Я не думаю, что это может сработать». Его беспокоило, что программа исследований по AI-безопасности может родить ложное чувство успокоенности, и безрассудные ученые будут заниматься своими разработками, отговариваясь от необходимых мер безопасности лишь пустыми словами. Но тогда, несмотря на то что связь то и дело прерывалась, мы смогли подробно поговорить о колоссальных преимуществах переноса этой тематики в центр нашего предметного поля и объединения всех, кто занимается искусственным интеллектом, вокруг проблем безопасности. Когда разговор окончательно прервался, он послал мне один из самых моих любимых мейлов: «Звонки до меня больше не проходят. Но все вроде бы решено. Я счастлив буду поддержать исследования 5 миллионами на ближайшие три года. Или все-таки надо десять?».

Через четыре дня начался 2015 год, для нас с Мейей начало было хорошим: мы встречали Новый год, избавленные от приготовлений, танцуя на пуэрто-риканском пляже при свете фейерверков. Конференция тоже началась большим успехом: сложился примечательный консенсус участников по поводу того, что вопросы AI-безопасности требуют существенно большего внимания, и, опираясь на дальнейшее содействие участников конференции, мы смогли довести до окончательного совершенства итоговый документ об исследовательских приоритетах, над которым так много работали. Мы распространили среди участников проект коллективного письма из главы 1 о необходимости проводить исследования безопасности и были рады, что почти все участники конференции подписали его.

У нас с Мейей прошла очень вдохновившая нас беседа с Маском в нашей комнате в отеле, во время которой он благословил наш подробный план программы грантов. Мейю очень тронуло, насколько ясно и просто он рассказывал о своей частной жизни и какой интерес проявил к нашей. Он спросил нас о нашей встрече, и обстоятельный рассказ Мейи очень ему понравился. На следующий день мы записывали интервью с ним о AI-безопасности и о том, почему он поддерживает такие исследования. Все шло как по маслу{133}.

Высшая точка нашего собрания — объявление о дотации Маска, оно было назначено на воскресенье, 4 января 2015 года, на 7 часов вечера. Я был так взволнован, что полночи проворочался без сна. А потом, всего за тринадцать минут до нашей предполагавшейся встречи, после чего мы должны были пойти на собрание, вдруг все рухнуло! Позвонил секретарь Маска и сказал, что Маск, похоже, не сможет прийти и сделать свое объявление. Мейя говорит, что она никогда не видела меня таким потрясенным и разочарованным. Но Маск все же пришел, и я слышал, как секунда отсчитывается за секундой, приближая начало собрания, пока мы сидели и разговаривали. Он объяснял, что до запуска SpaceX остается всего два дня, для них это жизненно важный этап, и они очень рассчитывают произвести первый в истории возврат отстрелившейся первой ступени на самоуправляемую платформу. Из-за этого команда SpaceX очень не хочет, чтобы внимание медиа отвлекалось на какие-то посторонние события с его участием. Энтони Агирре, хладнокровный и рассудительный как всегда, заметил, что никто не хочет привлекать к предстоящему собранию внимания медиа, ни Маск, ни наше сообщество. В результате собрание началось с опоздания в несколько минут, я должен был его вести, и у нас уже сложился план: сумма дотации не будет оглашена, чтобы объявление не содержало в себе новостного повода; более того, я, со ссылкой на Чатем-хауc, призвал присутствующих держать объявление Маска в секрете на протяжении как минимум девяти дней, пока ракета не достигнет станции, независимо от успеха с возвращением первой ступени; сам Маск добавил, что будет нуждаться в значительно более продолжительном молчании, если ракета взорвется на старте.

Обратный отсчет дошел до нуля. Сверхразумный президиум сидит на сцене на своих стульях: Элиезер Юдковски, Илон Маск, Ник Бострём, Ричард Маллах, Мюррей Шанахан, Барт Зельман, Шейн Легг, Вернор Виндж. Аплодисменты в зале постепенно стихают, но президиум продолжает сидеть: я сказал им, чтобы они оставались на местах, хотя и не объяснил зачем. Мейя позже говорила мне, что ее пульс в тот момент достиг стратосферы, а рукой под столом она вцепилась в успокаивающую руку Виктории Краковны. Я улыбался. Я знал, что ради этого момента мы так долго работали, так надеялись и так ждали его.

Я счастлив, что на нашей встрече мы достигли общего согласия относительно необходимости продолжения исследований в области создания дружественного искусственного интеллекта, говорил я, и что сейчас мы определили так много конкретных исследовательских направлений, в которых можем двигаться прямо сейчас. Но во время этой сессии было также много разговоров о рисках, добавил я, и поэтому было бы хорошо закрепить наш успех, взглянуть на будущее с большим оптимизмом, прежде чем мы направимся к бару и приступим к ожидающему нас банкету. «И поэтому я передаю свой микрофон … Илону Маску!» — я чувствовал, как творится история в тот момент, когда Маск взял протянутый микрофон и объявил, что будет поддерживать исследования по AI-безопасности крупными дотациями. Неудивительно, что его выступление завершилось овациями. Как и планировалось, он не назвал суммы, но я знал, что она составит 10 миллионов долларов, о которых мы условились раньше.

После конференции мы с Мейей отправились навестить наших родителей в Швецию и Румынию. В Стокгольме мы с отцом, затаив дыхание, смотрели прямую трансляцию старта ракеты. Попытка посадки завершилась неудачно; как эвфемистично определил ее Маск, — это был RUD, незапланированное быстрое разрушение (rapid unscheduled disassembly), и на то, чтобы благополучно вернуть первую ступень на океанскую платформу после старта ракеты, его команде понадобилось еще пятнадцать месяцев усилий{134}. Однако все запущенные им спутники благополучно достигли орбиты, как и наша программа грантовой поддержки твитом Маска достигла миллионов его фолловеров{135}.

Перенос AI-безопасности в центр исследовательского поля

Ключевая цель пуэрто-риканской конференции состояла в том, чтобы сосредоточить интерес исследователей искусственного интеллекта на теме AI-безопасности, и было исключительно занятно видеть, как это происходит: процесс разделился на великое множество шагов. Сначала была сама встреча, на которой многие исследователи почувствовали себя значительно увереннее и спокойнее, когда обнаружили, что их дело собирает вокруг себя целое сообщество специалистов. Слова поддержки от многих из участников были для меня очень важны. Специализирующийся на AI профессор Корнеллского университета Барт Зельман прислал мне мейл: «Честно признаюсь: я никогда не видел лучше организованного, более восхитительного и воодушевляющего научного собрания».

Следующий этап начался 11 января, когда Илон Маск написал в своем Twitter: «Ведущие разработчики искусственного интеллекта подписывают открытое письмо, призывающее к проведению исследований по AI-безопасности»{136}, с линком на открытую для подписей страницу с письмом, где очень скоро значилось уже более восьми тысяч подписей, включая имена самых известных создателей интеллектуальных систем мира. Внезапно оказалось очень трудно отмахиваться от тех, кто призывает побеспокоиться об AI-безопасности, как от неспециалистов, потому что из этого немедленно бы следовало, что и самые крутые специалисты по искусственному интеллекту тоже не специалисты. О письме сообщили СМИ, и сделали это так, что мы порадовались своему решению не пускать их на конференцию. Хотя самым алармистским словом в нашем письме было «ловушка», но, тем не менее, оно дало толчок к появлению, например, такого заголовка: «Илон Маск и Стивен Хокинг подписывают открытое письмо в надежде предотвратить восстание роботов», проиллюстрированного убийственными терминаторами. Из сотен отслеженных нами статей больше других нам понравилась та, в которой, иронизируя над прочими, автор писал: «Использование в статье образов скелетоподобных андроидов, пинающих ногами человеческие черепа, превращает сложную, трансформирующую мир технологию в карнавальное слайд-шоу»{137}. К счастью, было также много трезвых статей, но теперь они создали для нас новую проблему: сдерживать поток новых подписей, вручную верифицируя их ради сохранения доверия к нашему делу и избавляясь от пранков вроде «HAL 9000», «Терминатор», «Сара Коннор» или «Скайнет». Ради этого и ради наших будущих открытых писем Виктория Краковна и Янош Крамар помогли организовать бригаду волонтеров, среди которых были Джесси Галеф, Эрик Гастфренд и Реватхи Винотх Кумар, работавшие посменно, так что когда Реватхи в Индии отправлялась спать, она передавала бразды правления Эрику, и так далее.

Третий этап переноса проблемы AI-безопасности в центр внимания исследователей начался четыре дня спустя, когда Маск выложил в своем твиттере ссылку на наше объявление о его дотации в 10 миллионов долларов на исследования по AI-безопасности{138}. А неделю спустя мы запустили онлайн-портал, где исследователи со всего мира могли подать заявку на конкурс для получения своей части из этой суммы. Мы смогли подстегнуть работу системы подачи заявок, раскрутив ее так быстро, только потому, что мы с Энтони Агирре все предыдущее десятилетие запускали подобные конкурсы для распределения грантов по физике. Калифорнийский благотворительный фонд «Open Philanthropy Project», заинтересованный в предоставлении грантов проектам, которые обещают высокоэффективную отдачу, великодушно согласился пополнить дотацию Маска, дав нам возможность увеличить количество грантов. Мы не знали, сколько может быть заявок, поскольку тема исследования была новой, а срок проведения конкурса — коротким. Но итог нас потряс: к нам обратились около трех сотен команд со всего мира, претендующих в общей сложности на 100 миллионов долларов. Группа специалистов по искусственному интеллекту тщательно изучила все предложения и выбрала тридцать семь заявок-победителей, которым выделялось финансирование на срок до трех лет. Когда мы объявили список победителей, медиа впервые отреагировали на итоги нашей деятельности довольно уравновешенно и обошлись без изображений роботов-убийц. Наконец-то стало ясно, что исследования по AI-безопасности — не пустые разговоры: есть нужное дело, и его предстоит выполнить, и есть много исследовательских команд, закатывающих рукава, чтобы объединить свои усилия.

Четвертый этап органично протекал сам собой на протяжении следующих двух лет. Тучи технических публикаций и десятки семинаров по AI-безопасности во всем мире, обычно в составе общей тематики мейнстримных конференций по искусственному интеллекту. Самые настойчивые тратили годы, чтобы привлечь сообщество к исследованиям по AI-безопасности, и без успеха, а теперь все действительно завертелось. Многие из публикаций финансировались нашей программой, и мы в FLI старались помогать в организации и финансировании многих таких семинаров, но все бльшая их часть проходила на средства самих исследователей, которые вкладывали свои деньги и не жалели своего времени. В результате все больше ученых узнавало об исследованиях по AI-безопасности от своих коллег, обнаруживая, что кроме пользы они могут приносить радость, благодаря решению интересных математических и вычислительных задач, возникающих в связи с ними.

Сложные уравнения не всех радуют, конечно. Спустя два года после нашей конференции в Пуэрто-Рико мы готовились к конференции в Асиломаре и проводили в связи с этим технический семинар, где наши победители, выигравшие грант FLI, могли продемонстрировать результаты своих исследований, и мы рассматривали слайд за слайдом с наполняющими их математическими формулами на большом экране. Моше Варди, профессор по искусственному интеллекту из Райсовского университета, пошутил: он понял, что мы преуспели в превращении AI-безопасности в исследовательскую область, коль скоро конференции стали скучными.

Этот впечатляющий рост числа работ по AI-безопасности не ограничивался университетской наукой. Amazon, DeepMind, Facebook, Google, IBM и Microsoft — все эти компании запустили программы промышленного партнерства по созданию дружественного искусственного интеллекта{139}. Новые внушительные пожертвования на исследования по AI-безопасности позволили существенно расширить их в наших крупнейших некоммерческих дочерних организациях: Machine Intelligence Research Institute в Беркли, Future of Humanity Institute в Оксфорде и Центр по изучению экзистенциальных рисков в Кембридже (Великобритания). Новые пожертвования в 10 миллионов долларов и больше стимулировали дальнейшие усилия в направлении создания дружественного искусственного интеллекта: Leverhulme Centre for the Future of Intelligence в Кембридже, K & L Gates Endowment for Ethics and Computational Technologies в Питтсбурге и Ethics and Governance of Artificial Intelligence Fund в Майами. Последний, но не менее важный, чем прочие в этом ряду, — проект на миллиард долларов при участии Илона Маска наряду с другими предпринимателями для запуска OpenAI, некоммерческой компании в Сан-Франциско по разработке дружественного искусственного интеллекта. Исследования по AI-безопасности пришли, чтобы остаться.

Синхронно с этим исследовательским всплеском пришла и волна мнений, выраженных как отдельными людьми, так и целыми коллективами. Промышленное «Partnership on AI» опубликовало свои основополагающие принципы. Длинные доклады со списками рекомендаций были опубликованы американским правительством, Стэнфордским университетом и IEEE (крупнейшим в мире объединением технических специалистов), вместе с десятками других докладов и программных документов отовсюду{140}.

Мы стремились всецело способствовать содержательной дискуссии среди участников конференции в Асиломаре и выяснить, что именно может объединить эти разнообразные сообщества, если таковое вообще возможно. Лукас Перри взял на себя героическую задачу читать все те документы, которые нам присылали, и извлекать из них главное. В марафоне усилий, инициированных Энтони Агирре и завершенных серией длинных телеконференций, наша команда FLI попыталась сгруппировать предложения по близости высказанных позиций и, избавив их от бюрократического пустословия, превратить в единый список лаконичных принципов, прибавив к ним также некоторые неопубликованные, но влиятельные мнения, высказанные более или менее неофициально в ходе переговоров или при других обстоятельствах. Но список все еще содержал многочисленные двусмысленности и противоречия и оставлял слишком много возможностей для толкований, так что за месяц до начала конференции мы распространили его среди участников, чтобы они выразили свои мнения и дали предложения по улучшению имеющихся принципов или замене их новыми. В результате к началу работы конференции у нас был основательно пересмотренный список принципов, с которым можно было начинать работать.

В Асиломаре список вновь подвергся улучшениям, причем в два этапа. Во-первых, принципы обсуждали небольшие группы наиболее заинтересованных участников (рис. 9.4), которые предлагали подробные уточнения, отклики, новые принципы или новые версии старых. Во-вторых, мы опросили всех участников, чтобы определить уровень поддержки для каждой версии каждого принципа.

Эта коллективная работа была скрупулезной и изнурительной. Мы с Энтони и Мейей до предела сократили время, отведенное на сон и приемы пищи, чтобы успеть учесть все необходимое ля наших последующих этапов. Но эта работа захватывала. После такого подробного, многоступенчатого, иногда вызывающего бурные дискуссии и опирающегося на самый широкий спектр откликов обсуждения мы были поражены тем единодушным согласием, которое было выражено по поводу большинства этих принципов в ходе нашего заключительного опроса — до 97 % поддержки по некоторым позициям. Этот консенсус позволил нам установить высокую планку для включения в окончательный список: мы оставили в нем только те принципы, с которыми согласились по крайней мере 90 % участников конференции. Хотя это означало, что некоторые довольно часто предлагавшиеся принципы были сняты в последнюю минуту, в том числе некоторые из тех, что очень нравились мне самому{141}, но это позволяло большинству участников не испытывать никаких колебаний при одобрении всего подписанного ими списка, который по окончании был распространен по аудитории. И вот результат.

Рис. 9.4

Величайшие умы, разбившись на группы, продумывают принципы разработки искусственного интеллекта в Асиломаре.

Асиломарские принципы разработки искусственного интеллекта

Искусственный интеллект уже создал несколько дружественных инструментов, которыми каждый день пользуются люди во всем мире. Его дальнейшее развитие, основанное на следующих принципах, будет расширять возможности людей и оказывать им помощь на протяжении следующих десятилетий и даже столетий.

Исследовательские вопросы

§ 1 Исследовательская цель: Цель, к достижению которой направлены исследования искусственного интеллекта, состоит не в том, чтобы создать неуправляемый разум, а в том, чтобы разум был дружественным.

§ 2 Финансирование исследований: Инвестиции в искусственный интеллект должны сопровождаться финансированием исследований, обеспечивающих его дружественность и включающих неудобные вопросы из разных областей знания: информатики, экономики, права, этики и социологии, в том числе:

(a) Как мы можем обеспечить высокую надежность систем с искусственным интеллектом, так чтобы они выполняли то, чего мы от них хотим, без опасности нанесения вреда из-за сбоев или злонамеренного взлома?

(b) Как мы можем добиваться роста нашего процветания благодаря автоматизации при сохранении человеческих ресурсов и целесообразности их жизней?

(c) Как нам обновить наше законодательство, чтобы оно стало более справедливым и эффективным, чтобы оно учитывало существование искусственного интеллекта, и как управлять рисками, связанными с ним?

(d) Как искусственный интеллект должен быть увязан с нашей системой ценностей, и каким должен быть его юридический и этический статус?

§ 3 Научно-политическое звено: Между исследователями искусственного интеллекта и политиками должен быть конструктивный и содержательный диалог.

§ 4 Исследовательская культура: Среди исследователей и разработчиков искусственного интеллекта следует поддерживать атмосферу сотрудничества, доверия и прозрачности.

§ 5 Исключение технологической гонки: Группы, разрабатывающие системы искусственного интеллекта, должны активно сотрудничать и не допускать получения решающего преимущества за счет снижения стандартов безопасности.

Ценности и вопросы этики

§ 6 Безопасность: Системы с искусственным интеллектом должны быть безопасными и хорошо защищенными на протяжении всей операциональной жизни и проверяемыми в этом отношении, когда проверка осуществима.

§ 7 Прозрачность при неисправностях: Если система с искусственным интеллектом причиняет вред, всегда должна быть возможность выяснить причину.

§ 8 Прозрачность при использовании в судебной практике: Привлечение автономной системы к принятию судебных решений должно сопровождаться удовлетворительными обоснованиями, поддерживаемыми компетентными специалистами-людьми.

§ 9 Ответственность: Разработчики и создатели продвинутых систем с искусственным интеллектом несут моральную ответственность за последствия их правильного использования, неправильного использования и любых предпринимаемых ими действий, им вменяется в моральную обязанность предвидеть и формировать эти возможные последствия.

§ 10 Приведение ценностей в соответствие: Независимо функционирующие системы с искусственным интеллектом должны быть спроектированы таким образом, чтобы их цели и поступки гарантированно не приходили в противоречие с человеческими ценностями на протяжении всего срока их работы.

§ 11 Человеческие ценности: Системы с искусственным интеллектом должны разрабатываться и действовать таким образом, чтобы это соответствовало идеалам человеческого достоинства, прав, свобод и культурного разнообразия.

§ 12 Неприкосновенность частной жизни: Люди должны иметь право получать доступ к производимым ими данным, редактировать их и контролировать их использование во всех тех ситуациях, когда такие данные анализируются или используются системами с искусственным интеллектом.

§ 13 Свобода и конфиденциальность: Применение искусственного интеллекта с использованием личных данных людей не должно необоснованно ограничивать реальную или воображаемую свободу этих людей.

§ 14 Общая польза: AI-технологии должны приносить пользу и расширять возможности как можно большего числа людей.

§ 15 Общее процветание: Экономические преимущества, созданные при помощи искусственного интеллекта, должны предоставляться всем, использоваться на благо всего человечества.

§ 16 Человеческий контроль: Делегирование принятия решений искусственному интеллекту и его форма определяется людьми; цели, для достижения которых такие решения будут приниматься, ставятся также людьми.

§ 17 Сохранение социального порядка: Власть, возникающая у высокоразвитой системы с искусственным интеллектом благодаря ее возможностям управления, должна поддерживать и развивать социальные и гражданские процессы, от которых зависит общественное благополучие, а не подрывать их.

§ 18 Гонка интеллектуальных систем вооружений: Следует всеми мерами избегать начала гонки вооружений в сфере разработки смертоносных автономных систем.

Долгосрочные аспекты

§ 19 Осторожность в отношении способностей: В отсутствие общего согласия мы должны избегать сильных предположений относительно верхнего предела будущих возможностей искусственного интеллекта.

§ 20 Значение для будущего: Продвинутый искусственный интеллект может стать причиной глубоких изменений в истории жизни на Земле, они должны планироваться и управляться с соразмерной заботой и привлечением необходимых ресурсов.

§ 21 Риски: Риски, связанные с развитием систем искусственного интеллекта, в особенности катастрофические или экзистенциальные, должны регулироваться соразмерными усилиями по планированию и смягчению последствий их ожидаемого воздействия.

§ 22 Последовательное самосовершенствование: Системы искусственного интеллекта, конструктивно предполагающие самосовершенствование или саморазмножение, которые могли бы привести к быстрому росту их качества или количества, должны подвергаться самому строгому контролю в плане безопасности и управляемости.

§ 23 Общее благо: Сверхразум может создаваться только для служения всеми разделяемым этическим идеалам и во благо всего человечества, а не какого-то одного государства или какой-то одной организации.

После того как мы вывесили список этих принципов онлайн, количество подписей под ним стало быстро расти, и сейчас среди них можно видеть имена более тысячи самых известных мыслителей и ведущих разработчиков интеллектуальных систем. Если и вы хотите поставить свою подпись, пройдите по ссылке: http://futureoflife.org/ai-principles.

Нас поразило не столько то, как высок был уровень всеобщего согласия относительно этих принципов, сколько сама их сила. Конечно, некоторые могут на первый взгляд показаться такими же спорными, как что-нибудь вроде «Мир, любовь и материнство — бесценны». Но у многих из них есть настоящие зубы, которые можно заметить, например, если попытаться сформулировать отрицание. Например, утверждение «Сверхразум невозможен!» будет противоречить § 19, а «Проводить исследование, направленное на снижение экзистенциального риска от искусственного интеллекта, — только попусту тратить время!» будет противоречить § 21.

В самом деле, как вы можете самостоятельно убедиться, посмотрев на YouTube наши панельные дискуссии, посвященные долгосрочной перспективе{142}, Илон Маск, Стюарт Рассел, Рэй Курцвейл, Демис Хассабис, Сэм Харрис, Ник Бострём, Дэвид Чалмерс, Барт Зельман и Яан Таллин — все согласились, что сверхразум, возможно, будет создан и исследования по безопасности важно проводить.

Я надеюсь, что наши Асиломарские принципы разработки искусственного интеллекта станут исходной точкой для более детальных дискуссий, которые в итоге приведут нас к созданию разумных стратегических и политических решений по отношению к искусственному интеллекту. В этом духе наш медиа-директор Эриел Конн работал с Такером Дави и другими членами нашей команды, проводя интервью среди ведущих исследователей по поводу их видения и интерпретаций создаваемых принципов, а Дэвид Стэнли и его команда международных волонтеров FLI переводили эти принципы на ключевые языки мира.

Разумный оптимизм

Как я объяснил в начале этого эпилога, сейчас я испытываю значительно больше оптимизма по отношению к будущему, чем раньше. Я сейчас расскажу почему.

Есть две разные причины, которые способствовали росту моего оптимизма на протяжении последних двух лет. Во-первых, я был свидетелем тому, как сообщество специалистов по искусственному интеллекту складывалось самым конструктивным образом и не боялось браться за решение будущих проблем, нередко привлекая для этого думающих людей из смежных исследовательских областей. После нашей конференции в Асиломаре Илон Маск говорил мне, что приятно удивлен тем, как тема безопасности с обочины исследований искусственного интеллекта переместилась в самый центр этой исследовательской области всего лишь за несколько лет, и это удивляет и меня самого. Сейчас она включает в себя не только краткосрочные задачи из главы 3, которые стало не стыдно обсуждать, но и вопросы, связанные со сверхразумом и экзистенциальными рисками, как мы видим по Асиломарским принципам. Эти принципы никоим образом не могли быть одобрены на конференции в Пуэрто-Рико двумя годами раньше, где самым страшным словом, просочившимся в итоговое открытое письмо, было слово «ловушки».

Мне нравится наблюдать за людьми, и в какой-то момент, в последнее утро асиломарской конференции, я стоял в боковом проходе аудитории и наблюдал за дискуссией о правовых аспектах искусственного интеллекта. Вдруг, неожиданно для меня самого, в моей душе разлилось что-то теплое и мягкое, я ощутил себя внезапно взволнованным. Это было так непохоже на испытываемое мной в Пуэрто-Рико! Тогда, я помню, я смотрел на AI-сообщество со смесью страха и уважения — нет, не как на команду противника, но как на группу моих коллег, которых мне предстоит в чем-то переубедить. А теперь мне было совершенно очевидно, что мы — одна команда. И хотя, читая эту книгу, вы, наверное, уже поняли, что у меня нет готовых ответов на вопросы о том, как с помощью искусственного интеллекта создать нам всем великое будущее, я рад ощущать себя частью растущего сообщества, внутри которого эти ответы ищут сообща (рис. 9.4).

Вторая причина, по которой растет мой оптимизм, — в расширяющемся опыте нашего FLI. Слезы брызнули у меня из глаз в Лондоне от чувства неизбежности: наступает тревожное будущее, но мы ничего с этим поделать не можем. Прошло три года, и это чувство фатальной предопределенности рассеялось. Даже если небольшая компания разномастных волонтеров смогла развернуть в правильную сторону то, что называли самой важной темой нашего времени, подумайте только, что мы сможем сделать, взявшись все вместе!

Эрик Бриньоулфссон в своем асиломарском выступлении говорил о двух типах оптимизма. Первый — безусловный. Он включает в себя, например, положительную уверенность, что и завтра солнце тоже взойдет. Но кроме него, есть и такой, который он называет разумным оптимизмом — это уверенность, что хорошие вещи будут случаться, если ты хорошо все спланируешь и хорошо ради них потрудишься. Это тот самый тип оптимизма, который я испытываю в отношении будущего жизни.

Рис. 9.4

Растущее исследовательское сообщество занято совместным поиском ответов в Асиломаре.

Так что вы можете сделать, чтобы изменить будущее жизни к лучшему в момент вступления в эпоху искусственного интеллекта? По причинам, которые я сейчас объясню, удачный первый шаг поможет вам стать разумным оптимистом, если вы еще им не стали. Чтобы быть успешным разумным оптимистом, очень важно развивать позитивное видение будущего. Когда ко мне в офис приходят студенты MIT и спрашивают моих советов, какую карьеру выбрать, я обычно начинаю расспрашивать их о том, какими они видят себя через десять лет. Если студентка отвечает мне: «Наверное, я буду уже в раковом корпусе или на кладбище после встречи с автобусом», — я не могу сказать ей ничего хорошего. Ожидать от будущего плохого — это бесперспективный подход к планированию своей карьеры. Посвящать 100 % своих усилий только тому, чтобы избегать болезней и несчастных случаев, — это чудесный рецепт для ипохондрии и паранойи, но никак не для счастья! Я бы посоветовал ей, напротив, отнестись к своим целям с энтузиазмом, и тогда мы сможем обсудить стратегии, которые приведут к ним и помогут избежать ловушек и ухабов.

Эрик Бриньоулфссон указывал, что позитивные ожидания в соответствии с теорией игр дают самое надежное в мире основание для сотрудничества — от заключения брака и слияния компаний до объединения независимых штатов в США. В конце концов, зачем жертвовать чем-то, что у вас уже есть, если вы не видите, как получить при помощи этого что-то бльшее? А это означает, что мы должны проектировать лучшее будущее не только для себя, но и для общества и для человечества в целом. Другими словами, нам нужно больше экзистенциальной надежды! Однако, как не устает мне напоминать Мейя, футуристические образы в кино и литературе, от Франкенштейна до Терминатора, по большей части антиутопичны. Выходит, мы как общество планируем себе столь же мрачное будущее, как гипотетическая студентка MIT. И поэтому нам надо больше разумного оптимизма. И поэтому на протяжении всей книги я убеждал вас прежде всего подумать о том, какого именно будущего вы бы хотели, а не о том, какое будущее вас пугает, потому что только так мы можем найти общие цели, ради которых стоит планировать и трудиться.

На протяжении всей книги мы видели, что искусственный интеллект, наверное, дает нам грандиозные возможности и создает нам грандиозные проблемы. Стратегия, которая с наибольшей вероятностью поможет разобраться практически со всеми этими проблемами, заключается в том, чтобы объединиться в совместном действии и улучшить наше человеческое общество до того, как искусственный интеллект по-настоящему стартует. Нам надо думать, как улучшать образование молодых людей, чтобы создаваемые ими технологии были надежны и дружественны, до того, как эти технологии станут по-настоящему могучими. Нам надо думать, как модернизировать свою законодательную и судебную системы, — до того, как рост технологий сделает их безнадежно устаревшими. Нам надо думать, как разрешить международные конфликты, — до того, как их эскалаия приведет к гонке в сфере автономных систем оружия. Нам надо думать, как создать экономику, обеспечивающую процветание для всех, — до того, как искусственный интеллект сможет раздуть существующее неравенство. Нам надо позаботиться, чтобы не забывали об AI-безопасности и подумали о том, как применить результаты проводимых исследований уже сейчас. Мы смотрим вперед, и в предчувствии проблем, которые возникнут в связи с универсальным искусственным интеллектом, нам надо думать, как достичь согласия хотя бы по базовым этическим стандартам, прежде чем мы начнем прививать эти стандарты разумным машинам. В поляризованном и хаотическом мире люди, обладающие властью и возможностью использовать искусственный интеллект для дурных целей, окажутся и более мотивированными, и более свободными, а в состязании с другими группами, стремящимися к созданию универсального искусственного интеллекта, будут скорее стремиться закрывать глаза на решение проблем безопасности, чем работать над ними вместе с другими. Одним словом, если мы преуспеем в создании гармоничного человеческого общества, характеризующегося высоким уровнем сотрудничества в достижении общих целей, то наши общие шансы на благополучное завершение начавшейся AI-революции только вырастут.

А это значит, что улучшить будущее жизни можно, только улучшив наше завтра. У вас есть много способов сделать это. Конечно, вы можете делать это у ваших избирательных урн, втолковывая политикам, за кого голосуете, что думаете об образовании, конфиденциальности, летальном автономном оружии, технологической безработице и обо всем остальном. Но вы можете делать это и каждый день, выбирая, что покупать, какие потреблять новости, чем делиться с другими и какую ролевую модель выбрать для себя. Хотите ли вы быть одним из тех, кто не задумываясь прерывает беседу, чтобы проверить свой мессенджер в смартфоне, или одним из тех, кто чувствует себя в силах пользоваться новыми технологиями планомерно и по своему выбору? Хотите ли вы располагать технологиями или хотите, чтобы технологии располагали вами? Что, по-вашему, это должно значить: быть человеком в эпоху искусственного интеллекта? Пожалуйста, обсудите это с теми, кто вас окружает — это не только важный, но и увлекательный разговор!

Мы все — стражи будущего жизни сейчас, когда мы создаем эпоху искусственного интеллекта. Хотя я и расплакался в Лондоне, сейчас я чувствую, что в будущем нет ничего неизбежного, и я знаю, что изменить его намного проще, чем я думал. Наше будущее не высечено в камне, и оно не свалится на нас, дождавшись своего часа, — наше дело его создавать. Давайте же вместе создадим его вдохновляющим!

1

Открытое письмо о дружественном и надежном искусственном интеллекте: http://futureoflife.org/ai-open-letter/

2

Пример типичного алармизма по отношению к роботам в широкой прессе: http://tinyurl.com/hawkingbots

3

Замечание по поводу происхождения термина AGI см.: http://goertzel.org/who-coined-the-term-agi/

4

Hans Moravec 1998, «When will computer hardware match the human brain», Journal of Evolution and Technology, vol. 1.

5

Данные о стоимости вычислений в разные годы до 2011 взяты из книги Рэя Курцвейла How to Create a Mind, последующие данные вычислены на основании информации, приведенной в: https://en.wikipedia.org/wiki/FLOPS

6

Один из создателей теории квантовых вычислений Дэвид Дойч показывает, каким образом квантовые вычисления связаны с многомировой интерпретацией квантовой механики, в книге: David Deutsch. The fabric of reality. London: Penguin, 1997 (есть русский перевод: Дойч Д. Структура реальности. Наука параллельных вселенных. М.: Альпина нон-фикшн, 2015. — Прим. перев.). Если вас интересует мой собственный подход к квантовым параллельным вселенным как к третьему из четырех уровней мультиверсума, то смотрите мою книгу Our Mathematical Universe (см. рус. пер.: Тегмарк М. Наша математическая Вселенная. В поисках фундаментальной природы реальности. М.: Corpus, 2016 / пер. с англ. А. Сергеев. — Прим. перев.).

7

О прорыве, совершенном Google в распознавании образов, см.: https://arxiv.org/pdf/1411.4555.pdf

8

DeepMind алгоритм глубокого машинного обучения с подкреплением позволил довольно быстро научиться играть в Breakout: https://tinyurl.com/atariai

9

См. статью, в которой описывается искусственный интеллект DeepMind, совершенствующийся в играх на платформе Atari: http://tinyurl.com/ataripaper

10

Робот Биг Дог в действии: https://www.youtube.com/watch?v=W1czBcnX1Ww

11

Запись реакции на революционный ход AlphaGo на 5-й линии: https://www.youtube.com/watch?v=JNrXgpSEEIE

12

Статья в New York Times о недавних достижениях в машинном переводе: http://www.nytimes.com/2016/12/14/magazine/the-great-aiawakening.html

GoogleTranslate доступен по ссылке: https://translate.google.com

13

Winograd Schema Challenge см.: http://tinyurl.com/winogradchallenge

14

Взрыв ракеты «Ариан5»: https://www.youtube.com/watch?v=qnHn8W1Em6E

15

Доклад комиссии по расследованию аварийного пуска «Ариан5»: http://tinyurl.com/arianeflop

16

Доклад по результатам первой фазы расследования неудачного пуска миссии NASA по изучению марсианского климата: http://tinyurl.com/marsflop

17

Наиболее подробный и связный отчет о том, что авария на старте миссии NASA «Маринер1» к Венере была вызвана одной-единственной ошибкой — математический символ, написанный рукой человека, был без верхнего подчеркивания: http://tinyurl.com/marinerflop

18

Подробное описание причин неудачи с советским зондом «Фобос1», направлявшимся к Марсу, можно найти на с. 308 этой книги: Wesley Huntress & Mikhail Marov. Soviet Robots in the Solar System, Praxis Publishing, 2011.

19

Как неверифицированный софт обошелся Knight Capital в 440 миллионов долларов всего за 45 минут см.: http://tinyurl.com/knightflop1 и http://tinyurl.com/knightflop2

20

Доклад правительства США о причинах резкого скачка индекса Доу-Джонса 6 мая 2010 года («Flash Crash»): http://tinyurl.com/flashcrashreport

21

3D-печать зданий (https://www.youtube.com/watch?v=SObzNdyRTBs), микромеханических устройств (http://tinyurl.com/tinyprinter) и много чего еще (https: //www.youtube.com/watch?v=xVU4FLrsPXs)

22

Глобальная карта fab-лабораторий: https://www.fablabs.io/labs/map

23

Новостная заметка об убийстве Роберта Уильямса промышленным роботом: http://tinyurl.com/williamsaccident

24

Новостная заметка об убийстве Кендзи Урада промышленным роботом: http://tinyurl.com/uradaaccident

25

Новостная заметка об убийстве рабочего с завода Фольксвагена промышленным роботом: http://tinyurl.com/baunatalaccident

26

Отчет правительства США о несчастных случаях на производстве со смертельным исходом: https://www.bls.gov/iif/cfoi_revised14.htm

27

Статистика ДТП со смертельным исходом: http://fortune.com/2017/02/15/traffic-deadliest-year/

28

Новостная заметка о первом ДТП со смертельным исходом с участием беспилотного автомобиля Tesla: http://tinyurl.com/teslacrashstory

Доклад правительства США: http://tinyurl.com/teslacrashreport

29

О крушении парома «Herald of Free Enterprize» см. кн.: R. B. Whittingham. The Blame Machine: Why Human Error Causes Accidents. Elsevier, 2004.

30

Документальный фильм о крушении французского самолета, выполнявшего рейс Air France 447: https://www.youtube.com/watch?v=So9iFv0NoZw

Официальное сообщение о крушении: http://tinyurl.com/af447report

Независимый анализ: http://tinyurl.com/thomsonarticle

31

Официальное сообщение о веерном отключении энергоснабжения в США и Канаде в 2003 году: http://tinyurl.com/uscanadablackout

32

Итоговый отчет президентской комиссии об инциденте в Три-Майл-Айленде: http://large.stanford.edu/courses/2017/ph241/blackwood1/docs/kemeny.pdf

33

Голландское исследование, показывающее, что искусственный интеллект не уступает человеческому в радиологической диагностике рака простаты с использованием магнитно-резонансной томографии: http://tinyurl.com/prostate-ai

34

Исследование, проведенное в Стэнфорде, показывающее, что искусственный интеллект позволяет лучше проводить диагностику рака легких, чем анализы врачей: http://tinyurl.com/lungcancer-ai

35

Результаты расследования несчастного случая лучевой терапии с использованием аппарата Therac-25: http://www.cse.msu.edu/~cse470/Public/Handouts/Therac/Therac_1.html

36

Доклад о повлекшей смерть ошибке в определении дозы облучения из-за вмешательства человека при лечении больного раком в Панаме: http://tinyurl.com/cobalt60accident

37

Исследование роботизированных хирургических операций с неблагоприятным исходом: https://arxiv.org/abs/1507.03518

38

Статья о смертельных исходах, вызванных ненадлежащим содержанием в больницах: http://tinyurl.com/medaccidents

39

Yahoo задал новый эталон «большого взлома», сообщив о краже трех миллиардов (!) учетных записей своих пользователей: https://www.nytimes.com/2017/10/03/technology/yahoo-hack-3-billion-users.html

40

Статья в New York Times о том, как убийца из Ку-клукс-клана был сначала оправдан, а потом осужден — много лет спустя: http://tinyurl.com/kkkacquittal

41

Исследование Данцигера с коллегами 2011 года (http://www.pnas.org/content/108/17/6889.full), доказывающее, что голодные судьи выносят более жестокие приговоры, было оспорено Вейншел-Марджел и Джоном Шапардом (http://www.pnas.org/content/108/42/E833.full), но Данцигер с коллегами привел новые свидетельства свой правоты: http://www.pnas.org/content/108/42/E834.full

42

Сообщение в Pro Publica о расовых предубеждениях программного обеспечения, предсказывающего криминальные рецидивы: http://tinyurl.com/robojudge

43

Использование функциональной магнитно-резонансной томографии и других методов сканирования мозга в качестве доказательства в судах крайне сомнительно из-за низкой достоверности самих этих методов, хотя многие исследовательские группы утверждают, что их точность превышает 90 %: http://journal.frontiersin.org/article/10.3389/fpsyg.2015.00709/full

44

Американская телекомпания PBS сняла фильм The Man Who Saved the World (Человек, который спас мир) об инциденте, в котором Василий Архипов предотвратил советский ядерный удар по Америке: https://www.youtube.com/watch?v=4VPY2SgyG5w

45

Рассказ о том, как Станислав Петров не поверил поступившим предупреждениям о готовящейся ядерной атаке Соединенных Штатов на СССР, лег в основу фильма The Man Who Saved the World (Человек, который спас мир — этот фильм не следует путать с другим, упомянутым в предыдущей сноске, с таким же названием). В 2008 году Петров был приглашен в штаб-квартиру ООН, где получил награду Ассоциации граждан мира: https://www.youtube.com/watch?v=IncSjwWQHMo

46

Открытое письмо от исследователей в области искусственного интеллекта и робототехники о запрете автономного оружия: http://futureoflife.org/open-letter-autonomous-weapons/

47

В американском правительстве, очевидно, есть люди, стремящиеся развязать гонку AI-вооружений: http://tinyurl.com/workquote

48

Исследование неравномерности распределения богатства в США с 1913 года: http://gabriel-zucman.eu/files/SaezZucman2015.pdf

49

Доклад Oxfam о глобальном неравенстве: http://tinyurl.com/oxfam2017

50

Данные взяты из: Facundo Alvaredo, Anthony B. Atkinson, Thomas Piketty, Emmanuel Saez, and Gabriel Zucman, The World Wealth and Income Database (http://www.wid.world, 31/10/2016).

51

Прекрасное обоснование гипотезы технологически обусловленного неравенства дано в: Erik Brynjolfsson & Andrew McAfee. The Second Machine Age: Work, Progress, and Prosperity in a Time of Brilliant Technologies. Norton, 2014.

52

Статья в The Atlantic о падающих заработках у представителей наименее образованных слоев общества: http://tinyurl.com/wagedrop

53

Презентация Джеймса Манийки, показывающая перераспределение доходов от труда к капиталу: http://futureoflife.org/data/PDF/james_manyika.pdf

54

Прогноз относительно автоматизации рабочих мест Оксфордского университета (http://tinyurl.com/automationoxford) и Мак-Кинзи (http://tinyurl.com/automationmckinsey)

55

Робот-повар: https://www.youtube.com/watch?v=fE6i2OO6Y6s

56

Марин Солачич исследовала эти возможности во время семинара 2016 года «Компьютеры пошли вразнос: прямое и косвенное воздействие достижений в развитии искусственного интеллекта на общество»: http://futureoflife.org/2016/05/06/computers-gone-wild/

57

Предложения Эндрю Макафи по созданию большего количества хороших рабочих мест: http://futureoflife.org/data/PDF/andrew_mcafee.pdf

58

В дополнение ко многим академическим статьям, доказывающим, что «на этот раз все будет по-другому», в этом ролике Люди на работу не требуются в сжатой форме проводится та же мысль: https://www.youtube.com/watch?v=7Pq-S557XQU

59

Бюро по трудовой статистике США: http://www.bls.gov/cps/cpsaat11.htm

60

Аргумент «на этот раз все будет по-другому» в пользу технологической безработицы: Federico Pistono. Robots Will Steal Your Job, but That’s OK, 2012, http://robotswillstealyourjob.com

61

Колебания численности популяции лошадей в США: http://tinyurl.com/horsedecline

62

Метаанализ, показывающий, как безработица отражается на благосостоянии: Maike Luhmann et al. Subjective well-being and adaptation to life events: a meta-analysis. Journal of personality and social psychology 102.3 (2012): 592, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3289759

63

Исследования причин, определяющих субъективное благосостояние:

Страницы: «« 12345678 »»

Читать бесплатно другие книги:

"На отбор вызывали?" – фантастический роман Ольги Коротаевой и Надежды Олешкевич, жанр любовное фэнт...
У судьбы своеобразное чувство юмора. И если она задумала сделать тебе подарок, то лучше подготовится...
Фанни Функе считает себя неудачницей: школу не окончила, с родителями поссорилась и фактически сбежа...
В середине 1980-х годов в Новочеркасске и его окрестностях происходит череда жутких убийств. Местная...
Терпеть не могу магов! Не сломают, так разрушат, не убьют, так упокоят. Бесит их маниакальное стремл...
Эта книга о горьком и смешном мире людей, которые живут, не замечая времени. Людей, которые не боятс...