Совместимость. Как контролировать искусственный интеллект Рассел Стюарт

Если задуматься об этом, не приходится удивляться, что приближение к универсальному ИИ происходит в проектах узкого ИИ, решающих конкретные задачи. Эти задачи дают исследователям какой-то материал для работы. (Поэтому никто не говорит: «Нужно просто смотреть в окно — так совершаются изобретения».) В то же время важно понимать, как далеко мы уже продвинулись и где проходят границы. Когда AlphaGo разбила Ли Седоля, а затем всех остальных лучших игроков в го, многие предположили, что, поскольку машина с нуля научилась побеждать человеческую расу в задаче, известной своей сложностью даже для высокоинтеллектуальных людей, это начало конца — главенствование над нами искусственного интеллекта лишь вопрос времени. Даже некоторые скептики могли сдаться, когда AlphaZero выиграла не только в го, но и в шахматы, и в сёги. Однако у AlphaZero жесткие ограничения: она работает только в классе дискретных, наблюдаемых игр для двух игроков с известными правилами. Этот подход попросту совершенно не сработает для вождения, преподавания, руководства правительством или захвата мира.

Вследствие четких ограничений возможностей машины, когда люди говорят, что «машинный IQ» быстро растет и грозит превзойти человеческий IQ, это нонсенс. Концепция IQ имеет смысл применительно к человеку, потому что способности людей обычно коррелируют в широком спектре умственной деятельности. Пытаться оценить IQ машины — все равно что пытаться заставить животное участвовать в человеческом десятиборье. Действительно, лошади могут быстро бегать и высоко прыгать, но сталкиваются с большими трудностями в прыжках с шестом и метании диска.

Цели и стандартная модель

Если рассматривать интеллектуального агента снаружи, то имеет значение только последовательность действий, которую он создает, исходя из получаемого им потока входных данных. При рассмотрении изнутри действия должны выбираться программой, заложенной в агента. Люди от рождения имеют, скажем так, одну агентскую программу, которая со временем заставляет их действовать с разумной мерой успешности при выполнении громадного круга задач. На сегодняшний день это не относится к ИИ: мы не знаем, как построить одну универсальную программу ИИ, которая делала бы все, и вместо этого создаем разные типы агентских программ для разных типов задач. Мне придется дать хотя бы минимальные объяснения того, как работают разные агентские программы. Более подробные объяснения вы найдете в приложениях в конце книги, адресованных тем, кому это будет интересно. (Ссылки на конкретные приложения даются верхними индексами, например здесьА и здесьГ.) В центре внимания вопрос о том, как стандартная модель реализуется в этих разных типах агентов — иными словами, как ставится задача и как она транслируется агенту.

Самый простой способ сообщить о поставленной задаче — в форме цели. Когда вы садитесь в свою машину с автопилотом и нажимаете иконку «дом» на экране, бортовой компьютер принимает это как поставленную задачу, переходит к плану и осуществляет движение по маршруту. Состояние мира или соответствует цели (да, я дома), или не соответствует (нет, я не живу в аэропорту Сан-Франциско). В классический период исследования ИИ, до 1980-х гг., когда неопределенность стала главной проблемой, большинство исследований исходило из восприятия мира как полностью наблюдаемого и детерминистского, и цели имели смысл в качестве способа постановки задачи. Иногда имеется также функция издержек для оценки решений: оптимальным является то решение, которое минимизирует совокупные издержки при достижении цели. В случае автомобиля она может быть встроенной — например, издержки маршрута есть некая фиксированная комбинация времени и потребления топлива, — или же у человека может быть опция установления соотношения между этими двумя параметрами.

Ключом к выполнению таких задач является способность «мысленно моделировать» эффекты возможных действий, которая иногда называется опережающим поиском. Ваша машина с автопилотом имеет внутреннюю карту и знает, что если ехать на восток от Сан-Франциско по Бэй-бридж, то попадешь в Окленд. Алгоритмы, восходящие к 1960-м гг.[60], находят оптимальные маршруты, заглядывая вперед и ведя поиск среди многих возможных последовательностей действийА. Эти алгоритмы являются повсеместным элементом современной инфраструктуры: они дают нам не только указания, куда ехать, но и решения в области авиапутешествий, роботизированной сборки, организации строительства и логистики в сфере доставки. С некоторыми модификациями по нейтрализации нежелательного поведения противников та же идея опережающего изучения используется в играх, таких как крестики-нолики, шахматы и го, целью которых является выигрыш в соответствии с конкретным определением этого понятия в данной игре.

Алгоритмы опережающего поиска чрезвычайно эффективны для своих специфических задач, но не отличаются гибкостью. Например, AlphaGo «знает» правила го, но только в том смысле, что имеет две подпрограммы, написанные на традиционном языке программирования наподобие С++: одна подпрограмма генерирует все возможные допустимые шаги, другая кодирует цель, определяя, является ли данное состояние выигрышем или проигрышем. Чтобы AlphaGo сыграла в другую игру, кто-то должен переписать ее код на С++. Более того, если вы задаете новую цель, скажем, посетить экзопланету на орбите Проксимы Центавра, она станет исследовать миллиарды последовательностей ходов в го в бесплодной попытке найти ту последовательность, которая приведет к достижению цели. Она не может заглянуть внутрь кода на С++ и понять очевидное: никакая последовательность шагов го не доставит вас на Проксиму Центавра. Знание AlphaGo, в сущности, заперто внутри «черного ящика».

В 1958 г., через два года после летнего собрания в Дартмуте, на котором и появилась сфера разработки ИИ, Джон Маккарти предложил намного более универсальный подход, открывающий «черный ящик»: написание разумных программ общего назначения, способных усваивать знание по любой теме и мыслить на его основе, чтобы ответить на любой вопрос, имеющий ответ[61]. В особенности полезным здесь окажется практическое рассуждение того типа, что предложил Аристотель: «Выполнение действий А, Б, В… достигнет цели Г». Цель может быть какой угодно: убедиться, что в доме чисто, до того, как я там окажусь, выиграть в шахматы, не потеряв ни одного своего коня, снизить мои налоги на 50 %, посетить Проксиму Центавра и т. д. Новый класс программ, предложенный Маккарти, скоро получил название экспертной системы[62].

Чтобы создание экспертной системы стало возможным, нужно ответить на два вопроса. Во-первых, как хранить знание в компьютере? Во-вторых, как добиться, чтобы компьютер правильно мыслил на основе этого знания, делая новые выводы? К счастью, древнегреческие философы, особенно Аристотель, дали базовые ответы на эти вопросы задолго до появления компьютеров. В действительности кажется вполне вероятным, что если бы Аристотель получил доступ к компьютеру (и электроэнергии, разумеется), то стал бы исследователем ИИ. Ответ Аристотеля, заново данный Маккарти, состоял в использовании формальной логикиБ как основы знания и рассуждения.

Для компьютерной науки по-настоящему важны два типа логики. Первая, так называемая пропозиционная, или Булева логика, была известна грекам, а также древнекитайским и индийским философам. Это тот же язык, что использует логические соединения «и», «нет» и т. д., составляющие структуру компьютерных чипов. В самом буквальном смысле современный микропроцессор — это просто очень большое математическое выражение, в сотни миллионов страниц, написанное на языке пропозиционной логики. Второй тип логики, тот, что Маккарти предложил для ИИ, называется{2} логикой первого порядкаБ. Язык логики первого порядка намного более выразителен, чем логики пропозиционной; это означает, что есть вещи, которые очень легко выразить в логике первого порядка, но чрезвычайно трудно или невозможно — в пропозиционной. Например, правила го занимают около страницы в логике первого порядка, но миллионы страниц в пропозиционной логике. Также легко выражается знание о шахматах, британском гражданстве, налогообложении, купле-продаже, движении, живописи, кулинарии и многих других сторонах нашего практического мира.

В принципе, способность мыслить в логике первого порядка позволяет нам далеко продвинуться на пути к универсальному интеллекту. В 1930 г. блестящий австрийский логик Курт Гёдель опубликовал знаменитую теорему о полноте[63], доказывающую возможность существования алгоритма со следующим свойством[64]:

Для любого собрания знания и любого вопроса, выразимого в логике первого порядка, алгоритм даст нам ответ на этот вопрос, если тот существует.

Это, вообще говоря, неслыханная гарантия. Она означает, к примеру, что мы можем объяснить системе правила игры в го и она ответит нам (если мы подождем достаточно долго), ведет ли этот дебютный ход к победе в партии. Мы можем сообщить ей факты о местной географии, и она укажет нам путь в аэропорт. Мы можем предоставить ей факты о геометрии, движении и столовых приборах, и она укажет роботу, как накрыть стол к ужину. В общем, получив любую достижимую цель и достаточное знание о последствиях своих действий, агент может использовать алгоритм для создания плана, который затем выполнит, чтобы достичь цели.

Следует сказать, что Гёдель не предложил сам алгоритм — он только доказал его существование. В начале 1960-х гг. стали появляться реальные алгоритмы логического вывода[65], и казалось, что мечта Маккарти об универсальных интеллектуальных системах на основе логики вот-вот сбудется. Первый в мире проект создания крупного мобильного робота, стэнфордский «Шеки», был основан на логическом рассуждении (см. рис. 4). Шеки получал цель от разработчиков-людей, с помощью алгоритмов визуализации создавал логические предположения, описывающие текущую ситуацию, выводил логическое умозаключение, чтобы построить план, гарантированно приводящий к цели, а затем выполнял этот план. Шеки был «живым» доказательством того, что аристотелевская концепция человеческого мыслительного процесса и действия по крайней мере частично верна.

К сожалению, Аристотель (и Маккарти) были правы далеко не полностью. Главной проблемой является невежество — разумеется, не Аристотеля или Маккарти, а всех людей и машин, настоящих и будущих. Лишь в очень немногом из нашего знания мы абсолютно уверены. Особенно важно, что мы очень мало знаем о будущем. Невежество — прямо-таки непреодолимая проблема для чисто логической системы. Если я спрошу: «Приеду ли я вовремя в аэропорт, если выйду за три часа до вылета?» или «Смогу ли я обзавестись домом, купив выигрышный лотерейный билет и приобретя дом на выигрыш?» — правильным ответом будет: «Не знаю». Дело в том, что на любой из вопросов с точки зрения логики одинаково возможны ответы «да» и «нет». На практике невозможно быть совершенно уверенным в ответе на любой эмпирический вопрос, если ответ еще не известен[66]. К счастью, определенность совершенно не обязательна для того, чтобы действовать: нам достаточно знать, какое действие является наилучшим, а не какое обречено на успех.

В силу неопределенности «заложенное в машину назначение» не может, в общем, быть точно известной целью, которой следует добиваться любой ценой. Больше не существует такой вещи, как «последовательность действий, достигающая цели», поскольку любая последовательность действий будет иметь множественные результаты, часть которых не достигнет цели. Вероятность успеха действительно важна: выехав в аэропорт за три часа до вылета, вы, возможно, не опоздаете на самолет, а купив лотерейный билет, возможно, выиграете достаточно, чтобы купить новый дом, но это очень разные возможно. Вы не можете гарантировать достижение цели, даже выбирая план, максимизирующий вероятность ее достижения. План с наибольшей вероятностью поспеть на рейс может предполагать выезд из дома за несколько дней, организацию вооруженного эскорта, готовность разнообразных альтернативных средств транспорта на случай, если другие сломаются, и т. д. Неизбежно приходится принимать в расчет относительную желательность каждого исхода, а также его вероятность.

Таким образом, вместо цели мы можем использовать функцию полезности для описания желательности разных исходов или последовательностей состояний. Часто полезность последовательности состояний выражается в сумме вознаграждений за каждое состояние в последовательности. Если цель определена через функцию полезности или вознаграждения, машина ориентируется на поведение, максимизирующее ожидаемую полезность или ожидаемую сумму вознаграждений, усредненных по возможным результатам с весами-вероятностями. Современный ИИ отчасти возрождает мечту Маккарти, только с полезностями и вероятностями вместо целей и логики.

Пьер-Симон Лаплас, великий французский математик, писал в 1814 г.: «Теория вероятности есть обычный здравый смысл, сведенный к расчетам»[67]. Однако только в 1980-х гг. были разработаны практический формальный язык и алгоритмы формирования рассуждений для вероятностного знания. Это был язык Байесовых сетейВ, предложенный Джудой Перлом. Попросту говоря, Байесовы сети — вероятностные родственники пропозиционной логики. Они также являются вероятностным подобием логики первого порядка, в том числе Байесовой логики[68] и большого разнообразия языков вероятностного программирования.

Байесовы сети и Байесова логика названы в честь преподобного Томаса Байеса, британского священника, наследие которого для современной мысли, ныне известное как теорема Байеса, было опубликовано в 1763 г., вскоре после его смерти, его другом Ричардом Прайсом[69]. В своем современном виде, предложенном Лапласом, теорема очень простым способом описывает то, как априорная вероятность — первоначальная степень уверенности в системе возможных гипотез — становится апостериорной вероятностью в результате наблюдения некоторых подтверждающих свидетельств. По мере появления новых свидетельств апостериорность становится новой априорностью, и процесс Байесова обновления повторяется бесконечно. Это фундаментальный процесс, и современное понятие рациональности как максимизации ожидаемой полезности иногда называют Байесовой рациональностью. Предполагается, что рациональный агент имеет доступ к распределению апостериорной вероятности в возможных текущих состояниях мира, а также в гипотезах о будущем с опорой на весь свой прошлый опыт.

Специалисты в области исследования операций, теории управления и ИИ также разработали разнообразные алгоритмы принятия решений в условиях неопределенности, часть которых восходит к 1950-м гг. Эти так называемые алгоритмы «динамического программирования» являются вероятностными родственниками опережающего поиска и планирования и могут генерировать оптимальное или близкое к оптимальному поведение в отношении всевозможных практических задач в финансах, логистике, транспорте и т. д., в которых неопределенность играет существенную рольВ. Задача состоит в том, чтобы ввести их в машины в форме функции вознаграждения, а на выходе получить политику, определяемую как действие в каждом возможном состоянии, в которое агент может себя ввести.

В случае таких сложных задач, как нарды и го, где число состояний колоссально, а вознаграждение появляется лишь в конце игры, опережающий поиск не работает. Вместо него исследователи ИИ разработали метод так называемого обучения с подкреплением. Алгоритмы обучения с подкреплением учатся на непосредственном опыте получения вознаграждающих сигналов из среды, во многом так же, как младенец учится стоять, получая позитивное вознаграждение за нахождение в вертикальном положении и негативное за падение. Как и в отношении алгоритмов динамического программирования, задачей, вводимой в алгоритм обучения с подкреплением, является функция вознаграждения, и алгоритм изучает оценочный модуль ценности состояний (иногда ценности действий). Оценочный модуль может сочетаться с относительно неточным предварительным поиском для генерирования высококомпетентного поведения.

Первой успешной системой обучения с подкреплением являлась шахматная программа Артура Самуэля, ставшая сенсацией после демонстрации по телевидению в 1956 г. Программа училась фактически с нуля, играя сама с собой и отмечая вознаграждения за победы, а также оценивая свои поражения[70]. В 1992 г. Джерри Тезауро применил ту же идею к нардам, достигнув игры уровня чемпиона мира после 1 500 000 матчей[71]. С 2016 г. AlphaGo команды DeepMind и ее наследницы применяли обучение с подкреплением и игру с собой, чтобы научиться побеждать лучших игроков в го, шахматы и сёги.

Алгоритмы обучения с подкреплением могут также научиться выбирать действия на основе восприятия первичных входных данных. Например, разработанная DeepMind система DQN научилась совершенно с нуля играть в 49 видеоигр Atari, в том числе Pong, Freeway и Space Invaders[72]. Она пользовалась только пикселями экрана в качестве входных данных и счетом в игре в качестве вознаграждения. В большинстве игр DQN научилась играть лучше профессиональных игроков, несмотря на то что не имела предшествующего понимания времени, пространства, объектов, движения, скорости или стрельбы. Довольно трудно выяснить, что же в действительности делает DQN, помимо того, что она выигрывает.

Если бы новорожденный научился играть в десятки видеоигр на сверхчеловеческом уровне в первый день жизни или стал чемпионом мира по го, шахматам и сёги, мы заподозрили бы бесовскую одержимость или инопланетное вмешательство. Вспомним, однако, что все эти задачи намного проще реального мира: они полностью наблюдаемы, предполагают короткие временные горизонты, имеют относительно мало статичных пространств и простые предсказуемые правила. Отмена любого из этих условий означает, что стандартные методы не сработают.

Напротив, сегодняшние исследования нацелены именно на выход за рамки стандартных методов, чтобы системы ИИ могли действовать в более широких классах среды. В тот день, когда я писал предыдущий абзац, например, OpenAI объявила, что ее команда из пяти программ ИИ научилась обыгрывать команды опытных игроков в Dota 2. (Для непосвященных, к которым отношусь и я: Dota 2 — обновленная версия «Обороны древних», стратегия в реальном времени из семейства игр Warcraft. На сегодняшний день это самый доходный и конкурентный киберспорт с призами в миллионы долларов.) Dota 2 предполагает коммуникацию, работу в команде и неограниченные время и пространство. Игры длятся десятки тысяч временных шагов, и определенный уровень иерархической организации поведения представляется принципиально важным. Билл Гейтс описал эту новость как «колоссальную веху в создании искусственного интеллекта»[73]. Через несколько месяцев обновленная версия программы победила команду лучших в мире профессиональных игроков в Dota 2[74].

Такие игры, как го и Dota 2, являются отличным способом протестировать методы обучения с подкреплением, поскольку функция вознаграждения заложена в правила игры. Однако реальный мир не столь удобен, и в десятках случаев ошибочное определение вознаграждения ведет к странному и неожиданному поведению[75]. Некоторые ошибки безвредны, например в случае системы эволюционного моделирования, которая должна была эволюционным путем создать быстро движущиеся существа, но на деле сотворила невероятно долговязые существа, которые быстро двигались за счет того, что падали[76]. Есть и менее безобидные ошибки, скажем, оптимизаторы переходов в социальных сетях, превращающие наш мир в кошмар.

Последняя категория агентов, которую я рассмотрю, является самой простой. Это программы, напрямую связывающие восприятие с действием без какого-либо промежуточного обдумывания или мыслительного процесса. В сфере ИИ программа такого типа называется рефлекторным агентом, что отсылает нас к нервным рефлексам нижнего уровня у человека и животных, не связанных мышлением[77]. Например, рефлекс моргания у человека соединяет выходные сигналы низкоуровневых цепей обработки данных зрительной системы непосредственно с двигательной зоной, управляющей веками, так что любая быстро появляющаяся область в поле зрения вызывает сильное моргание. Вы можете проверить это прямо сейчас: попробуйте ткнуть себя (не слишком сильно) пальцем в глаз. Эту рефлекторную систему можно рассматривать как простое «правило» в следующем виде:

if <быстро появляющаяся область в поле зрения> then <моргание>.

Мигательный рефлекс «не знает, что делает»: задача (защитить глазное яблоко от инородных предметов) нигде не представлена; знание (что быстро движущаяся область соответствует предмету, приближающемуся к глазу, и что предмет, приближающийся к глазу, может его повредить) также нигде не представлено. Поэтому, когда нерефлекторная часть вас хочет закапать лекарство в глаза, рефлекторная часть все равно моргает.

Другой всем известный рефлекс — экстренное торможение, когда впереди идущая машина неожиданно останавливается или на дорогу шагает пешеход. Быстро решить, нужно ли тормозить, нелегко: в 2018 г., после того как экспериментальный автомобиль на автопилоте убил пешехода, компания Uber объяснила, что «маневр экстренного торможения запрещен, когда транспортное средство находится под компьютерным управлением, во избежание возможного неуправляемого поведения транспортного средства»[78]. Таким образом, задача разработчика очевидна — не убивать пешеходов, — но политика агента (если он активирован) некорректно ее реализует. Опять-таки задача в агенте не представлена: никакое автономное транспортное средство сегодня не знает, что людям не нравится, когда их убивают.

Рефлекторные действия участвуют и в таких более рутинных задачах, как соблюдение рядности: если автомобиль хотя бы минимально отклонится от идеального положения в ряду, простая система контроля с обратной связью может повернуть рулевое колесо в противоположном направлении и исправить отклонение. Величина поворота будет зависеть от того, насколько быстро машина смещается в сторону. Контрольные системы этого типа обычно разрабатываются так, чтобы минимизировать квадрат бокового отклонения, нарастающего со временем. Разработчик создает закон управления с обратной связью, по которому при определенных условиях в отношении скорости и кривизны дороги приближенно реализуется эта минимизация[79]. Аналогичная система действует всякий раз, когда вы идете и затем останавливаетесь; если бы она прекратила работать, вы тут же упали бы. Как и в случае мигательного рефлекса, довольно трудно отключить этот механизм и позволить себе упасть.

Итак, рефлекторные агенты выполняют задачу разработчика, но не знают, в чем она заключается и почему они действуют определенным образом. Из этого следует, что они не могут в действительности принимать решения сами; кто-то другой, обычно разработчик или процесс биологической эволюции, должен все решить заранее. Очень трудно создать хорошего рефлекторного агента путем обычного программирования, за исключением очень простых задач наподобие игры в крестики-нолики или экстренного торможения. Даже в этих случаях рефлекторный агент крайне негибок и не может изменить свое поведение, если обстоятельства указывают, что реализуемая политика уже не годится.

Одним из способов создания более мощных рефлекторных агентов является процесс обучения на примерахГ. Вместо того чтобы устанавливать правила поведения или задавать функцию вознаграждения либо цель, человек может дать примеры решения проблем и верное решение для каждого случая. Например, мы можем создать агента-переводчика с французского языка на английский, предоставив примеры предложений на французском языке с правильным переводом на английский. (К счастью, парламенты Канады и ЕС ежегодно создают миллионы таких примеров.) Затем алгоритм контролируемого обучения обрабатывает примеры и создает комплексное правило, которое берет любое предложение на французском языке в качестве входа и делает перевод на английский язык. Нынешний чемпион среди обучающихся алгоритмов машинного перевода является разновидностью так называемого глубокого обучения и создает правило в виде искусственной нейронной сети с сотнями слоев и миллионами параметровГ. Другие алгоритмы глубокого обучения оказались очень хороши для классифицирования объектов в изображениях и распознавания слов в речевом сигнале. Машинный перевод, распознавание речи и визуальных объектов — три самые важные подобласти в сфере ИИ, поэтому перспективы глубокого обучения вызывают такой энтузиазм.

Можно почти бесконечно спорить о том, приведет ли глубокое обучение напрямую к ИИ человеческого уровня. По моему мнению, которое я прокомментирую в дальнейшем, оно далеко отстает от необходимогоГ, но пока давайте сосредоточимся на том, как эти методы вписываются в стандартную модель ИИ, в которой алгоритм оптимизирует фиксированную задачу. Для глубокого обучения, как и для любого контролируемого обучающегося алгоритма, «вводимая в машину задача» обычно состоит в максимизации предсказательной точности, или, что то же самое, минимизации ошибок. Это во многом кажется очевидным, но в действительности имеет два варианта понимания, в зависимости от того, какую роль выученное правило должно играть во всей системе. Первая роль — это восприятие: сеть обрабатывает сенсорный входной сигнал и выдает информацию остальной системе в форме вероятностных оценок воспринимаемого. Если это алгоритм распознавания объектов, он может сказать: «70 % вероятность, что это норфолкский терьер, 30 % вероятность, что это норвичский терьер»[80]. Остальная система решает, какое внешнее действие предпринять на основе этой информации. Такая задача, связанная с восприятием, беспроблемна в следующем смысле: даже «безопасная» сверхинтеллектуальная ИИ-система, в противоположность «небезопасной», основанной на стандартной модели, должна иметь как можно более точную и отлаженную систему восприятия.

Проблема возникает, когда мы переходим от восприятия к принятию решений. Например, обученная сеть распознавания объектов может автоматически присваивать подписи изображениям на сайте или в учетной записи в социальной сети. Присваивание подписей — это действие, имеющее последствия. Каждое такое действие требует принятия реального решения в плане классификации, и, если нет гарантий, что каждое решение совершенно, человек-разработчик должен задать функцию потерь, определяющую издержки неверного классифицирования объекта типа А как объект типа Б. Именно так у Google возникла приснопамятная проблема с гориллами. В 2015 г. разработчик ПО Джеки Алсине пожаловался в «Твиттер», что сервис аннотирования фотографий Google Photos обозначил его и его друга как горилл[81]. Хотя непонятно, как именно произошла эта ошибка, почти наверняка алгоритм машинного обучения Google был разработан под минимизацию фиксированной, строго определенной функции потерь — более того, он приписывал всем ошибкам одну и ту же стоимость. Иными словами, он предполагал, что стоимость ошибочного принятия человека за гориллу равна стоимости ошибочного принятия норфолкского терьера за норвичского. Очевидно, это неадекватная функция потери для Google (или владельцев компании), что продемонстрировала возникшая проблема в сфере отношений с общественностью.

Поскольку возможных подписей к изображениям тысячи, количество потенциальных издержек, связанных с ошибочным принятием одной категории за другую, исчисляется миллионами. Несмотря на все усилия, Google обнаружила, что очень трудно заранее задать все эти параметры. Вместо этого следовало признать неопределенность в отношении истинной стоимости ошибочной классификации и создать обучающийся и классифицирующий алгоритм с достаточной чувствительностью к издержкам и связанной с ними неопределенности. Такой алгоритм мог бы иногда спрашивать у разработчиков Google что-нибудь вроде: «Что хуже: ошибочно принять собаку за кошку или человека за животное?» Кроме того, при наличии существенной неопределенности в отношении стоимости ошибочной классификации алгоритм мог бы отказываться подписывать некоторые изображения.

К началу 2018 г. сообщалось, что Google Photos действительно отказывается классифицировать фотографию гориллы. Получив очень четкое изображение гориллы с двумя детенышами, сервис отвечает: «Гм-м… пока не вижу это достаточно ясно»[82].

Я не собираюсь утверждать, что адаптация стандартной модели ИИ была неудачным выбором на тот момент. Очень много сил вложено в разработку различных реализаций этой модели в логических, вероятностных и обучающихся системах. Многие системы стали весьма полезны, и, как мы увидим в следующей главе, нас ждут еще более значимые достижения. В то же время мы не можем больше полагаться на обычную практику высмеивания крупных промахов целевой функции. Все более интеллектуальные машины, оказывающие все более глобальное воздействие, не позволят нам этой роскоши.

Глава 3. Как может развиваться ИИ?

Ближайшее будущее

3 мая 1997 г. начался матч между Deep Blue, шахматным компьютером IBM, и Гарри Каспаровым, чемпионом мира и, вероятно, лучшим шахматистом в истории. Newsweek назвала матч «Последним рубежом человеческого мозга». 11 мая при промежуточной ничьей 22 Deep Blue обыграл Каспарова в финальной партии. СМИ неистовствали. Рыночная капитализация IBM мгновенно выросла на $18 млрд. По общему мнению, ИИ совершил колоссальный прорыв.

С точки зрения исследователей ИИ, этот матч никоим образом не был прорывом. Победа Deep Blue, какой бы впечатляющей она ни была, всего лишь продолжила тенденцию, наблюдающуюся несколько десятилетий. Базовую концепцию шахматных алгоритмов разработал в 1950 г. Клод Шеннон[83], основные усовершенствования были сделаны в начале 1960-х гг. После этого шахматный рейтинг лучших программ неуклонно рос главным образом благодаря появлению все более быстрых компьютеров, позволявших программам дальше заглядывать вперед. В 1994 г.[84] мы с Питером Норвигом составили численные рейтинги лучших шахматных программ начиная с 1965 г. по шкале, где рейтинг Каспарова составлял 2805. Рейтинги начинались от 1400 в 1965 г. и улучшались почти по идеальной прямой в течение 30 лет. Экстраполяция линии за 1994 г. предсказывала, что компьютеры смогут обыграть Каспарова в 1997 г., — что и случилось.

Итак, с точки зрения исследователей ИИ настоящие прорывы имели место за 30 или 40 лет до того, как Deep Blue захватил внимание общественности. Аналогично глубокие сверточные сети с полностью разработанным математическим аппаратом появились более чем за 20 лет до того, как попали на первые полосы.

Представление о прорывах в области ИИ, складывающееся у общественности из сообщений в СМИ, — ошеломляющие победы над людьми, роботы, получающие гражданство Саудовской Аравии, и т. д. — имеет очень слабое отношение к тому, что реально происходит в исследовательских лабораториях. Там много думают, обсуждают и пишут математические формулы. Идеи постоянно предлагаются, отбрасываются и открываются заново. Хорошая идея — подлинный прорыв — часто остается незамеченной в свое время, лишь впоследствии приходит понимание, что она закладывала фундамент для существенного развития ИИ, например, когда кому-то она приходит в более подходящее время. Идеи апробируются сначала на простых задачах, чтобы показать, что базовые догадки верны затем на более сложных, в качестве проверки того, насколько хорошо они с ними справляются. Часто оказывается, что идея сама по себе не способна значительно увеличить возможности ИИ, и приходится ждать появления другой идеи, в сочетании с которой первая идея оказывается ценной.

Вся эта деятельность совершенно незаметна снаружи. В мире за стенами лабораторий на ИИ обращают внимание, только когда постепенное накопление идей и свидетельств их годности преодолевает пороговое значение: в тот момент, когда становится выгодно вкладывать деньги и усилия разработчиков в создание нового коммерческого продукта или впечатляющую демонстрацию. Тогда СМИ объявляют, что случился прорыв.

Таким образом, можно ожидать, что многие другие идеи, осваиваемые в исследовательских лабораториях мира, в следующие несколько лет преодолеют порог коммерческой целесообразности. Это будет происходить все чаще по мере того, как растет уровень инвестиций, а мир все охотнее воспринимает приложения ИИ. В этой главе приводятся примеры того, с чем мы можем столкнуться в скором времени.

Попутно я буду указывать на определенные недостатки этих технологических достижений. Вероятно, вы сумеете найти многие другие, но не беспокойтесь, я обращусь к ним в следующей главе.

Экосистема ИИ

Сначала область, в которой действовало большинство компьютеров, была, в сущности, «безвидна и пуста»: входные данные поступали исключительно с перфокарт, а единственным методом вывода было распечатывание символов на строчном принтере. Вероятно, поэтому большинство исследователей считали интеллектуальные машины устройствами для ответов на вопросы. Восприятие машин как агентов, ориентирующихся и действующих в окружающей среде, распространилось не раньше 1980-х гг.

Появление всемирной сети интернет в 1990-х гг. открыло целую вселенную для интеллектуальных машин. Появилось новое слово, softbot, обозначающее программных «роботов», действующих целиком и полностью в программной среде, такой как интернет. Предметом восприятия «софтботов», которых впоследствии стали называть просто ботами, являются интернет-страницы, их действия — выдача последовательностей символов, интернет-адресов и т. д.

Во время бума «доткомов» (19972000 гг.) компании — разработчики ИИ множились как грибы после дождя, создавая средства поиска и электронной торговли, в том числе анализ соединений, системы рекомендаций, системы репутаций, службы сравнения цен и категоризацию товаров.

В начале 2000-х гг. повсеместное распространение мобильных телефонов с микрофонами, камерами, акселерометрами и GPS впервые дало людям доступ к ИИ-системам в повседневной жизни; «умные колонки», например Amazon Echo, Google Home и Apple HomePod, продолжили этот процесс.

Около 2008 г. количество объектов, подключенных к интернету, превысило число людей, имеющих к нему доступ, — некоторые называют этот переход началом Интернета вещей (IoT). В число этих «вещей» входят автомобили, бытовые приборы, уличные светильники, торговые автоматы, термостаты, квадрокоптеры, видеокамеры, датчики состояния окружающей среды, роботы и всевозможные материальные предметы, как в процессе производства, так и в системах дистрибуции и розничной торговли. Это значительно увеличивает доступ ИИ-систем к сенсорным и управляющим сигналам реального мира.

Наконец, совершенствование восприятия позволило роботам с ИИ выйти за пределы фабрик, где они зависели от жестко ограниченного расположения объектов, в реальный, неструктурированный, хаотичный мир, где их камерам есть на что посмотреть.

Самоуправляющиеся автомобили

В конце 1950-х гг. Джон Маккарти мечтал, что однажды его доставит в аэропорт автоматизированное транспортное средство. В 1987 г. Эрнст Дикманнс продемонстрировал фургон «мерседес» с автопилотом на автобане в Германии; он был способен держать ряд, следовать за другой машиной, перестраиваться и совершать обгон[85]. Через 30 с лишним лет у нас все еще нет полностью автономного автомобиля, но мы к нему намного ближе. Центр разработки давно переместился из научно-исследовательских лабораторий в крупные корпорации. На 2019 г. лучшие тестовые автомобили «намотали» миллионы километров езды по общественным дорогам (и миллиарды километров в дорожных симуляторах) без серьезных инцидентов[86]. К сожалению, некоторые автономные и полуавтономные транспортные средства убили несколько человек[87].

Почему потребовалось так много времени для достижения безопасной автономной езды? Во-первых, из-за очень высоких требований к результативности. Водители в Соединенных Штатах попадают примерно в одну аварию с человеческими жертвами на 160 млн км пути, что высоко поднимает планку. Чтобы автономные транспортные средства были приняты в эксплуатацию, они должны показывать намного лучшие результаты: скажем, одна авария со смертельным исходом на 1 млрд км, или 25 000 лет безаварийной езды по 40 часов в неделю. Вторая причина заключается в том, что предполагаемый обходной вариант — передача управления человеку, если машина дезориентирована или выходит за рамки безопасных условий эксплуатации, — попросту не работает. Когда машина едет сама, люди отвлекаются от дорожной ситуации и не могут включиться в нее достаточно быстро, чтобы успеть взять управление на себя. Более того, попутчики и пассажиры такси на заднем сиденье вообще не имеют возможности подключиться к управлению машиной, если что-то пошло не так.

Текущие проекты ставят целью достижение автономии четвертого уровня по классификации Общества автомобильных инженеров[88]. Это означает, что транспортное средство должно быть в любой момент способно двигаться самостоятельно или безопасно остановиться, с учетом географических ограничений и погодных условий. Поскольку погода и дорожная ситуация меняются и могут сложиться необычные условия, с которыми автомобиль уровня 4 не сумеет справиться, человек должен находиться в машине наготове при необходимости взять управление на себя. (Уровень 5, неограниченная автономность, не требует водителя, но еще более труднодостижим.) Автономия уровня 4 далеко выходит за рамки простых рефлекторных задач на соблюдение дорожной разметки и избегание препятствий. Транспортное средство должно, опираясь как на текущие, так и на прошлые наблюдения, оценивать целевые и вероятные будущие траектории движения всех релевантных объектов, в том числе таких, которые могут быть невидимыми. Далее, с помощью опережающего поиска автомобиль должен найти траекторию, оптимизирующую определенную комбинацию безопасности и движения. Некоторые проекты используют более прямые подходы, основанные на обучении с подкреплением (главным образом, разумеется, в симуляторах) и на контролируемом обучении, для которого используются видеозаписи сотен водителей, но не похоже, чтобы эти подходы достигли требуемого уровня безопасности.

Потенциальный выигрыш от полностью автономных транспортных средств безграничен. Каждый год 1,2 млн человек в мире гибнут в автомобильных авариях, десятки миллионов получают увечья. Разумной целью для автономных транспортных средств было бы сокращение этих показателей в десять раз. Некоторые аналитики также предсказывают огромное снижение транспортных расходов, парковочных структур, пробок и загрязнения. Крупные города перейдут от личных автомашин и больших автобусов к вездесущим шеринговым автономным электромобилям, осуществляющим обслуживание от двери до двери и обеспечивающим высокоскоростные общественные перевозки между хабами[89]. При затратах, нижний предел которых оценивается в три цента на пассажиро-милю{3}, большинство городов, вероятно, согласились бы предоставлять это сервис бесплатно — попутно обрушивая на ездоков бесконечные потоки рекламы.

Конечно, чтобы воспользоваться всеми этими благами, индустрия должна обратить внимание на риски. Если случается слишком много смертей по вине плохо сконструированных экспериментальных авто, регламентирующие органы могут запретить их запланированное внедрение или ввести экстремально строгие нормы, недостижимые в течение десятилетий[90]. Разумеется, и люди могут решить не покупать автономные транспортные средства и не ездить на них, если те не докажут, что безопасны. Опрос 2018 г. показал существенное снижение уровня доверия потребителей к технологии автономных автомобилей по сравнению в 2016 г.[91] Даже если технология окажется успешной, переход к повсеместной автономности создаст очень странную ситуацию: водительские навыки людей могут атрофироваться, а «безрассудный антисоциальный акт» личного управления автомобилем, возможно, вообще окажется под запретом.

Интеллектуальные личные помощники

Большинство читателей на данный момент уже знакомы с неинтеллектуальным личным помощником — умной Bluetooth-колонкой на телевизоре, подчиняющейся командам, или виртуальным собеседником из смартфона, который на слова «вызови мне неотложку!» отвечает «о’кей, начинаю дозваниваться в службу экстренной медицинской помощи». Подобные системы являются, по сути, голосовыми интерфейсами к приложениям и поисковым машинам; они основаны по большей части на записанных заранее шаблонах «стимул — отклик», то есть на подходе, восходящем еще к системе «Элиза» середины 1960-х гг.[92]

Эти ранние системы имеют недостатки трех типов, связанные с доступом, контентом и контекстом. Недостатки доступа означают, что им не хватает сенсорной осведомленности о происходящем — например, они могут услышать, что говорит пользователь, но не видят, к кому тот обращается. Недостатки контента означают, что они просто не способны понять смысл того, что пользователь говорит или пишет, даже если имеют доступ к этим данным. В силу недостатков контекста у них отсутствует способность отслеживать и осмыслять цели, деятельность и отношения, составляющие повседневную жизнь.

Несмотря на эти недостатки, умные колонки и персональные помощники-приложения смартфонов достаточно ценны для пользователя и уже «вошли» в дома и карманы сотен миллионов людей. Они являются, в сущности, троянскими конями ИИ. Поскольку они уже находятся среди нас и стали неотъемлемой частью великого множества жизней, любое крохотное улучшение их возможностей дает миллиарды долларов.

Поэтому усовершенствования идут сплошным потоком. Пожалуй, самым важным является элементарная способность понимать контент — знать, что фраза «Джон в больнице» представляет собой не просто стимул отклика «надеюсь, ничего серьезного», но содержит актуальную информацию о том, что восьмилетний сын пользователя находится в соседней больнице, возможно, тяжело больной или раненый. Способность доступа к коммуникациям посредством электронной почты и текстовых сообщений, а также телефонных звонков и домашних разговоров (через «умные колонки» в доме) дала бы системам ИИ необходимую информацию, чтобы создать достаточно полную картину жизни пользователя, — вероятно, даже больше информации, чем мог бы получить дворецкий в аристократическом семействе XIX в. или секретарь-референт сегодняшнего генерального директора.

Сырой информации, разумеется, недостаточно. Чтобы помощник был по-настоящему полезным, ему также нужно повседневное знание о том, как устроен мир: что ребенок, лежащий в больнице, не находится одновременно дома, что госпитализация при сломанном запястье редко длится больше одного-двух дней, что в школе, где учится ребенок, должны узнать о его предстоящем отсутствии и т. д. Подобное знание позволяет помощнику постоянно отслеживать ситуации, которые он не наблюдает непосредственно, — навык, свойственный интеллектуальной системе.

Возможности, описанные в предыдущем абзаце, я уверен, достижимы в рамках имеющейся технологии вероятностного выводаВ, но это потребует очень серьезных усилий по созданию моделей всех типов событий и транзакций, составляющих нашу повседневную жизнь. До сих пор подобные проекты моделирования здравого смысла практически не осуществлялись (за исключением, пожалуй, засекреченных систем анализа разведывательных данных и военного планирования) из-за сопутствующих затрат и негарантированной отдачи. Теперь, однако, они легко привлекли бы сотни миллионов пользователей, поэтому инвестиционные риски снизились, а потенциальные прибыли значительно увеличились. Более того, доступ к большому числу пользователей позволяет интеллектуальному помощнику очень быстро учиться и заполнять пробелы в своем знании.

Итак, можно ожидать появления интеллектуальных помощников, которые за несколько пенсов в месяц помогут пользователям управлять все большим объемом повседневных дел: важные даты, путешествия, покупки, оплата счетов, домашние задания детей, отслеживание электронной почты и звонков, напоминания, планирование питания и — предел мечтаний! — поиск ключей. Эти навыки не будут разбросаны по множеству приложений. Они станут разными возможностями единого интегрированного агента, способного воспользоваться преимуществом синергии, в терминологии военных, общей оперативной обстановки.

Шаблон проектирования интеллектуального помощника предполагает исходное знание занятий людей, способность извлекать информацию из потоков сенсорных и текстовых данных и процесс обучения, адаптирующий помощника к конкретным обстоятельствам пользователя. Одна и та же общая схема может применяться еще по меньшей мере в трех важнейших областях: медицине, образовании и финансах. Для этих сфер система должна отслеживать состояние организма, ума и банковского счета пользователя (в широком смысле). Как и в случае помощника в повседневных делах, предоперационные расходы на создание необходимого знания общего характера в каждой из этих трех сфер распределяются между миллиардами пользователей.

В случае со здоровьем, например, все мы имеем примерно одинаковую физиологию, и подробное знание о ее функционировании уже закодировано в машиночитаемой форме[93]. Системы будут адаптироваться к вашим индивидуальным характеристикам и образу жизни, обеспечивая превентивными рекомендациями и ранним оповещением о проблемах.

В образовательной сфере обещание создания интеллектуальных преподавательских систем давалось еще в 1960-х гг.[94], но до реального прогресса было еще очень далеко. Главными причинами оказались недостатки контента и доступа: большинство систем обучения не понимают содержание того, чему призваны учить, и не могут поддерживать двустороннюю коммуникацию с учениками посредством речи или текста. (Представляю, как я преподаю теорию струн, которую не понимаю, на лаосском языке, которым не владею.) Недавний прогресс в распознавании речи означает, что автоматизированные преподаватели могут, наконец, общаться с учениками, пока что не владеющими грамотой в полной мере. Более того, технология вероятностного вывода теперь умеет следить за тем, что учащиеся знают и чего не знают[95], и оптимизировать предоставление инструкций для максимально эффективного обучения. Конкурс Global Learning XPRIZE, стартовавший в 2014 г., предложил $15 млн за создание «общедоступного масштабируемого программного обеспечения, которое позволит детям в развивающихся странах самостоятельно обучиться основам чтения, письма и счета за 15 месяцев». Результаты победителей, Kitkit School и Onebillion, позволяют сделать вывод, что эта цель по большей части достигнута.

В сфере личных финансов системы будут отслеживать инвестиции, доходы, обязательные и необязательные расходы, долги, процентные выплаты, сбережения на непредвиденные обстоятельства и т. д. во многом так же, как финансовые аналитики следят за деньгами и перспективами компаний. Интеграция с агентом, обслуживающим повседневную жизнь, обеспечит все более тонкое и детальное понимание, возможно, даже позволит выдавать детям карманные деньги за вычетом штрафов за скверное поведение. Каждый может рассчитывать на получение качественных ежедневных финансовых консультаций, прежде являвшихся прерогативой сверхбогатых.

Если ваша внутренняя «сигнализация», сообщающая о нарушении конфиденциальности, не сработала при чтении предыдущего абзаца, значит, вы не в курсе последних событий. Тема конфиденциальности, впрочем, имеет много уровней. Во-первых, может ли персональный помощник быть действительно полезным, если ничего о вас не знает? Скорее всего, нет. Во-вторых, будет ли он полезным, если не сможет собирать информацию от множества пользователей, чтобы больше узнать о людях в целом и о людях, похожих на вас? Скорее всего, нет. Итак, следует ли из этих двух обстоятельств, что мы должны отказаться от права на конфиденциальность, чтобы пользоваться преимуществами ИИ в быту? Нет. Дело в том, что обучающиеся алгоритмы могут работать с зашифрованными данными, используя методы конфиденциальных вычислений, и обеспечить пользователей возможностью сбора данных без какого-либо ущерба для конфиденциальности[96]. Станут ли поставщики программного обеспечения использовать технологии обеспечения конфиденциальности добровольно, без требований со стороны закона? Поживем — увидим. Представляется, однако, неизбежным, что пользователи будут доверять персональному помощнику, только если его главнейшую обязанность составит служение пользователю, а не корпорации, которая его создала.

«Умные дома» и домашние роботы

Концепция «умного дома» рассматривается уже несколько десятилетий. В 1966 г. Джеймс Сазерленд, инженер фирмы Westinghouse, начал собирать ненужные компьютерные комплектующие, чтобы сделать ECHO, первый контроллер умного дома[97]. К сожалению, ECHO весил 360 кг, потреблял 3,5 кВт и управлял лишь тремя цифровыми часами и телевизионной антенной. Последующие системы требовали от пользователей овладеть головоломным интерфейсом управления. Неудивительно, что они не прижились.

С 1990-х гг. было предпринято несколько амбициозных попыток разработать дома, которые управляли бы собой сами при минимальном участии человека, используя машинное обучение, чтобы подстроиться под образ жизни обитателей. Для реализации экспериментов в домах должны были жить реальные люди. К сожалению, частота ошибочных решений сделала эти системы хуже, чем просто бесполезными, — качество жизни обитателей не только не повышалось, но ухудшалось. Например, пользователи проекта 2003 г. MavHome[98] Вашингтонского университета часто были вынуждены сидеть в темноте, если их гости задерживались дольше обычного для хозяев времени отхода ко сну[99]. Как и в случае с интеллектуальным персональным помощником, подобные провальные результаты проистекали из неполного доступа к информации о занятиях обитателей и неспособности понимать и отслеживать происходящее в доме.

Настоящий «умный дом», оборудованный видеокамерами и микрофонами, — а также обладающий обязательными сенсорными и мыслительными способностями — понимает, чем занимаются жители: ходят в гости, едят, спят, смотрят телевизор, читают, тренируются, готовятся к долгой поездке или беспомощно лежат на полу после того, как оступились. В координации с интеллектуальным персональным помощником дом достаточно хорошо представляет, кто придет в него или выйдет в определенное время, кто где принимает пищу и т. д. Это понимание позволяет дому управлять отоплением, освещением, шторами и системами безопасности, посылать своевременные напоминания и предупреждать пользователей или экстренные службы о возникшей проблеме. Некоторые новые жилые комплексы в США и Японии уже включают такого рода технологию[100].

Ценность «умного дома» ограниченна в силу его исполнительных механизмов: намного более простые системы (термостаты с таймером, светильники с датчиками движения и охранная сигнализация) способны обеспечить во многом такую же функциональность, причем более предсказуемым, хотя и менее чувствительным к контексту, образом. «Умный дом» не может заложить белье в бак стиральной машины, вымыть посуду или принести газету. Для всего этого ему необходим робот.

Возможно, нам не придется долго ждать. Роботы уже продемонстрировали многие требуемые навыки. В лаборатории Беркли, возглавляемой моим коллегой Питером Эббилем, «робот Беркли, избавляющий от скучных задач» (Berkeley Robot for the Elimination of Tedious Tasks, BRETT), складывает полотенца в стопки с 2011 г., а робот SpotMini разработки Boston Dynamics умеет подниматься по лестницам и открывать двери (рис. 5). Несколько компаний уже выпускают роботов-поваров, хотя им нужны особые вспомогательные устройства и заранее порезанные ингредиенты и они не могут работать в обычной кухне[101].

Последняя из трех базовых физических способностей, которыми должен обладать полезный домашний робот, — восприятие, движение и ловкость — создает больше всего проблем. По словам Стефани Теллекс, профессора робототехники Университета Брауна: «Большинство роботов не могут подхватить большую часть предметов в большинстве случаев». Отчасти это проблема восприятия посредством тактильных сенсоров, отчасти технологическая (на сегодняшний день создание ловких рук обходится очень дорого) и отчасти алгоритмическая: мы пока не слишком хорошо понимаем, как объединить сенсорное восприятие и контроль, чтобы совершать захваты и манипуляции с громадным разнообразием объектов, имеющихся в типичном доме. Существуют десятки способов захвата только для твердых предметов и тысячи отдельных навыков манипулирования, например способность накапать из бутылки ровно две капли, отклеить этикетку от консервной банки, намазать мягкий хлеб твердым сливочным маслом или вытащить вилкой из кастрюли одну макаронину, чтобы проверить, готова ли она.

Представляется вероятным, что проблемы тактильного восприятия и конструирования руки будут решены благодаря 3D-печати, которая уже используется компанией Boston Dynamics для самых сложных частей ее человекоподобного робота «Атласа». Навыки манипулирования, которыми владеет робот, быстро развиваются, в том числе благодаря глубокому обучению с подкреплением[102]. Последний рывок — собрать все это в единое целое, которое начинает приближаться к потрясающим физическим возможностям роботов из кино, — скорее всего, будет сделан в весьма прозаической складской индустрии. Одна лишь компания Amazon использует труд нескольких сотен тысяч человек, чтобы вынимать товары из коробок на гигантских складах и рассылать их клиентам. С 2015 по 2017 г. Amazon проводила ежегодный «Конкурс подбиральщиков», чтобы ускорить создание роботов, способных выполнить эту задачу[103]. Путь пока не завершен, но, когда основные исследовательские проблемы будут решены — вероятно, в течение десятилетия, — можно ожидать очень быстрого распространения высокофункциональных роботов. Сначала они будут работать на складах, затем в других коммерческих сферах, например сельском хозяйстве и строительстве, где спектр задач и объектов достаточно предсказуем. Довольно скоро мы увидим их и в розничной торговле за такими занятиями, как выкладывание товара на полки супермаркета и складывание одежды после примерки.

Первыми, кто действительно выиграет от появления роботов в доме, станут престарелые и немощные, которым полезный робот может обеспечить определенную степень независимости, недостижимую иными средствами. Даже если робот выполняет ограниченный круг заданий и имеет лишь зачаточное понимание происходящего, он может быть очень полезным. В то же время до робота-дворецкого, который уверенно заправляет домом и предупреждает любое желание своего хозяина, еще довольно далеко — для этого необходимо приблизиться к универсальному ИИ человеческого уровня.

Искусственная интеллектуальность во всемирном масштабе

Развитие базовых способностей понимания речи и текста позволит интеллектуальным персональным помощникам делать то же самое, чем занимаются ассистенты-люди (но за грошовую месячную плату вместо зарплаты в несколько тысяч долларов). Базовое распознавание речи и текста также позволяет машинам делать то, на что люди не способны, — благодаря не глубине понимания, а его охвату. Например, машина с базовой способностью чтения сможет еще до обеда прочитать все когда-либо написанное человеческой расой и станет искать, чем бы еще заняться[104]. При наличии способности распознавания речи она к вечернему чаю сможет прослушать все радио и телепередачи. Для сравнения: потребовалось бы 200 000 человек на полную рабочую неделю, только чтобы следить за нынешним уровнем мировых печатных публикаций (не говоря уже обо всем письменном наследии прошлого), и еще 60 000, чтобы слушать текущее вещание[105].

Такая система, если бы она умела делать хотя бы простые фактические выводы и интегрировать всю информацию, существующую на всех языках, являлась бы феноменальным устройством для ответов на вопросы и выявления закономерностей — намного более мощным, чем поисковые системы, которые в настоящее время оцениваются примерно в $1 трлн. Ее ценность для исследования в таких областях, как история и социология, была бы безмерна.

Конечно, стало бы также возможным прослушивать все телефонные звонки в мире (работа, которая потребовала бы около 20 млн человек). Определенные тайные ведомства сочли бы эту возможность ценной. Некоторые из них уже много лет занимаются простыми видами крупномасштабного машинного прослушивания, например поиском ключевых слов в разговорах, и сейчас совершают переход к преобразованию разговоров в пригодный для поиска текст[106]. Эти записи-расшифровки, безусловно, полезны, но далеко не так, как одновременное понимание и интеграция контента всех разговоров.

Еще одна «сверхвозможность», доступная машинам, — умение видеть весь мир одновременно. Грубо говоря, спутники каждый день отображают весь мир со средним разрешением около 50 см на пиксель[107]. При таком разрешении каждый дом, корабль, автомобиль, каждая корова и каждое дерево на Земле видимы. Намного больше 30 млн работников с полной занятостью потребовалось бы, чтобы проанализировать все эти изображения; поэтому в настоящее время никто из людей не видит основной массы спутниковых данных. Алгоритмы компьютерного видения могли бы обрабатывать все эти данные, создавая пригодную для поиска базу данных обо всем мире, ежедневно обновляемую, а также визуализации и прогностические модели экономической деятельности, изменения вегетации, миграций животных и людей, последствий изменения климата и т. д. Спутниковые компании, такие как Planet и DigitalGlobe, трудятся над воплощением этой идеи.

Появление возможности получать сенсорную информацию во всемирном масштабе позволит принимать глобальные решения. К примеру, мы могли бы на основе потока спутниковых данных создавать подробные модели для управления мировой окружающей средой, предсказывать последствия экологических и экономических вмешательств и создавать необходимый аналитический задел для достижения объявленных ООН целей устойчивого развития[108]. Мы уже видим системы управления «умным городом», призванные оптимизировать контроль за дорожным движением, пассажироперевозки, сбор мусора, ремонт дорог, поддержание окружающей среды и другие функции в интересах граждан, и это можно было бы распространить в масштабах всей страны. До недавнего времени такая степень координации могла быть достигнута лишь усилиями громадных, неэффективных бюрократических систем; они будут неизбежно заменены мегаагентами, занимающимися все большим числом аспектов нашей коллективной жизни. Вместе с этим, разумеется, появятся и возможности нарушения конфиденциальности и внедрения социального контроля во всемирном масштабе, к чему я вернусь в следующей главе.

Когда появится сверхинтеллектуальный ИИ?

Меня часто просят предсказать, когда появится сверхинтеллектуальный ИИ, и обычно я отказываюсь отвечать на этот вопрос. Тому есть три причины. Первая: накопилась долгая история несбывшихся предсказаний такого рода[109]. Например, в 1960 г. первопроходец в сфере ИИ, нобелевский лауреат, экономист Герберт Саймон писал: «В технологическом отношении… машины научатся, в пределах 20 лет, выполнять любую работу, которую способен делать человек»[110]. В 1967 г. Марвин Минский, один из организаторов дартмутской рабочей группы 1956 г., открывшей сферу разработки ИИ, писал: «Я убежден, что при жизни одного поколения вне возможностей машин останутся лишь немногие элементы интеллекта — проблема создания „искусственного интеллекта“ будет, в сущности, решена»[111].

Вторая причина нежелания объявлять дату пришествия сверхинтеллектуального ИИ состоит в отсутствии четкого барьера, который для этого пришлось бы преодолеть. Машины уже превосходят возможности человека в некоторых областях. Эти области будут расширяться и углубляться, и, вероятно, сверхчеловеческие системы общих знаний, сверхчеловеческие системы биомедицинских исследований, сверхчеловечески ловкие и гибкие роботы, сверхчеловеческие системы корпоративного планирования и т. д. появятся задолго до того, как мы получим полностью универсальную сверхинтеллектуальную ИИ-систему. Эти «частично сверхинтеллектуальные» системы, по отдельности и вместе, начнут ставить перед нами многие из тех вопросов, которые следует ожидать от универсальных интеллектуальных систем.

Третья причина, по которой я не предсказываю появление сверхинтеллектуального ИИ, — его принципиальная непредсказуемость. Он требует «концептуальных прорывов», как заметил Джон Маккарти в интервью 1997 г.[112] Далее он сказал: «Вы хотите получить 0,7 Эйнштейна и 0,3 Манхэттенского проекта, причем сначала Эйнштейна. Я убежден, что это займет от 5 до 500 лет». В следующем разделе я объясню, какими могут быть некоторые из этих концептуальных прорывов. Насколько они непредсказуемы? Вероятно, настолько же, насколько было предсказуемо изобретение Силардом цепной реакции через несколько часов после заявления Резерфорда, что она совершенно невозможна.

Однажды на собрании Всемирного экономического форума в 2015 г. я отвечал на вопрос о том, когда мы можем увидеть сверхинтеллектуальный ИИ. Собрание проходило по правилам Чатем-хауса{4}, запрещающим разглашать за его стенами какие бы то ни было замечания любого из присутствующих. Тем не менее я из избытка осторожности начал свой ответ словами: «Строго не под запись…» Я предположил, что, если не помешают никакие катаклизмы, это, вероятно, произойдет при жизни моих детей — которые еще малы и, скорее всего, благодаря достижениям медицины будут жить намного дольше, чем большинство присутствовавших. Не прошло и двух часов, как в The Daily Telegraph вышла статья, цитирующая слова профессора Рассела и дополненная изображениями беснующихся терминаторов. Заголовок гласил: «Роботы-„социопаты“ могут обскакать человеческую расу при жизни одного поколения».

Моя оценка сроков, скажем, в 80 лет намного более консервативна, чем у типичного исследователя ИИ. По результатам недавних опросов[113], оптимисты ожидают появления ИИ человеческого уровня примерно в середине этого века. Исходя из опыта в отношении ядерной физики, здравомыслие требует допустить, что это произойдет раньше, и подготовиться соответственно. Если бы требовался лишь один концептуальный прорыв, аналогичный идее Силарда о цепной реакции деления ядер, сверхинтеллектуальный ИИ в той или иной форме мог бы появиться, можно сказать, внезапно. Вполне вероятно, мы оказались бы к этому не готовы: если бы мы построили сверхинтеллектуальные машины с любой степенью автономности, то скоро оказались бы не способны контролировать их. Я, однако, убежден, что у нас есть пространство для маневра, потому что для перехода от ситуации сегодняшнего дня к сверхинтеллекту необходим целый ряд принципиальных прорывов.

Какие концептуальные прорывы нас ожидают

Проблема создания универсального ИИ человеческого уровня далека от решения. Это не является вопросом большего количества денег, инженерных разработок или данных, как и более мощных компьютеров. Некоторые футуристы составляют графики, экстраполирующие экспоненциальный рост вычислительной мощности в будущее на основе закона Мура, указывая даты, когда машины превзойдут мозг насекомого, мозг мыши, мозг человека, мозг всех людей в совокупности и т. д.[114] Эти графики бессмысленны, поскольку, как я уже говорил, более быстрые машины всего лишь быстрее дают вам неправильный ответ. Если бы он состоял в том, чтобы собрать всех ведущих экспертов по ИИ в одну команду с неограниченными ресурсами с целью создать интегрированную интеллектуальную систему человеческого уровня путем объединения лучших идей всех нас, результат был бы провальным. В реальном мире система разрушилась бы. Она не понимала бы, что происходит, не могла предсказать последствия своих данных, не знала, чего хотят люди в любой конкретной ситуации, — в общем, была бы до нелепости тупой.

Понимание того, как разрушилась бы система, позволяет исследователям ИИ выявлять проблемы, которые должны быть решены, — области, в которых необходимы концептуальные прорывы, — чтобы достичь ИИ человеческого уровня. Сейчас я опишу некоторые из нерешенных пока проблем. Когда мы справимся с ними, возможно, появятся новые, но их будет не слишком много.

Язык и здравый смысл

Интеллект без знаний — все равно что двигатель без топлива. Люди получают огромные знания от других людей: они передаются через поколения в форме языка. Среди них есть фактические: Обама стал президентом в 2009 г., плотность меди составляет 8,92 г/см3, законы Ур-Намму устанавливают наказания за различные преступления и т. д. Огромный объем знаний заключен в самом языке — в понятиях, которые обусловливают его существование. Президент, 2009, плотность, медь, грамм, сантиметр, преступление и все прочие понятия заключают в себе обширнейшую информацию, представляющую собой выделенное множество процессов открытия и систематизации, благодаря которым, собственно, они и оказались встроены в язык.

Рассмотрим, например, слово медь, обозначающее определенный комплекс атомов во Вселенной, и сравним со словом арглебарглиум, которым я обозначаю столь же крупный комплекс совершенно случайным образом выбранных атомов во Вселенной. Можно открыть много общих, полезных и обладающих предсказательной силой законов о меди — ее плотности, проводимости, пластичности, точке плавления, звездном происхождении, химических соединениях, практическом применении и т. д. Напротив, об арглебарглиуме практически ничего нельзя сказать. Организм, говорящий на языке, который состоит из таких слов, как арглебарглиум, не мог бы функционировать, потому что никогда не открыл бы закономерностей, которые позволили бы ему моделировать и делать прогнозы в своей вселенной.

Машина, действительно понимающая человеческий язык, была бы способна быстро накапливать огромные объемы человеческого знания, что позволило бы ей превзойти результаты 10 000 лет обучения более чем 100 млрд человек, живших на Земле. Представляется попросту нецелесообразным ждать, когда машина заново сделает все эти открытия с нуля, начав с первичных сенсорных данных.

В настоящее время, однако, технология естественного языка не способна выполнить задачу прочтения и понимания миллионов книг, многие из которых поставили бы в тупик даже высокообразованного человека. Такие системы, как Watson от IBM, прославившаяся победой над двумя людьми-чемпионами американской телевизионной игры Jeopardy!{5} в 2011 г., способны извлекать простую информацию из четко сформулированных фактов, но не может строить комплексные структуры знания на основе текста, как и не в состоянии отвечать на вопросы, требующие построения длинных логических цепочек и использования информации из нескольких источников. Например, задача прочитать все доступные документы, относящиеся к концу 1973 г., и оценить (с объяснением) вероятный результат Уотергейта — процесса, приведшего к отставке президента Никсона, — далеко выходила бы за рамки сегодняшних возможностей.

Предпринимаются серьезные усилия по углублению анализа языка и выделению информации. Например, проект Aristo Института изучения ИИ им. Аллена ставит целью разработку систем, способных сдать школьные экзамены по естественным наукам после прочтения учебников и методических пособий[115]. Вот вопрос из теста за четвертый класс[116]:

Четвероклассники решили устроить гонки на роликовых коньках. Какая поверхность подойдет для этого лучше всего?

(А) гравий, (Б) песок, (В) асфальт, (Г) трава.

Машина сталкивается по крайней мере с двумя типами трудностей при ответе на этот вопрос. Во-первых, это классическая проблема понимания языка — уяснения смысла предложения: анализ синтаксической структуры, идентификация значимых слов и т. д. (Чтобы убедиться в этом, воспользуйтесь онлайновым переводчиком, чтобы перевести предложение на незнакомый вам язык, затем с помощью словаря этого языка попробуйте сделать обратный перевод на английский.) Во-вторых, это необходимость обыденного знания. Нужно сообразить, что «гонки на роликовых коньках» — это, по всей видимости, состязание на скорость между людьми, обутыми в коньки на роликах (имеющими их на ногах), а не гонки роликовых коньков. Нужно понять, что «поверхность» — то, на чем будут состязаться гонщики, а не сидеть зрители. Нужно знать, что означает «лучше всего» применительно к поверхности для гонки, и т. д. Подумайте, как изменился бы ответ, если заменить «четвероклассников» на «садистов-инструкторов армейского тренировочного лагеря».

Эти трудности можно обобщить, сказав, что чтение требует знания, а знание приобретается (по большей части) из чтения. Иными словами, перед нами классическая ситуация с курицей и яйцом. Можно рассчитывать на процесс бутстрэпа — «спасения утопающих силами самих утопающих», — когда система читает какой-нибудь простой текст, получает определенные знания, использует их для чтения более сложного текста, получает дополнительные знания и т. д. К сожалению, на деле происходит противоположное: приобретенное знание оказывается по большей части ошибочным, что вызывает ошибки при чтении, приводящие к еще более ошибочному знанию, и т. д.

Например, проект «Бесконечное изучение языка» (Never-Ending Language Learning, NELL) Университета Карнеги — Меллона является, пожалуй, самым амбициозным проектом бутстрэп-обучения языку, осуществляемым в настоящее время. С 2010 по 2018 г. NELL усвоил более 120 млн утверждений, читая англоязычные тексты в интернете[117]. Часть этих утверждений верна, например, что «Мейпл Лифс»{6} играют в хоккей и выиграли Кубок Стэнли. Помимо фактов NELL постоянно учит новые слова, категории и семантические отношения. К сожалению, он уверен лишь в 3 % своих утверждений и нуждается в экспертах-людях, чтобы регулярно исправлять ложные или бессмысленные утверждения — например, что «Непал — это страна, также известная как Соединенные Штаты», а «ценность — сельскохозяйственный продукт, который обычно режут на базис».

Я подозреваю, что может не произойти единого прорыва, который обратил бы нисходящую спираль вспять. Базовый процесс бутстрэп-обучения кажется правильным: программа, которая знает достаточно фактов, может сообразить, на какой из них ссылается новое предложение, и, таким образом, узнать новую текстуальную форму выражения фактов, что впоследствии позволит ей открыть больше фактов, и так процесс продолжится. (Сергей Брин, сооснователь Google, опубликовал важную статью об идее бутстрэп-обучения в 1998 г.[118]) Безусловно, этому способствует предварительная подготовка в виде большого количества закодированного вручную знания и лингвистической информации. Повышение сложности репрезентации фактов — позволяющей отображать комплексные события, причинно-следственные связи, верования и отношения других и т. д., — а также совершенствование работы с неопределенностью в значениях слов и предложений могут постепенно вылиться в самосовершенствующийся, а не вырождающийся процесс обучения.

Кумулятивное изучение понятий и теорий

Около 1,4 млрд лет назад примерно в 13 секстиллионах километров отсюда две черные дыры, одна в 12 млн раз, другая в 10 млн раз массивнее Земли, сблизились настолько, что стали обращаться вокруг друг друга. Постепенно теряя энергию, они двигались по спирали все теснее и быстрее, достигнув орбитальной частоты вращения 250 оборотов в секунду при расстоянии 350 км, когда, наконец, столкнулись и слились[119]. В последние несколько миллисекунд энергия излучения в форме гравитационных волн в 50 раз превышала совокупную выделенную энергию всех звезд во Вселенной. 14 сентября 2015 г. эти гравитационные волны достигли Земли. Они попеременно растягивали и сжимали само пространство в отношении примерно 1 к 2,5 секстиллионов, что эквивалентно изменению расстояния до Проксимы Центавра (4,4 световых года) на толщину человеческого волоса.

К счастью, за два дня до этого детекторы Advanced LIGO (лазерно-интерферометрической гравитационно-волновой обсерватории) в Вашингтоне и Луизиане были введены в эксплуатацию. Методом лазерной интерферометрии они смогли измерить это ничтожное искажение пространства. С помощью расчетов на основе общей теории относительности Эйнштейна (ОТО) исследователи LIGO предсказали — и поэтому именно ее и искали — точную форму гравитационной волны, ожидаемой при таком событии[120].

Это стало возможным благодаря накоплению и передаче знания и идей тысячами человек в течение столетий наблюдений и исследований. От Фалеса Милетского, натиравшего янтарь шерстью и наблюдавшего возникновение статического заряда, через Галилея, бросавшего камни с Падающей башни в Пизе, к Ньютону, следившему за падением яблока с ветки, и далее, через тысячи других наблюдений, человечество постепенно, слой за слоем, накапливало понятия, теории и устройства: масса, скорость, ускорение, сила, ньютоновские законы движения и гравитации, уравнения орбитального движения, электрические явления, атомы, электроны, электрические поля, магнитные поля, электромагнитные волны, специальная теория относительности, ОТО, квантовая механика, полупроводники, лазеры, компьютеры и т. д.

В принципе, мы можем представить процесс совершения открытия как преобразование всех сенсорных данных, когда-либо полученных всеми людьми, в очень сложную гипотезу о сенсорных данных, полученных учеными LIGO 14 сентября 2015 г., когда они следили за своими компьютерными мониторами. Это понимание обучения исключительно сквозь призму данных: данные на входе, гипотеза на выходе, посередине черный ящик. Если бы это работало, это был бы апофеоз подхода к разработке ИИ на основе глубокого обучения — «большие данные, большие сети», — но это невозможно. Единственная жизнеспособная идея, имеющаяся у нас о том, как интеллектуальные системы могли бы прийти к такому колоссальному достижению, как регистрация слияния двух черных дыр, состоит в том, что предшествующее знание физики в сочетании с наблюдаемыми данными позволило ученым LIGO вывести заключение, что произошло слияние. Более того, это предшествующее знание само по себе было результатом обучения на основе предшествующего знания, и так далее, вглубь истории на всем ее протяжении. Итак, у нас есть приблизительная кумулятивная картина того, как интеллектуальные системы могут обретать прогностические возможности, используя знание как строительный материал.

Я говорю «приблизительная», поскольку, разумеется, за столетия наука иногда сворачивала не в ту сторону, временно увлекаясь погоней за такими иллюзорными феноменами, как флогистон и светоносный эфир. Однако мы достоверно знаем, что кумулятивная картина есть то, что действительно произошло, в том смысле, что ученые постоянно описывали свои открытия и теории в книгах и статьях. Последующие поколения ученых имели доступ лишь к этим формам эксплицитного знания, а не к исходному сенсорному опыту предшествующих, давно ушедших поколений. Будучи учеными, члены команды LIGO понимали, что все фрагменты знания, которым они пользуются, включая ОТО Эйнштейна, находятся (и всегда будут находиться) в периоде апробации и могут быть сфальсифицированы в результате эксперимента. Как оказалось, данные LIGO предоставили убедительное подтверждение ОТО, а также дальнейшие свидетельства того, что гравитон — гипотетическая частица гравитации — не имеет массы.

Нам еще очень далеко до создания систем машинного обучения, достигающих или превосходящих способность кумулятивного обучения и открытий, которую демонстрирует ученое сообщество — или даже обычные люди на протяжении своей жизни[121]. Системы глубокого обученияГ по большей части основаны на данных: в лучшем случае мы можем заложить в структуру сети очень слабые формы предшествующего знания. Системы вероятностного программированияВ действительно позволяют использовать предшествующее знание в процессе обучения, что проявляется в структуре и словаре базы вероятностного знания, но у нас пока нет эффективных методов создания новых понятий и отношений и их использования для расширения этой базы знания.

Трудность заключается не в поиске гипотезы, хорошо согласующейся с данными; системы глубокого обучения способны находить гипотезы, которые согласуются с визуальными данными, и исследователи ИИ разработали программы символического обучения, которые могут резюмировать многие исторические открытия количественных законов науки[122]. Обучение автономного интеллектуального агента требует намного большего.

Во-первых, что следует включить в «данные», на которых делаются прогнозы? Например, в эксперименте LIGO модель прогнозирования степени растяжения и сжатия пространства по прибытии гравитационной волны учитывает массы сталкивающихся черных дыр, их орбитальную частоту и т. д., но не берет в расчет день недели или расписание бейсбольных матчей Высшей лиги. В то же время модель для предсказания дорожного движения на мосту через залив Сан-Франциско учитывает день недели и расписание бейсбольных матчей Высшей лиги, но игнорирует массы и орбитальные частоты сталкивающихся черных дыр. Аналогично программы, которые учатся распознавать типы объектов в изображениях, используют пиксели в качестве входных данных, тогда как программы, обучающиеся определять ценность антикварного предмета, хотели бы также знать, из чего он изготовлен, кем и когда, историю его использования и владения и т. д. Почему? Очевидно, потому что мы, люди, уже знаем что-то о гравитационных волнах, дорожном движении, визуальных изображениях и антиквариате. Мы используем это знание для принятия решений, какие входящие данные нам нужны для предсказания конкретного результата. Это так называемое конструирование признаков, и, чтобы выполнять его хорошо, нужно ясно понимать специфическую задачу прогнозирования.

Конечно, по-настоящему интеллектуальная машина не может зависеть от людей (конструирующих признаки), которые приходили бы ей на помощь всякий раз, когда нужно научиться чему-то новому. Она должна самостоятельно выяснять, что составляет обоснованное пространство гипотез для обучения. Предположительно, она делала бы это, привлекая широкий спектр релевантных знаний в разных формах, но в настоящее время у нас имеются лишь рудиментарные представления о том, как это осуществить[123]. Книга Нельсона Гудмена «Факты, вымысел и прогноз» — написанная в 1954 г. и являющаяся, пожалуй, самой важной и недооцененной книгой о машинном обучении[124], — вводит особый тип знания, так называемую сверхгипотезу, потому что это помогает очертить возможное пространство обоснованных гипотез. Например, в случае прогнозирования дорожного движения релевантная сверхгипотеза состояла бы в том, что день недели, время суток, местные события, недавние автоаварии, праздники, задержки доставки, погода, а также время восхода и захода солнца могут влиять на дорожную ситуацию. (Обратите внимание, что вы можете построить эту гипотезу на основе собственного базового знания мира, не будучи специалистом по дорожному движению.) Интеллектуальная обучающаяся система способна накапливать и использовать знание этого типа для того, чтобы формулировать и решать новые задачи обучения.

Второе, пожалуй, более важное, — это кумулятивная генерация новых понятий, таких как масса, ускорение, заряд, электрон и сила гравитации. Без этих понятий ученым (и обычным людям) пришлось бы по-своему интерпретировать Вселенную и делать прогнозы на основании необработанных сенсорных данных. Вместо этого Ньютон имел возможность работать с понятиями массы и ускорения, выработанными Галилеем и другими учеными, а Резерфорд смог установить, что атом состоит из положительно заряженного ядра, окруженного электронами, благодаря тому что понятие электрона уже было создано (многочисленными исследователями, продвигавшимися шаг за шагом) в конце XIX в. Действительно, все научные открытия делаются на многоярусных наслоениях понятий, приходящих со временем и опытом человечества.

В философии науки, особенно в начале XX в., открытие новых понятий нередко объяснялось действием эфемерной троицы: интуиции, озарения и вдохновения. Считалось, что все эти элементы неподвластны рациональному или алгоритмическому объяснению. Исследователи ИИ, включая Герберта Саймона[125], яростно спорили с этим подходом. Попросту говоря, если алгоритм машинного обучения может осуществлять поиск в пространстве гипотез, включающем возможность добавления определений новых терминов, не содержащихся во входном сигнале, то этот алгоритм способен открывать новые понятия.

Например, предположим, что робот пытается выучить правила игры в нарды, наблюдая за играющими людьми. Он наблюдает, как они бросают кости, и замечает, что иногда игроки перемещают три или четыре фишки, а не одну или две, и что это происходит после того, как выпадет 1–1, 2–2, 3–3, 4–4, 5–5 или 6–6. Если программа может добавить новое понятие дублей, определяемое как совпадение выпавших на двух кубиках результатов, то сможет намного лаконичнее выразить ту же самую прогностическую теорию. Это однозначный процесс, использующий такие методы, как индуктивное логическое программирование[126], для создания программ, предлагающих новые понятия и определения, чтобы формулировать точные и лаконичные теории.

В настоящее время мы знаем, как это сделать в относительно простых случаях, но для более сложных теорий количество возможных новых понятий, которые можно было бы ввести, становится просто колоссальным. Это делает нынешний успех методов глубокого обучения в сфере компьютерного зрения еще более интригующим. Глубокие сети обычно с успехом ищут полезные промежуточные признаки, такие как глаза, ноги, полосы и углы, хотя пользуются очень простыми алгоритмами обучения. Если бы мы смогли лучше понять, как это происходит, то применили бы тот же подход к формированию новых понятий на более выразительных языках, необходимых для науки. Это само по себе стало бы громадным благом для человечества, а также заметным шагом на пути к универсальному ИИ.

Обнаружение действий

Способность к разумному поведению в течение длительного периода времени требует навыка иерархического планирования и управления своими действиями на многочисленных уровнях абстрагирования — в широком спектре от написания докторской диссертации (триллион действий) до единичной команды системы управления движением, передаваемой пальцу, напечатания одного символа в сопроводительном письме к заявке на грант.

Наши действия структурированы в сложные иерархии с десятками уровней абстрагирования. Эти уровни и входящие в них действия являются принципиально важным элементом нашей цивилизации и передаются от поколения к поколению посредством языка и практических навыков. Например, такие действия, как поимка дикого кабана, обращение за визой или покупка билета на самолет, могут включать миллионы примитивных действий, но мы можем рассматривать их как единые комплексы, поскольку они уже входят в «библиотеку» действий, описанных нашей речью и культурой, а также потому, что мы (примерно) знаем, как они выполняются.

Когда высокоуровневые действия попадают в библиотеку, мы может последовательно составлять из них действия еще более высокого уровня, такие как празднование летнего солнцестояния всем племенем или археологические раскопки летом в отдаленной части Непала. Попытка спланировать подобные мероприятия с нуля, начав с шагов управления движением самого нижнего уровня, обречена на провал, поскольку они включают миллионы или миллиарды шагов, многие из которых практически непредсказуемы. (Где будет найден дикий кабан и в какую сторону побежит?) Напротив, имея в библиотеке соответствующие высокоуровневые действия, нужно запланировать лишь около десятка шагов, поскольку каждый шаг представляет собой большой фрагмент общего действия. На это способен даже маломощный человеческий мозг, однако это дает нам «суперсилу» для долгосрочного планирования.

Были времена, когда подобных действий как таковых не существовало. Например, чтобы получить право на полет на самолете в 1910 г., нужно было пройти долгий, затратный и непредсказуемый процесс изучения вопроса, написания писем и переговоров с пионерами авиации. В библиотеку добавились и другие действия: мы пишем электронные письма, гуглим и пользуемся Uber. В 1911 г. Альфред Норт Уайтхед писал: «Цивилизация развивается, расширяя количество важных операций, которые мы можем осуществлять не задумываясь»[127].

Знаменитая обложка Сола Стейнберга для журнала The New Yorker (рис. 6) блистательно демонстрирует в пространственной форме, как интеллектуальный агент управляет собственным будущим. Непосредственное будущее исключительно тонко детализировано — в действительности мой мозг уже загрузил конкретные последовательности актов двигательного контроля для того, чтобы напечатать следующие слова. Если заглянуть немного вперед, деталей становится меньше: так, я планирую закончить этот раздел, перекусить, написать еще фрагмент и посмотреть, как Франция играет с Хорватией в Кубке мира. Еще дальше в будущем мои планы становятся более обширными, но и более расплывчатыми: вернуться из Парижа в Беркли в начале августа, прочитать курс аспирантам и закончить эту книгу. По мере движения индивида во времени будущее приближается к настоящему, и планы становятся более подробными, тогда как могут появиться и новые неопределенные планы на более отдаленное будущее. Планы ближайшего будущего становятся такими подробными, что исполняются напрямую системой управления движением.

В настоящее время у нас имеются лишь некоторые фрагменты этой общей картины для ИИ-систем. При наличии иерархии абстрактных действий, в том числе знания о том, как систематизировать каждое из абстрактных действий в подраздел, состоящий из конкретных действий, у нас есть алгоритмы, которые могут составить комплексные планы достижения поставленных целей. Это алгоритмы, способные выполнять абстрактные иерархические планы так, что у агента всегда имеется «готовое к исполнению» примитивное физическое действие, даже если будущие действия остаются абстрактными и пока невыполнимы.

Главным отсутствующим элементом пазла является метод построения иерархии абстрактных действий. Например, можно ли начинать с нуля, когда робот будет знать только, что может посылать разные электрические токи к различным двигателям, и самостоятельно выяснять, какие действия нужно предпринять, чтобы стоять? Важно понимать, что я не спрашиваю, можем ли мы научить робота стоять, — это легко сделать методом обучения с подкреплением, вознаграждая робота за то, что его голова остается как можно дальше от пола[128]. Чтобы научить робота стоять, обучающий его человек уже должен знать, что значит стоять, и идентифицировать правильный вознаграждающий сигнал. Мы хотим, чтобы робот самостоятельно узнал, что стояние — это полезное абстрактное действие, обеспечивающее выполнение обязательного условия (пребывание в вертикальном положении) для того, чтобы ходить, бегать, здороваться за руку, или заглядывать в окно, следовательно, является частью многих абстрактных планов достижения всевозможных целей. Аналогично мы хотим, чтобы робот овладел для себя такими действиями, как перемещение с одного места на другое, подбирание предметов, открывание дверей, завязывание узлов, приготовление ужина, поиск моих ключей, строительство домов, и многими другими, не имеющими названия ни на одном человеческом языке, потому что мы, люди, их еще не открыли.

Я считаю эту способность самым важным шагом на пути к достижению ИИ человеческого уровня. Это стало бы, если снова воспользоваться фразой Уайтхеда, расширением количества важных операций, которые ИИ-системы способны выполнять не задумываясь. Многочисленные исследовательские группы по всему миру упорно трудятся над решением этой проблемы. Например, в статье компании DeepMind от 2018 г. о достижении человеческого уровня в компьютерной игре Quake III Arena Capture the Flag утверждается, что их обучающаяся система «по-новому конструирует временное иерархическое пространство представлений для обеспечения… согласованных по времени последовательностей действий»[129]. (Я не вполне понимаю, что имеется в виду, но это, определенно, похоже на приближение к цели изобретения новых высокоуровневых действий.) Я подозреваю, что у нас пока нет полного ответа, но это достижение, которое может случиться в любой момент, когда удастся просто правильным образом свести воедино уже имеющиеся идеи.

Интеллектуальные машины, обладающие этой способностью, смогут заглядывать в будущее дальше людей, а также учитывать намного больше информации. Эти две способности неизбежно ведут к принятию лучших решений в реальном мире. В конфликтной ситуации любого типа между людьми и машинами мы быстро обнаружим, как Гарри Каспаров и Ли Седоль, что каждый наш шаг просчитан заранее и нейтрализован. Мы проиграем раньше, чем игра начнется.

Управление мыслительной деятельностью

Если управление деятельностью в реальном мире выглядит сложным, представьте, какой головоломкой для вашего бедного мозга является управление деятельностью «самого сложного объекта в известной нам Вселенной» — его самого. Мы не начинаем думать, ходить или играть на пианино, если не знаем как это делается. Мы этому учимся. Мы можем в определенной степени выбирать, какие мысли иметь. (Попробуйте подумать о сочном гамбургере или таможенных правилах Болгарии, выбор за вами!) В каком-то смысле наша мыслительная деятельность более сложна, чем практическая деятельность, потому что наш мозг имеет намного больше «движущихся частей», чем тело, и двигаются они намного быстрее. Это относится и к компьютерам: на каждый ход, который AlphaGo делает на игровой доске, машина совершает миллионы или миллиарды единиц вычисления, каждая из которых включает в себя добавление ветви к дереву опережающего поиска и оценку игровой позиции в конце этой ветви. Каждая из этих единиц вычисления осуществляется, потому что программа делает выбор относительно того, какую часть дерева исследовать следующей. Очень приблизительно говоря, AlphaGo выбирает вычисления, которые, по ее ожиданиям, улучшат ее последующее решение на доске.

Разработать рациональную схему управления вычислительной деятельностью AlphaGo стало возможно, потому что эта деятельность проста и однородна: все единицы вычисления относятся к одному типу. В сравнении с другими программами, использующими те же базовые единицы вычисления, AlphaGo, пожалуй, эффективна, но, скорее всего, она крайне неэффективна по сравнению с другими типами программ. Например, Ли Седоль, противник AlphaGo в эпохальном матче 2016 г., вряд ли совершает больше нескольких тысяч единиц вычисления на один ход, но имеет намного более гибкую вычислительную архитектуру со множеством других типов единиц вычисления, в том числе разделение доски на субигры и попытки выяснить их взаимодействия, распознавание возможных целей и построение высокоуровневых планов с такими действиями, как «сохранить эту группу» или «не позволить моему противнику соединить эти две группы», размышления о том, как достичь конкретной цели, скажем, «сохранить эту группу», и исключение целых классов ходов, поскольку они не защищают от серьезной угрозы.

Мы попросту не знаем, как организовать настолько сложную и разнообразную вычислительную деятельность — как интегрировать и накапливать результаты каждого элемента деятельности и распределять вычислительные ресурсы между разными видами рассуждений, чтобы находить хорошие решения максимально быстро. Ясно, однако, что простая вычислительная архитектура, как у AlphaGo, не способна действовать в реальном мире, где нам постоянно приходится иметь дело с горизонтами решений не в десятки, а в миллиарды примитивных шагов, и где количество возможных действий в любой момент практически бесконечно. Важно помнить, что интеллектуальный агент в реальном мире не ограничен игрой в го или даже поиском ключей Стюарта — он просто существует. Он может делать что угодно, но едва ли сможет позволить себе думать обо всем, что в состоянии сделать.

Система, способная как открывать новые высокоуровневые действия, что было описано ранее, так и управлять своей вычислительной деятельностью, сосредоточивая ее на тех единицах вычисления, которые быстро приводят к существенному улучшению качества решений, обеспечила бы фантастическое качество принятия решений в реальном мире. Как и у людей, ее рассуждения были бы «интеллектуально эффективными», но ее бы не ограничивали крохотная краткосрочная память и медленное «железо», которые чудовищно сковывают нашу способность далеко заглядывать в будущее, работать с большим количеством непредвиденных факторов и рассматривать много альтернативных планов.

Что еще мы упускаем

Если собрать все, что мы знаем о том, как работать со всеми потенциально новыми достижениями, перечисленными в этой главе, мы добьемся успеха? Как вела бы себя получившаяся система? Она неудержимо развивалась бы, со временем накапливая огромные объемы информации и отслеживая состояние мира в громадных масштабах путем наблюдения и умозаключений. Она постепенно совершенствовала бы свои модели мира (включающие, конечно, и модели людей). Она использовала бы эти модели для решения комплексных задач, сохраняла и повторно использовала процессы принятия решений, чтобы повысить эффективность своих прикидок и научиться решать еще более комплексные задачи. Она открывала бы новые концепции и действия, и это позволило бы ей повышать уровень совершения открытий. Она составляла бы более эффективные планы за все более короткие промежутки времени.

В общем, трудно сказать, упущено ли еще что-нибудь принципиально важное в плане создания систем, эффективных в решении этих задач. Разумеется, единственная возможность убедиться в этом — создать их (когда будут совершены прорывы) и посмотреть, что из этого выйдет.

Представим себе сверхинтеллектуальную машину

При обсуждении природы и эффектов сверхинтеллектуального ИИ техническому сообществу отказывает воображение. Часто мы наблюдаем дискуссии вокруг снижения количества медицинских ошибок[130], уровня опасности автомобилей[131] или других небольших продвижений. Роботы мыслятся как индивидуальные существа, которые имеют свой собственный мозг, тогда как на самом деле они, скорее всего, будут беспроводным способом соединены в единую глобальную структуру, использующую огромные вычислительные ресурсы стационарного оборудования. Кажется, исследователи боятся рассматривать реальные последствия успеха в создании ИИ.

Универсальная интеллектуальная система, предположительно, может делать то же, что и человек. Например, некоторые люди проделали большую работу в математике, разработке алгоритмов, программировании и эмпирических исследованиях, чтобы создать современные поисковые системы. Результаты этой работы очень полезны и, разумеется, очень ценны. Насколько ценны? Недавнее исследование показало, что средний взрослый американец из числа опрошенных должен был бы получать минимум $17 500 за то, чтобы на год отказаться использовать поисковые системы[132], что в сумме составляет десятки триллионов долларов.

Представим теперь, что поисковых систем все еще не существует, потому что необходимые работы пока не выполнены, но вместо этого вы имеете доступ к сверхинтеллектуальной ИИ-системе. Вы задаете вопросы и имеете доступ к технологии поисковой системы благодаря системе ИИ. Готово! Ценность в триллионы долларов просто в ответ на вопрос, и ни единой строчки кода, написанной вами. То же самое относится ко всем не созданным изобретениям или сериям изобретений: если это могли бы сделать люди, значит, могут и машины.

Этот последний момент дает ценную информацию о нижней границе — пессимистической оценке — способностей интеллектуальной машины. Предположительно, машина обладает большими возможностями, чем отдельный человек. Очень многое в мире не может отдельно взятый, но может группа из n человек: отправить астронавта на Луну, создать детектор гравитационных волн, секвенировать геном человека, управлять страной с сотнями миллионов жителей. Грубо говоря, мы создаем n программных копий машины и соединяем их так же — с теми же информационными и управляющими потоками, — как и n человек. Теперь у нас есть машина, способная делать все, что могут n человек, только лучше, поскольку каждый из ее n компонентов обладает сверхчеловеческими возможностями.

Концепция интеллектуальной системы на основе многоагентной кооперации — лишь нижняя граница вероятных возможностей машины, потому что есть другие концепции, более эффективные. В группе из n человек общая доступная информация хранится отдельными частями в n мозгах и передается между ними очень медленно и несовершенно. Поэтому n человек тратят много времени на собрания. У машины нет необходимости в этом разделении, которое часто мешает составить полную картину. Красноречивым примером отсутствия надлежащей структуры в сфере научных открытий является долгая история пенициллина[133].

Другой полезный метод расширения возможностей своего воображения — подумать об одном из источников сенсорных входных данных, скажем, чтении, и отмасштабировать его. Если человек может читать одну книгу в неделю, машина могла бы прочитать и понять все когда-либо написанные книги — все 150 млн — за несколько часов. Это требует соответствующей вычислительной мощности, но книги можно было бы читать, по большей части, параллельно, то есть простое добавление чипов позволяет машине масштабировать свой процесс чтения. Аналогично машина может видеть все одновременно через спутники, роботов и сотни миллионов камер видеонаблюдения, смотреть все телевизионные трансляции мира и слушать все мировые радиостанции и телефонные разговоры. Очень быстро она получила бы намного более подробное и точное понимание мира и его обитателей, чем любой человек в принципе может надеяться приобрести.

Можно также представить себе масштабирование способности машины к действиям. Люди имеют непосредственный контроль лишь над своим телом, тогда как машина может контролировать тысячи или миллионы объектов. Некоторые автоматизированные фабрики уже обладают такими возможностями. За стенами фабрики машина, управляющая тысячами ловких роботов, может, например, строить огромное количество домов, каждый из которых приспособлен под потребности и желания своих будущих жильцов. В лабораториях можно было бы отмасштабировать существующие роботизированные системы научного исследования, чтобы они ставили миллионы экспериментов одновременно, — например, для создания полных прогностических моделей организма человека вплоть до молекулярного уровня. Заметьте, что мыслительные способности машины обеспечат ей намного большую возможность обнаруживать несоответствия между научными теориями, а также между теориями и наблюдениями. Действительно, вполне вероятно, что нам уже хватает экспериментальных данных, чтобы найти лекарство от рака, мы лишь не можем свести их воедино.

В киберпространстве машины уже имеют доступ к миллиардам людей через дисплеи всех смартфонов и компьютеров в мире. Это отчасти объясняет способность IT-компаний создавать колоссальное богатство, имея очень мало сотрудников; это также указывает на серьезную уязвимость человеческой расы для манипуляций через экран.

Другого рода масштабирование проистекает из способности машины заглядывать в далекое будущее с большей точностью, чем доступна людям. Мы уже видели это в шахматах и го. Имея способность строить и анализировать иерархические планы на длительные периоды времени, идентифицировать новые абстрактные действия и высокоуровневые описательные модели, машины перенесут это преимущество в такие области, как математика (доказательство новых полезных теорем) и принятие решений в реальном мире. Такие задачи, как эвакуация населения огромного города в случае природной катастрофы, станут относительно несложными, причем машина выработает индивидуальные инструкции для каждого человека и автомобиля, чтобы минимизировать количество несчастных случаев.

Машина без особых усилий могла бы изобрести рекомендации по предотвращению глобального потепления. Моделирование земных систем требует знания физики (атмосфера, океаны), химии (углеродный цикл, почвы), биологии (разложение, миграция птиц), инженерного дела (возобновляемая энергия, связывание углерода), экономики (промышленность, потребление энергии), природы человека (тупость, жадность) и политики (еще больше тупости, еще больше жадности). Как отмечалось, машина получит доступ к огромному числу данных для наполнения этих моделей. Она сможет предложить или осуществить новые эксперименты и экспедиции для снижения неизбежной неопределенности — например, открытия реальных объемов газогидратов в мелководных зонах океана. Она будет способна учесть огромное количество возможных мер политики — законов, стимулов, рынков, изобретений и различных мероприятий, — но, разумеется, должна будет также найти способы убедить нас следовать им.

Пределы сверхинтеллекта

В своих мечтах важно вовремя остановиться. Распространенная ошибка — приписывать сверхинтеллектуальным ИИ-системам божественную силу всеведения, полного и совершенного знания не только настоящего, но и будущего[134]. Это не соответствует действительности, поскольку требует физически недостижимой способности с точностью определять текущее состояние мира, а также нереализуемой возможности моделировать намного быстрее, чем в реальном времени, функционирование мира, включающего саму машину (не говоря уже о миллиардах мозгов, остающихся вторым по сложности объектом во Вселенной).

Это не значит, что невозможно достаточно уверенно предсказать некоторые аспекты будущего. Например, я знаю, какой курс и в какой аудитории буду читать в Беркли почти через год, несмотря на заявления адептов теории хаоса о крыле бабочки и прочем. (Я также не думаю, что люди сколько-нибудь ближе к предсказанию будущего, чем позволяют законы физики!) Чтобы сделать прогноз, нужны правильные абстракции. Например, я могу предсказать, что «я» буду находиться «на трибуне аудитории Уилера» в кампусе Беркли в последний вторник апреля, но не могу предсказать свое местоположение с точностью до миллиметра или какие атомы углерода к тому времени будут содержаться в моем теле.

На машины также распространяются определенные ограничения, налагаемые реальностью на темпы освоения миром новых знаний; это одно из ценных наблюдений Кевина Келли в его статье о сверхупрощенных прогнозах в отношении сверхчеловеческого ИИ[135]. Например, чтобы узнать, лечит ли у подопытного животного данное лекарство определенный вид рака, ученый, будь то человек или машина, выбирает из двух вариантов: ввести животному лекарство и подождать несколько недель или выполнить научно точное моделирование. Моделирование, однако, требует обширных знаний в области биологии, в том числе в настоящее время недоступных, следовательно, сначала пришлось бы поставить эксперименты для построения модели. Без сомнения, это требует времени и должно делаться в реальном мире.

С другой стороны, машина могла бы провести множество экспериментов, необходимых для построения модели, параллельно интегрировать их результаты в согласованную (хотя и очень сложную) модель и сравнить ее предсказания с комплексом экспериментальных данных, доступных биологическим экспериментам. Более того, для этого необязательно квантово-механическое моделирование всего организма вплоть до уровня реакций отдельных молекул — что, отмечает Келли, потребовало бы больше времени, чем эксперименты в реальном мире. Как я могу с определенной уверенностью спрогнозировать, где буду находиться по вторникам в апреле, так и свойства биологических систем можно точно предсказывать на абстрактных моделях, в том числе потому что биология оперирует надежными системами управления на основе комплексных схем обратной связи, и мелкие колебания исходных условий обычно не приводят к крупным отклонениям результатов. Таким образом, хотя маловероятно, чтобы машины сделали научные открытия прямо сейчас, можно ожидать, что с помощью машин наука станет развиваться намного быстрее. Собственно, это уже происходит.

Последнее ограничение машин — они не люди. Это приводит к их объективной слабости при моделировании и предсказании поведения одного специфического класса объектов — людей. Наши мозги очень похожи, соответственно, мы можем ими одинаково пользоваться для того, чтобы моделировать — или, если угодно, переживать — умственную и эмоциональную жизнь других людей. Нам это ничего не стоит. (Если задуматься, машины в отношениях друг с другом имеют еще большее преимущество: они могут буквально выполнять коды друг друга!) Например, мне не нужно быть специалистом по нервным сенсорным системам, чтобы знать, что вы чувствуете, попав молотком по своему пальцу. Машины же должны практически[136] с нуля учиться понимать людей. Они имеют доступ лишь к нашему внешнему поведению, ко всей литературе по нейронауке и психологии и на этой основе должны выработать понимание того, как мы функционируем. По идее, им это по силам, но разумно предположить, что это займет у них больше времени, чем освоение всех остальных возможностей.

В чем польза людям от ИИ?

Благодаря интеллекту мы имеем цивилизацию. Получив доступ к более сильному интеллекту, мы могли бы построить более великую — и, возможно, лучшую — цивилизацию. Можно размышлять о решении крупнейших проблем, стоящих перед человечеством, например бесконечном удлинении жизни или открытии способа путешествия со сверхсветовой скоростью, но эти символы научной фантастики пока не являются движущей силой прогресса в разработке ИИ. (Благодаря сверхинтеллектуальному ИИ мы, вероятно, смогли бы изобрести всевозможные почти волшебные технологии, но сейчас их трудно конкретизировать.) Лучше рассмотрим намного более прозаическую цель: повышение уровня жизни каждого землянина устойчивым образом до такого уровня, который считался бы весьма достойным в развитой стране. В силу выбора (отчасти произвольного) характеристики «достойный» для обозначения 88 % самых благополучных жителей Соединенных Штатов указанная цель предполагает почти десятикратный рост глобального валового национального продукта (ВНП), с $76 трлн до $750 трлн в год[137].

Чтобы подсчитать ценность подобного достижения, экономисты используют чистую приведенную стоимость дохода, учитывающую дисконт будущего дохода относительно настоящего. Дополнительный доход в $674 трлн в год имеет чистую приведенную стоимость около $ 13 500 трлн[138] при предполагаемой величине дисконта в 5 %. Итак, в самом грубом приближении это ориентировочный показатель того, что стоил бы ИИ человеческого уровня, если бы смог обеспечить достойный уровень жизни каждому. При подобных цифрах неудивительно, что компании и страны вкладывают десятки миллиардов долларов в год в исследование и разработку ИИ[139]. Тем не менее инвестиции ничтожны в сравнении с выгодой.

Конечно, все это лишь умозрительные цифры, пока у кого-нибудь не появится идея, как ИИ человеческого уровня мог бы достичь цели повышения уровня жизни. Он сможет это сделать, только увеличив среднедушевое производство товаров и услуг. Иначе говоря, не приходится ожидать, что средний человек мог бы потребить больше, чем производится средним человеком. Пример автономных такси, приведенный ранее в этой главе, иллюстрирует мультипликативный эффект внедрения ИИ: при наличии автоматической службы десять (скажем) человек могли бы управлять армадой из тысячи транспортных средств, так что один человек производил бы в сто раз больше услуг по транспортировке, чем прежде. То же самое можно сказать о производстве автомобилей и добыче материалов, из которых эти автомобили изготавливаются. Кстати, добыча железной руды в некоторых шахтах северной Австралии, где температура регулярно превышает 45 °C, уже сейчас почти полностью автоматизирована[140].

Современные применения ИИ являются специализированными: автономные автомашины и шахты требуют громадных инвестиций в исследования, проектирование конструкций, разработку программного обеспечения и тестирования с целью получения необходимых алгоритмов и проверки того, что они работают именно так, как должны. Такая картина наблюдается во всех сферах инженерного дела. Точно так же дело обстояло и в сфере путешествий: если вы хотели съездить из Европы в Австралию и обратно в XVII в., это был бы сложный проект, очень дорогостоящий, требующий нескольких лет планирования и сопряженный с высоким риском для жизни. Теперь мы привыкли к идее путешествий как к одной из услуг: если вам необходимо быть в Мельбурне в начале следующей недели, нужно всего лишь несколько раз нажать на экран смартфона и заплатить относительно небольшую сумму.

Универсальный ИИ воплощал бы идею всё как услуга. Не нужно было бы задействовать армии специалистов разных профессий, организованных в иерархии подрядчиков и субподрядчиков, чтобы выполнить проект. Все воплощения универсального ИИ имели бы доступ ко всем знаниям и навыкам человеческой расы и многому другому. Единственная разница прослеживалась бы в физических возможностях: опытные ходячие роботы для строительства или хирургии, колесные роботы для крупномасштабной транспортировки товаров, роботы-квадрокоптеры для наблюдения с воздуха и т. д. В принципе, если оставить за скобками политику и экономику, каждый имел бы в своем распоряжении целую организацию, состоящую из программных агентов и физических роботов, способных проектировать и строить мосты, повышать урожайность, готовить ужин на сотню гостей, проводить выборы — делать все, что необходимо. Именно универсальность универсального интеллекта делает это возможным.

Конечно, история доказала, что десятикратное увеличение глобального ВНП на душу населения возможно и без ИИ. Просто это заняло 190 лет (с 1820 по 2010 г.)[141]. И потребовало развития фабрик, станков, автоматизации, железных дорог, сталелитейной промышленности, автомобилей, самолетов, электричества, добычи нефти и газа, телефонов, радио, телевидения, компьютеров, интернета, спутников и многих других революционных изобретений. Десятикратный рост ВНП, имевшийся в виду в предыдущем абзаце, будет обусловлен не дальнейшим появлением революционных технологий, а способностью ИИ-систем использовать то, что у нас уже есть, эффективнее и в большем масштабе.

Разумеется, у роста уровня жизни неизбежно будут другие последствия, помимо чисто материального выигрыша. Например, известно, что персональное обучение намного эффективнее занятий в классе, но, когда оно осуществляется людьми, оно попросту недоступно — и всегда таким будет — огромному большинству землян. При наличии ИИ-преподавателей может быть раскрыт потенциал каждого ученика, даже самого бедного. Затраты в расчете на ребенка будут пренебрежимо малы, и этот ребенок будет жить намного более насыщенной и продуктивной жизнью. Художественные или интеллектуальные цели, индивидуальные или коллективные, станут обычной частью жизни, а не роскошью для избранных.

В сфере здравоохранения ИИ-системы позволят исследователям раскрыть и в совершенстве освоить тонкости строения человека, следовательно, со временем лучше справляться с болезнями. Глубокое понимание человеческой психологии и нейрохимии повсеместно улучшит психическое здоровье.

Пожалуй, несколько непривычный аспект: ИИ значительно повысит эффективность авторского инструментария в области виртуальной реальности (ВР) и поможет наполнить виртуальные пространства намного более интересными сущностями. Это может превратить ВР в основное средство литературного и художественного самовыражения, создавая в ней впечатления недоступного ныне разнообразия и глубины.

В обыденном мире интеллектуальный помощник — если он будет правильно спроектирован и не слишком подчинен экономическим и политическим интересам — позволит каждому человеку самостоятельно и эффективно действовать во все более сложной и подчас враждебной экономической и политической обстановке. Фактически в вашем распоряжении окажется одновременно высококомпетентный адвокат, бухгалтер и советник по политическим вопросам. Как дорожные пробки, предположительно, рассосутся, когда в поток вольется хотя бы малый процент автономных транспортных средств, остается надеяться, что более мудрые политические шаги и меньшее число конфликтов станут следствием лучшей информированности и лучшего учета интересов граждан.

Эти достижения в совокупности могут изменить динамику истории — по крайней мере, ту ее часть, которой традиционно управляли конфликты внутри обществ и между ними за доступ к необходимым для жизни ресурсам. Если пирог по сути бесконечен, то драться за больший кусок незачем. Это было бы сродни борьбе за то, чтобы иметь больше всех цифровых копий газеты — абсолютно бессмысленное дело, когда каждый может бесплатно получить их столько, сколько нужно.

Результаты, которые может обеспечить ИИ, имеют некоторые ограничения. Такие «пироги», как земля и сырье, не бесконечны, следовательно, не может быть неограниченного роста населения и не каждый получит особняк в личном парке. (Это постепенно потребует развернуть добычу полезных ископаемых по всей Солнечной системе и строить жилища в космосе, но я обещал не говорить о научной фантастике.) Пирог гордыни также конечен: лишь 1 % людей может входить в верхний 1 % по любому показателю. Если человеку для счастья нужно относиться к верхнему 1 %, то 99 % человечества обречено быть несчастными, даже если нижний 1 % ведет объективно роскошную жизнь[142]. Следовательно, важно, чтобы наша культура постепенно обесценила гордыню и зависть.

Как замечает Ник Бостром в конце своей книги «Сверхразумность», успех в создании ИИ закладывает «траекторию цивилизационного развития, ведущую к сострадательному и радостному осуществлению вселенского предназначения человечества». Если мы не сумеем воспользоваться преимуществами, предлагаемыми нам ИИ, то должны будем винить в этом лишь самих себя.

Глава 4. Неправомерное использование ИИ

Гуманное и радостное осуществление вселенского предназначения человечества… Звучит прекрасно, но мы должны считаться с быстрым темпом внедрения инноваций в сфере злоупотреблений. Злоумышленники так быстро изобретают новые способы неправомерного использования ИИ, что эта глава, скорее всего, устареет еще до того, как книга пойдет в печать. Отнеситесь к дальнейшим главам не как к поводу для депрессии, а как к призыву действовать, пока не поздно.

Наблюдение, убеждение и контроль

Автоматизированное Штази {7}

Ministerium fr Staatsicherheit, более известное как Штази, многими считается «одним из самых эффективных и репрессивных ведомств разведки и тайной полиции в истории»[143]. Оно копило досье на большинство восточногерманских домохозяйств, прослушивало телефонные разговоры, читало письма и ставило скрытые камеры в жилых домах и отелях. Оно с безжалостной эффективностью выявляло и пресекало деятельность диссидентов, отдавая предпочтение психологическому уничтожению перед тюремным заключением или физическим устранением. Однако такой уровень контроля давался большой ценой: по некоторым оценкам, более четверти взрослых работоспособного возраста являлись информаторами Штази. Архивы Штази оцениваются в 20 млрд страниц[144], и задача обработки и использования громадных входящих потоков информации начинала превосходить возможности любой организации.

Неудивительно, что разведывательные органы оценили потенциал использования ИИ в своей работе. Долгие годы они применяли простые формы ИИ-технологии, в том числе распознавание голоса и идентификацию ключевых слов и фраз в устной и письменной речи. ИИ-системы все более способны понимать содержание того, что говорят и делают люди, будь то в ходе отслеживания разговоров, текстов или видеоизображения. В странах, где эта технология будет служить задаче контроля, возникнет такая же ситуация, как если бы к каждому гражданину был приставлен личный соглядатай из Штази, следящий за ним 24 часа в сутки[145].

Даже в гражданской сфере в относительно демократических странах за людьми ведется все более эффективное наблюдение. Корпорации собирают и продают информацию о наших покупках, пользовании интернетом, социальными сетями и электробытовыми приборами, звонках и текстовых сообщениях, трудовой занятости и здоровье. Наше местоположение можно отследить по мобильному телефону и автомобилю, имеющему выход в интернет. Уличные видеокамеры распознают наши лица. Все эти и многие другие данные можно собрать воедино с помощью интеллектуальных информационных систем и получить весьма полную картину того, что каждый из нас делает, как живет, кого любит и кого не любит и за кого станет голосовать[146]. По сравнению с этим Штази выглядят жалкими любителями.

Управление вашим поведением

Когда возможности слежки реализованы, следующий шаг — изменить ваше поведение так, как нужно тем, кто использует эту технологию. Одним из методов, довольно грубым, является автоматизированное персонализированное вымогательство. Система, понимающая, что вы делаете, — прослушивающая, читающая или наблюдающая за вами визуально — легко заметит, что вы заняты чем-то таким, чего не следовало бы делать. После этого она вступит с вами в переписку и попытается вытрясти из вас как можно больше денег (или принудить вас к определенному действию, если целью является политический контроль или шпионаж). Получение денег служит идеальным вознаграждающим сигналом, подкреплением для обучающегося алгоритма, и следует полагать, что ИИ-системы будут быстро наращивать возможность идентифицировать ненадлежащее поведение и извлекать из него выгоду. Еще в 2015 г. в разговоре со специалистом по компьютерной безопасности я предположил, что скоро можно будет создать автоматизированные системы вымогательства на основе обучения с подкреплением. Он рассмеялся и ответил, что это уже произошло. Первый бот-вымогатель, о котором много говорили, — «Делайла», обнаруженный в 2016 г.[147]

Более тонкий способ менять поведение людей состоит в изменении их информационного окружения, так, чтобы они приобрели другие убеждения и принимали иные решения. Рекламодатели делают это не одно столетие, меняя покупательское поведение индивидов. Пропаганда как средство войны и политического господства имеет еще более долгую историю.

Что же изменилось? Во-первых, поскольку ИИ-системы способны отслеживать онлайновые читательские привычки, предпочтения и вероятный уровень знаний индивида, они могут подгонять конкретные сообщения под эти особенности, максимизируя воздействие на человека и сводя к минимуму риск, что информации не поверят. Во-вторых, система ИИ знает, читает ли индивид сообщение, сколько времени на это тратит и переходит ли по дополнительным ссылкам внутри сообщения. Затем она использует эти сигналы как моментальную обратную связь об успехе или неудаче своей попытки повлиять на каждого индивида. Таким образом, она быстро становится более эффективной в решении своей задачи. Именно так алгоритмы выбора контента в социальных сетях исподволь повлияли на политические убеждения.

Еще одно современное достижение, сочетание ИИ, компьютерной графики и синтеза речи, позволяет создавать дипфейки (наглое вранье) — реалистичный видео- и аудиоконтент, в котором практически любой человек может говорить и делать практически все что угодно. Технология требует немногим больше, чем словесное описание желаемого события, так что воспользоваться ею сможет практически любой. Сделанное на мобильный телефон видео с сенатором Х, принимающим взятку торговца кокаином Y, продвигающего сомнительное начинание Z? Легко! Подобный контент может создавать непоколебимую веру в никогда не происходившие события[148]. Кроме того, ИИ-системы способны продуцировать миллионы ложных идентичностей — так называемые армии ботов, ежедневно выдающих миллиарды комментариев, твитов и рекомендаций, и попытки обычных людей обмениваться надежной информацией утонут в этом потоке. Такие онлайновые торговые площадки, как eBay, Taobao и Amazon, обеспечивающие доверие между покупателями и продавцами при помощи систем репутаций[149], постоянно воюют с армиями ботов, создаваемыми для разрушения этих рынков.

Наконец, методы контроля могут быть прямыми, если правительство способно ввести системы поощрения и наказания на основе поведения. Такая система рассматривает людей как алгоритмы обучения с подкреплением, натаскивая их на оптимизацию достижения цели, установленной го сударством. Государству, особенно построенному на принципе вертикальной социальной инженерии, соблазнительно рассуждать следующим образом: для каждого было бы лучше вести себя хорошо, быть патриотом и способствовать прогрессу своей страны; технология позволяет измерять поведение индивида, его взгляды и вклад в общее дело; следовательно, все только выиграют, если создать технологичную систему мониторинга и контроля, основанную на поощрении и наказании.

Подобная логическая цепочка имеет ряд недостатков. Во-первых, она игнорирует психологические издержки жизни в системе навязанного мониторинга и принуждения. Внешняя гармония, прикрывающая внутреннюю несчастность, едва ли является идеалом. Любое проявление доброты перестает быть проявлением доброты и становится действием по максимизации личного рейтинга и соответственно воспринимается адресатом. Что еще хуже, сама идея проявления альтруизма постепенно превращается в смутное воспоминание о чем-то, что когда-то было нормой. При такой системе, навещая друга в больнице, совершаешь поступок, имеющий не больше нравственного значения и эмоциональной ценности, чем если останавливаешься на красный свет. Во-вторых, эта схема подвержена той же ошибке, что и стандартная модель ИИ, а именно, она предполагает, что заявленная цель действительно является истинной, глубинной целью. Неизбежно восторжествует закон Гудхарта, и индивиды начнут оптимизировать официальные параметры внешнего поведения, как университеты научились оптимизировать «объективные» показатели «качества» из систем университетскихрейтингов, вместо того чтобы повышать настоящее (но неизмеряемое) качество[150]. Наконец, введение единого параметра добродетельности упускает из виду то, что успешное общество может объединять очень разных индивидов, каждый из которых вносит в него уникальный вклад.

Право на психическую безопасность

Одним из великих завоеваний цивилизации является постепенное повышение физической безопасности для человека. Большинство из нас могут рассчитывать на спокойную жизнь, не омраченную постоянным страхом ранения и смерти. Статья 3 Всеобщей декларации прав человека 1948 г. гласит: «Каждый имеет право на жизнь, свободу и личную безопасность».

Я полагаю, что каждый также должен иметь право на психическую безопасность — право жить в преимущественно правдивом информационном окружении. Люди склонны верить своим глазам и ушам. Мы даем родственникам, друзьям, учителям и (некоторым) средствам медиа привилегию сообщать нам то, что они считают правдой. Хотя мы не ждем правды от продавцов подержанных машин и политиков, бывает трудно поверить, что можно настолько беспардонно врать. Следовательно, мы крайне уязвимы для технологии дезинформации.

Право на психическую безопасность не предусматривается Всеобщей декларацией. Статьи 18 и 19 утверждают право «свободы мысли» и «свободы мнений и высказываний». Разумеется, мысли и мнения человека отчасти формируются его информационным окружением, которое, в свою очередь, подпадает под действие статьи 19 о «праве… распространять информацию и идеи любыми средствами и независимо от государственных границ». Итак, кто угодно, находящийся где угодно в мире, имеет право сообщать вам ложную информацию. Здесь и коренится проблема: демократические страны, особенно Соединенные Штаты, по большей части не желают — или конституционно не имеют права — препятствовать распространению ложной информации на общественно значимые темы из обоснованных опасений государственного контроля слова. Вместо того чтобы стоять на том, что нет свободы мысли без доступа к истинной информации, демократии держатся наивной веры, будто истина в конце концов восторжествует. Так истина остается без защиты. Германия является исключением; недавно она приняла Закон о сетевой защите, требующий от платформ распространения контента удалять запрещенные ксенофобские высказывания и фейковые новости, который, однако, подвергается серьезной критике как нереализуемый и недемократичный[151].

Таким образом, на сегодняшний день мы можем ожидать сохранения угрозы нашей психической безопасности, защищаемой, главным образом, коммерческими и волонтерскими силами. Это в том числе сайты проверки фактов, например factcheck.org и snopes.com, но, разумеется, как грибы после дождя растут другие сайты «проверки фактов», где истина объявляется ложью, а ложь истиной.

Крупнейшие информационные службы, скажем, Google и Facebook, испытывают в Европе и Соединенных Штатах колоссальное давление «что-нибудь с этим сделать». Они экспериментируют с возможностями помечать или дисквалифицировать ложный контент — силами как ИИ, так и сортировщиков-людей — и направлять пользователей к проверенным источникам, противодействуя дезинформации. В конечном счете все подобные меры опираются на круговые системы репутации, а именно, источникам доверяют, потому что пользующиеся доверием источники называют их заслуживающими доверия. При достаточном количестве ложной информации эти системы репутаций могут дать сбой: источники, действительно заслуживающие доверия, могут его лишиться, и наоборот, что и наблюдается сегодня в большинстве медиаисточников, в том числе CNN и Fox News. Авив Овадья, специалист по технологиям, ведущий борьбу с дезинформацией, называет это явление «инфопокалипсис — катастрофическое обрушение рынка идей»[152].

Одним из способов обезопасить системы репутаций является внедрение источников, максимально близких к реальной ситуации. Единственный факт, безусловно, истинный, обесценивает любое количество источников, надежных лишь отчасти, если они распространяют информацию, противоречащую этому факту. Во многих странах нотариусы выступают источниками проверенных фактов, поддерживающими истинную правовую и наследственную информацию; они обычно являются незаинтересованной третьей стороной в любой сделке и получают лицензию правительства или профессиональных объединений. (В лондонском Сити Почтенное сообщество писцов — Worshipful Company of Scriveners — выполняет эту функцию с 1373 г., что свидетельствует о том, что определенная стабильность неотделима от роли глашатая истины.) Если для сайтов по проверке фактов утвердят стандарты, профессиональные квалификации и процедуры лицензирования, это будет способствовать сохранению валидности информационных потоков, от которых мы зависим. Такие организации, как W3C Credible Web group и Credibility Coalition, ставят целью разработку технологических методов и методов краудсорсинга по оценке провайдеров информации, что в дальнейшем позволит пользователям отфильтровывать ненадежные источники.

Второй способ защитить системы репутаций — это сделать распространение ложной информации затратным. Так, некоторые сайты с рейтингами отелей принимают обзоры, посвященные тому или иному отелю, только от людей, забронировавших и оплативших номер в этом отеле через сайт, тогда как другие принимают отклики от кого угодно. Неудивительно, что рейтинги на сайтах первой группы намного более объективны, поскольку предполагают определенные затраты (оплату ненужного номера в отеле) на недобросовестные отзывы[153]. Правовые санкции являются намного более спорными: никто не хочет появления Министерства правды, и немецкий Закон о сетевой защите устанавливает наказания только для платформ — распространителей контента, а не для человека, разместившего фейковые новости. Вместе с тем многие страны и многие штаты США запретили запись телефонных разговоров без разрешения, так что можно было бы, по крайней мере, ввести санкции за создание подложных аудио и видеозаписей реальных людей.

Наконец, в нашу пользу играют еще два факта. Во-первых, почти никто не испытывает осознанного желания слушать ложь, зная, что ему лгут. (Это не значит, что родители всегда допытываются, насколько искренни похвалы уму и красоте их детей; они, однако, менее склонны искать подобные подтверждения со стороны заведомых неисправимых лжецов.) Из этого следует, что люди любых политических убеждений имеют стимул принять инструменты, помогающие им отличать правду от лжи. Во-вторых, никто не хочет прослыть лжецом, и меньше всех — новостные источники. Отсюда провайдеры информации — во всяком случае, дорожащие своей репутацией — имеют стимул вступать в профессиональные объединения и подписывать кодексы корпоративной этики, поощряющие говорить правду. В свою очередь, платформы социальных сетей могут предложить пользователям возможность просматривать контент только из проверенных источников, подписавших эти кодексы и согласившихся на независимую проверку истинности фактов.

Автономные системы оружия летального действия

ООН определяет автономные системы оружия летального действия (Lethal Autonomous Weapons Systems — сокращенно AWS, поскольку LAWS звучит двусмысленно{8}) как системы, оснащенные оружием, способные «находить, выбирать и уничтожать живые цели без участия человека». AWS небезосновательно считаются «третьей революцией в области вооружений» после пороха и ядерного оружия.

Возможно, вы читали об AWS в СМИ. Обычно статьи называют такие системы роботами-убийцами и сопровождаются кадрами из «Терминатора». Это вводит в заблуждение по меньшей мере в двух отношениях: во-первых, при этом предполагается, что автономное оружие представляет собой угрозу, поскольку может захватить власть над миром и уничтожить человечество; во-вторых, подразумевается, что автономное оружие будет человекоподобным, обладающим сознанием и агрессивным.

Совместными усилиями СМИ, пишущие на эту тему, придали ей научно-фантастический характер. Даже правительство Германии поддалось общим настроениям и выступило с заявлением[154] о том, что «наличие способности учиться и обретать самосознание представляет собой обязательный атрибут для того, чтобы отдельные функции или оружейные системы можно было определить как автономные». (В этом столько же смысла, сколько в утверждении, что ракета не ракета, если не летит быстрее скорости света.) В действительности автономное оружие будет иметь ту же степень автономии, что и шахматная программа, которая получает задачу выиграть партию и сама решает, куда двигать собственные фигуры и какие фигуры противника брать.

AWS не научная фантастика. Они уже существуют. Вероятно, самым очевидным примером является израильский разведывательно-ударный беспилотник Harop (рис. 7, слева), барражирующий аппарат с размахом крыльев 3 м и боевой частью весом 27 кг. Он до шести часов ведет в заданном географическом районе поиск любой цели, отвечающей указанному критерию, и уничтожает ее. Критерием может быть «излучает сигнал, напоминающий работу РЛС обнаружения воздушных целей» или «похоже на танк».

Если объединить последние достижения в области разработки миниатюрных квадрокоптеров, миниатюрных камер, чипов машинного зрения, алгоритмов навигации и методов обнаружения и слежения за людьми, можно в весьма недалеком будущем создать оружие для поражения личного состава, подобное Slaughterbot[155], изображенному на рис. 7 (справа). Такому оружию можно было бы дать задачу атаковать любого человека, отвечающего определенным визуальным критериям (возраст, пол, униформа, цвет кожи и т. д.), или даже конкретного человека, основываясь на распознавании лиц. Я слышал, что Министерство обороны Швейцарии уже создало и протестировало настоящий Slaughterbot и установило, что, как и ожидалось, технология реализуема и работает как летальное оружие.

С 2014 г. в Женеве на уровне дипломатов ведутся дискуссии, которые могут привести к запрету AWS. В то же время некоторые из основных участников этих дискуссий (США, Китай, Россия, а также, в некоторой степени, Израиль и Великобритания) уже вступили в опасное соревнование по разработке автономного оружия. В США, например, программа «Совместные операции в закрытых зонах» (Collaborative Operations in Denied Environments, CODE) пытается реализовать автономное функционирование, обеспечив возможность работы таких дронов, которые не могут постоянно контактировать с командным пунктом. Дроны будут «охотиться стаями, как волки», утверждает руководитель программы[156]. В 2016 г. ВВС США продемонстрировали развертывание в полете 103 микродронов Perdix с тремя истребителями F/A-18. Согласно сделанному заявлению, «Perdix не являются запрограммированными синхронизированными индивидуальными элементами, это коллективный организм, имеющий один распределенный „мозг“, занимающийся принятием решений и их взаимным приспособлением, как пчелиный рой»[157].

Возможно, вам кажется совершенно очевидным, что создание машин, которые могут принять решение убивать людей, — плохая мысль. Однако «совершенно очевидно» не всегда убедительно для правительств — включая некоторых из перечисленных в предыдущем абзаце, — помешанных на достижении чего-то, что они считают стратегическим превосходством. Более убедительной причиной для запрещения автономного оружия является то, что это масштабируемое оружие массового уничтожения.

Масштабируемый — это термин из области программирования. Процесс является масштабируемым, если вы можете увеличить его в миллион раз, по сути просто купив в миллион раз больше оборудования. Так, Google обрабатывает около 5 млрд поисковых запросов в день силами не миллионов сотрудников, а миллионов компьютеров. При наличии автономного оружия вы можете совершить в миллион раз больше убийств, купив в миллион раз больше оружия, именно потому что оно автономно. В отличие от дронов с дистанционным управлением или АК-47, им не нужно участие человека, чтобы делать свою работу.

Как оружие массового уничтожения масштабируемое автономное оружие имеет преимущества для атакующего перед ядерным оружием и ковровыми бомбардировками: оно не повреждает имущество и может применяться избирательно для уничтожения лишь тех, кто представляет угрозу. Оно, безусловно, может использоваться для того, чтобы целиком смести с лица земли определенную этническую группу или всех последователей какой-либо религии (если у них есть видимые отличительные признаки). Более того, если применение ядерного оружия представляет собой катастрофический рубеж, который нам удается (нередко по чистому везению) не переступить с 1945 г., в отношении масштабируемого автономного вооружения такой рубеж отсутствует. Атаки могут усиливаться постепенно: сначала сотня убитых, потом тысяча, десять тысяч, сто тысяч. В дополнение к реальной атаке сама угроза применения подобного оружия делает его эффективным средством устрашения и подавления. Автономное оружие значительно снизит безопасность человека на всех уровнях: личном, местном, общенациональном и международном.

Это не значит, что автономные системы вооружений станут концом мира в духе фильмов о Терминаторе. Они необязательно должны быть особенно интеллектуальными — самоуправляемый автомобиль, пожалуй, должен быть умнее, — и их миссии будут не из разряда «поработить мир». Экзистенциальный риск, который несет ИИ, проистекает, прежде всего, не из простоватых роботов-убийц. С другой стороны, сверхинтеллектуальные машины в конфликте с человечеством, безусловно, могли бы вооружиться подобным образом, превратив относительно тупых роботов-убийц в физическое продолжение всемирной системы управления.

Уничтожение привычной нам работы

Тысячи статей в СМИ и авторских колонок, немало книг было посвящено роботам, отнимающим работу у людей. По всему миру возникают исследовательские центры, пытающиеся представить возможное развитие событий[158]. Названия книг Мартина Форда «Роботы наступают. Развитие технологий и будущее без работы»[159] и Калума Чейса «Экономическая сингулярность: искусственный интеллект и смерть капитализма»[160] неплохо характеризуют эти опасения. Хотя я, что скоро станет очевидно, никоим образом не являюсь экспертом в вопросе, относящемся к компетенции экономистов, мне он кажется слишком важным, чтобы всецело им доверять[161].

Внимание к вопросу технологической безработицы привлекла знаменитая статья Джона Мейнарда Кейнса «Экономические возможности для наших внуков». Она была написана в 1930 г., когда Великая депрессия привела к массовой безработице в Британии, но сама тема имеет значительно более долгую историю. Аристотель в первой книге «Политики» достаточно четко формулирует ее суть:

Если бы каждое орудие могло выполнять свойственную ему работу само, по данному ему приказанию или даже его предвосхищая… если бы ткацкие челноки сами ткали, а плектры сами играли на кифаре, тогда и зодчие не нуждались бы в работниках, и господам не нужны были бы рабы[162].

Каждый согласится с наблюдением Аристотеля, что, если работодатель находит механический метод выполнения работы, которую прежде делал человек, это приводит к немедленному сокращению трудовой занятости. Вопрос в том, будет ли оно впоследствии нивелировано так называемыми компенсационными эффектами, в целом способствующими росту занятости. Оптимисты отвечают утвердительно и в сегодняшних дебатах указывают на новые виды работы, возникшие со времен предшествующих промышленных революций. Пессимисты отвечают отрицательно и утверждают, что машины будут делать и «новую работу». Если машина заменяет физический труд человека, человек может продавать свои умственные способности. Если же машина заменяет и умственный труд, что еще он может продать?

В романе «Жизнь 3.0» Макс Тегмарк изображает предмет этого спора как беседу двух лошадей, обсуждающих в 1900 г. внедрение двигателя внутреннего сгорания. Один собеседник предсказывает «новые виды работы для лошадей… Так всегда случалось прежде, когда, например, изобрели колесо и плуг». Для большинства лошадей, увы, «новый вид работы» заключается в том, чтобы пойти в корм для домашних животных.

Спор ведется тысячелетиями, поскольку эффекты наблюдаются в обоих направлениях. Реальный результат зависит от того, какие из них пересиливают. Рассмотрим, например, что происходит с малярами по мере совершенствования технологии. Для простоты будем считать, что толщина малярной кисти обозначает степень автоматизации:

• Если кисть имеет толщину в один волос (десятая доля миллиметра), требуются тысячи человеко-лет, чтобы покрасить дом, и, в сущности, нет ни одного трудоустроенного маляра.

• При кистях миллиметровой толщины горстка художников создает штучные изысканные росписи в королевском дворце. При толщине в один сантиметр моду на росписи перенимает знать.

Страницы: «« 123456 »»

Читать бесплатно другие книги:

Другая женщина
Другая женщина
Джонс Сэнди
Лёка и Дмитрий, Варвара и Глеб, Андрей и Ирина встречают друг друга слишком поздно… «Солнечный удар»...
Стеллар. Трибут
Стеллар. Трибут
Прокофьев Роман
О чем эта книга?О тайнах мира, разрушенного сущностями, приходящими из Грани. О Черной Луне, об Одер...
Пока медведица на небе
Пока медведица на небе
Ефимова Юлия
Страшная война не проходит бесследно. Она эхом доносится из прошлого, даже в наше мирное время, заст...
Петр Первый
Петр Первый
Толстой Алексей
Библиотека проекта «История Российского государства» – это рекомендованные Борисом Акуниным лучшие п...
Мальчик одноразовый
Мальчик одноразовый
Монастырский Сергей
Вовчик был влюбчив. Но влюблялся ненадолго. На две недели. Больше он боялся. Потому что будет уже се...
Лживая взрослая жизнь
Лживая взрослая жизнь
Ферранте Элена
"Лживая взрослая жизнь" – это захватывающий, психологически тонкий и точный роман о том, как нелегко...