Верховный алгоритм: как машинное обучение изменит наш мир Домингос Педро

Теперь, когда наше путешествие по чудесной Стране машинного обучения закончено, давайте сменим тему и посмотрим, что все это значит лично для вас. Верховный алгоритм — как красная таблетка в «Матрице»[108]. Это портал в другую реальность: ту, в которой мы уже живем, но пока еще о ней не подозреваем. От свиданий до работы, от самопознания до будущего нашего общества, от совместного использования данных до боевых действий и от опасностей искусственного интеллекта до следующей остановки на пути эволюции новый мир уже принимает очертания, и машинное обучение — ключ к нему. Эта глава поможет вам взять от жизни максимум и быть готовым к тому, что ждет нас впереди. Машинное обучение как таковое будет определять будущее не больше, чем любая другая технология. Важно то, что мы решим сделать, и теперь у вас есть инструменты, необходимые для решения.

Главный из этих инструментов — Верховный алгоритм. Когда он появится и будет ли похож на Alchemy — не столь существенно, имея в виду важнейшие способности обучающихся алгоритмов, которые он воплощает, и то, куда они нас приведут. Верховный алгоритм можно с тем же успехом считать сложным изображением текущих и будущих алгоритмов машинного обучения, которым удобно пользоваться в наших мысленных экспериментах вместо конкретных алгоритмов продукта X или сайта Y, которыми соответствующие компании вряд ли с нами поделятся. Если смотреть с этой точки зрения, обучающиеся алгоритмы, с которыми мы каждый день соприкасаемся, — это «эмбрионы» Верховного алгоритма, и наша задача — понять их и направить их развитие так, чтобы они лучше отвечали нашим потребностям.

В ближайшие десятилетия машинное обучение повлияет на множество аспектов человеческой жизни, и одной главы этой книги совершенно недостаточно, чтобы должным образом их описать. Тем не менее уже можно заметить целый ряд тем, на которых стоит сосредоточиться, а начнем мы с того, что психологи называют теорией разума — компьютерной моделью вашего сознания, не больше и не меньше. 

Секс, ложь и машинное обучение

Цифровое будущее начинается с осознания факта: взаимодействуя с компьютером — будь то ваш собственный смартфон или удаленный за тысячи километров сервер, — вы каждый раз делаете это на двух уровнях. Первый — желание немедленно получить то, что вам нужно: ответ на вопрос, желаемый товар, новую кредитную карточку. На втором уровне, стратегическом и самом важном, вы рассказываете компьютеру о себе. Чем больше вы его учите, тем лучше он будет вам служить или манипулировать вами. Жизнь — это игра между вами и окружающими вас обучающимися алгоритмами. Можно отказаться играть, но тогда в двадцать первом веке вам придется жить как в двадцатом. А можно играть и выиграть. Какую модель вашей личности вы хотите предложить компьютеру? Какие данные можно ему дать, чтобы он построил эту модель? Эти вопросы надо держать в уме всякий раз, когда вы взаимодействуете с алгоритмом машинного обучения — точно так же как при общении с людьми. Элис знает, что у Боба есть ее психологическая модель, и стремится повлиять на нее своим поведением. Если Боб — ее начальник, девушка постарается выглядеть компетентной, лояльной и трудолюбивой. Если она хочет соблазнить Боба, она будет само очарование. Мы едва ли сможем функционировать в обществе без способности интуитивно угадывать, что на уме у других людей, и реагировать на это. Сегодняшний мир отличается только тем, что теории разума начали появляться и у компьютеров. Пока эти теории все еще примитивны, но они быстро развиваются, и нам придется с ними работать не меньше, чем с другими людьми, чтобы получить желаемое. Следовательно, вам понадобится теория разума компьютера, а даст ее Верховный алгоритм, если подключить к нему функцию присвоения баллов (то, что, по вашему мнению, цели обучающегося алгоритма или, точнее, его хозяина) и данные (то, что, как вы думаете, знает компьютер).

Возьмем онлайн-знакомства. Когда вы пользуетесь Match.com, eHarmony или OkCupid (поборите недоверие, если нужно), ваша цель проста: найти себе лучшую пару из всех возможных. При этом имеется вероятность, что вам придется хорошо потрудиться и пройти через несколько неудачных свиданий, прежде чем вы встретите человека, который вам по-настоящему понравится. Один упорный чудак извлек из OkCupid 20 тысяч профилей, самостоятельно провел добычу данных, на 88-м свидании встретил женщину своей мечты и рассказал о своей одиссее журналу Wired. Два главных инструмента, которые помогут вам преуспеть с меньшим объемом данных и меньшими трудозатратами, — ваш собственный профиль и ваша реакция на предложенные компьютером варианты. Один популярный вариант поведения — говорить неправду (о своем возрасте, например). Такой подход может показаться неэтичным, не говоря о том, что есть риск с треском провалиться, когда избранник откроет правду, но тут имеется нюанс. Искушенные поклонники онлайн-знакомств уже поняли, что люди приукрашивают возраст в профиле, и делают соответствующие поправки, поэтому указать свой настоящий возраст — все равно что сказать, что вы старше, чем на самом деле! В свою очередь, обучающийся алгоритм, подбирающий пары, приходит к выводу, что людям нравятся более молодые партнеры, чем в действительности. Логичный следующий шаг для человека — еще больше исказить свой возраст, и в конце концов этот атрибут становится бессмысленным.

Более удачная стратегия для всех заинтересованных сторон — сосредоточиться на особых, необычных атрибутах, которые очень хорошо предопределяют подходящую пару в том смысле, что отбирают людей, которых полюбили бы вы, но далеко не все остальные. Тем самым уменьшается количество конкурентов. Ваша задача (и вашего потенциального избранника тоже) — предоставить эти атрибуты компьютеру. Работа подбирающего пары алгоритма — учиться на основе этой информации, точно так же как училась бы традиционная сваха. По сравнению с деревенской свахой алгоритм Match.com имеет преимущество: он знает — пусть и поверхностно — несравнимо больше людей. Наивный обучающийся алгоритм, например перцептрон, будет довольствоваться широкими обобщениями вроде «джентльмены предпочитают блондинок». Более совершенный алгоритм увидит паттерны, например «люди с одинаковыми необычными музыкальными предпочтениями часто хорошо подходят друг к другу». Если и Элис, и Боб любят Бейонсе, этот факт сам по себе вряд ли сведет их друг с другом. Но если им обоим нравится Bishop Allen, это как минимум немного повышает вероятность, что они родственные души. Если оба — фанаты группы, о которой компьютер не слышал, это даже лучше, но уловить это сможет только реляционный алгоритм, например Alchemy. Чем лучше обучающийся алгоритм, тем целесообразнее тратить время на то, чтобы рассказать ему о себе. Согласно общему правилу, лучше дифференцировать себя настолько, чтобы вас не путали со «среднестатистическим человеком» (помните Боба Бернса из главы 8?), но при этом не быть слишком необычным, иначе алгоритм не сможет вас постичь.

На самом деле онлайн-знакомства — сложный пример, потому что «химия» не всегда предсказуема. Если первое свидание пройдет как по маслу, люди могут по уши влюбиться и страстно верить, что созданы друг для друга, а если беседа примет другой оборот — посчитать друг друга назойливыми и потерять всякий интерес к дальнейшим встречам. По-настоящему сложный алгоритм машинного обучения сделал бы следующее: провел тысячу симуляций свиданий в стиле Монте-Карло между всеми вероятными парами, а затем выстроил рейтинг пар согласно доле успешных свиданий. Пока это невозможно, сайты знакомств могут устраивать вечеринки и приглашать людей, каждый из которых — вероятная пара для многих других присутствующих, чтобы дать им возможность за несколько часов сделать то, что в другом случае заняло бы недели.

Если вы не фанат интернет-знакомств, полезным выводом из вышесказанного будет понимание, какие взаимодействия с компьютером стоит сохранять. Если вы не хотите, чтобы из-за рождественских покупок Amazon запутался в ваших предпочтениях, заказывайте подарки на других сайтах. (Прости, Amazon.) Если дома и на работе вы смотрите разные типы видео, заведите два аккаунта на YouTube, по одному для каждой цели, и YouTube научится давать соответствующие рекомендации. А если вы собираетесь посмотреть то, что вас обычно не интересует, сначала разлогиньтесь. Безопасный режим Chrome используйте не для просмотра сомнительных сайтов (конечно, вы и так туда не ходите), а когда хотите, чтобы текущая сессия не повлияла на персонализацию в будущем. Если в аккаунт на Netflix добавить профили для разных людей, сайт не станет рекомендовать вам взрослые фильмы для вечернего просмотра в кругу семьи. Если вы невзлюбили какую-то компанию, кликайте на ее рекламу: они потратят деньги не только сейчас, но и в будущем, потому что Google научится показывать их объявления тем, кто вряд ли купит их продукцию. А если у вас есть конкретные запросы и вы хотите, чтобы Google в будущем отвечал на них правильно, уделите минуту, пройдитесь по страницам последних результатов, поищите хорошие ссылки и кликните на них. В целом, если система постоянно рекомендует не то, что нужно, попытайтесь ее научить: найдите группу правильных результатов, пройдите по ссылкам, а потом вернитесь и посмотрите, изменилась ли ситуация.

Все это, однако, может потребовать больших усилий и показывает, что, к сожалению, канал коммуникации между вами и обучающимся алгоритмом сегодня очень узок. Желательно иметь возможность не просто косвенно обучать алгоритмы своими действиями, а рассказывать о себе столько, сколько хочется. Более того, неплохо иметь доступ к проверке модели своей личности, сформированной алгоритмом машинного обучения, и исправлять ее по своему усмотрению. Обучающийся алгоритм может проигнорировать вас, если решит, что вы врете или не очень хорошо себя знаете, но как минимум у него будет возможность учесть ваш собственный вклад. Для этого модель должна быть представлена в понятной форме, например в виде набора правил, а не нейронной сети, и в дополнение к необработанным данным она должна на входе принимать общие утверждения, как это делает Alchemy. Все это подводит нас к вопросу, насколько хорошую модель вашей личности может получить обучающийся алгоритм и что вы хотели бы сделать с этой моделью. 

Цифровое зеркало

Подумайте обо всех своих данных, которые записаны во всех компьютерах мира. Это электронные письма, документы MS Office, тексты, твиты, аккаунты на Facebook и LinkedIn, история поиска в интернете, клики, скачанные файлы и заказы, кредитная история, налоги, телефон и медицинская карта, статистика на Fitbit, информация о вождении, записанная в бортовом компьютере вашего автомобиля, карта перемещений, зарегистрированная вашим мобильным телефоном, все фотографии, которые вы когда-либо делали, короткие появления в записях камер слежения, а также ролики, снятые на Google Glass, и так далее и тому подобное. Если бы у будущего биографа был доступ только к этому «выхлопу данных» и ни к чему больше, какая бы картина у него сложилась? Вероятно, довольно точная и во многих отношениях подробная, но тем не менее без некоторых существенных деталей. Почему в один прекрасный день вы решили изменить карьеру? Смог бы биограф предсказать этот шаг заранее? Что с человеком, которого вы встретили однажды и никогда о нем не забывали? Смог бы биограф отмотать ленту назад и сказать: «Вот он!»

Понимание, что ни один обучающийся алгоритм (даже Агентство национальной безопасности) на сегодняшний день не имеет доступа ко всем этим данным, а даже если бы имел, то не знал бы, как превратить их в истинное ваше подобие, — это отрезвляющая и, может быть, обнадеживающая мысль. Но представьте, что вы взяли все свои данные и отдали их настоящему Верховному алгоритму будущего, в котором уже есть знание о человеческой жизни, которому мы можем его научить. Он создаст вашу модель, и вы сможете носить ее на флешке в кармане, при желании проверять ее и использовать для всего чего угодно. Безусловно, это будет прекрасный инструмент самоанализа — как посмотреть на себя в зеркало. Но зеркало было бы цифровое и показывало бы не только вашу внешность, но и все, что можно узнать, наблюдая за вами. Зеркало могло бы ожить и поговорить. О чем бы вы у него спросили? Может быть, не все, что скажет модель, придется вам по душе, но это будет лишь еще одной причиной задуматься. А некоторые ответы подскажут новые идеи, новые направления. Модель вашей личности, созданная Верховным алгоритмом, могла бы даже помочь вам стать лучше.

Оставим в стороне самосовершенствование. Вероятно, первое, что вы захотели бы от своей модели, — поручить ей договариваться с миром от вашего имени: выпустить ее в киберпространство, чтобы она искала для вас всякую всячину. Из всех книг в мире она порекомендует десяток, которые вы захотите прочитать в первую очередь, и советы будут такими глубокими, что Amazon и не снились. То же произойдет с фильмами, музыкой, играми, одеждой, электроникой, чем угодно. Разумеется, ваш холодильник будет всегда полон. Модель станет фильтровать вашу электронную и голосовую почту, новости на Facebook и обновления на Twitter, а когда это уместно, отвечать вместо вас. Она позаботится обо всех надоедливых мелочах современной жизни, например о проверке счетов по кредитке, об обжаловании неправильных транзакций, о планировании расписания, обновлении подписок и заполнении налоговой отчетности. Она подберет вам лекарство, сверится с лечащим врачом и закажет его в Walgreens. Она обратит ваше внимание на интересные объявления о работе, предложит место для отпуска, посоветует, за каких кандидатов проголосовать в избирательном бюллетене, и просканирует людей, с которыми стоит сходить на свидание. А после того как вы познакомитесь и понравитесь друг другу, ваша модель объединится с моделью вашей избранницы и выберет рестораны, которые вам обоим могут понравиться. И здесь становится по-настоящему интересно. 

Общество моделей

В очень быстро надвигающемся будущем вы окажетесь не единственным человеком с «цифровой половинкой», которая круглые сутки исполняет ваши поручения. Подобная модель личности появится у каждого, и модели будут все время общаться друг с другом. Если вы ищете работу, а компания X — сотрудников, то ее модель будет проводить собеседование с вашей. Их «разговор» во многом напомнит настоящий, «живой», — ваша модель будет хорошо проинструктирована, например, она не станет выдавать о вас негативную информацию, — однако весь процесс займет всего долю секунды. В своем будущем аккаунте на LinkedIn вы кликнете «Найти работу» и немедленно пройдете собеседование на все должности во Вселенной, которые хотя бы отдаленно соответствуют вашим параметрам (профессии, местожительству, зарплате и так далее). LinkedIn тут же выдаст ранжированный список самых перспективных предложений, и вы выберете из него первую компанию, с которой желаете побеседовать лично. То же самое с романтическими знакомствами: ваша модель сходит вместо вас на миллионы свиданий, а в ближайшую субботу вы встретитесь с наиболее перспективными кандидатами на вечеринке, организованной OkCupid, зная, что вы один из самых перспективных кандидатов для них, и понимая при этом, что другие лучшие кандидаты вашего потенциального избранника тоже приглашены. Это будет интересный вечер.

В мире Верховного алгоритма «мои люди свяжутся с вашими» превратится в «моя программа свяжется с вашей программой». У каждого человека будет свита ботов, призванная сделать более легким и приятным его путь по миру. Сделки, переговоры, встречи — все это будет организовано, не успеете вы шевельнуть пальцем. Сегодня фармацевтические компании обхаживают врачей, потому что именно врач решает, какие лекарства вам выписать. Завтра поставщики всех продуктов и услуг, которыми вы пользуетесь или могли бы воспользоваться, будут нацелены на вашу модель, потому что она начнет проверять их для вас. Их боты попытаются убедить вашего бота сделать покупку. Задача вашего бота — насквозь видеть их намерения, как вы — телерекламу, но еще тоньше и подробнее, потому что у вас никогда нет времени и терпения, чтобы во всем разобраться. Прежде чем купить машину, ваша цифровая личность пройдется по всем параметрам, обсудит их с производителем и изучит все, что когда-либо было сказано об этой машине и альтернативных вариантах. Ваша цифровая половинка окажется похожа на гидроусилитель руля: жизнь пойдет туда, куда хотите, но с меньшими усилиями с вашей стороны. Это не значит, что вы окажетесь в «фильтрующем пузыре» и станете видеть только то, что вам гарантированно понравится, без каких-то неожиданностей. Цифровая личность окажется гораздо умнее, у нее будет инструкция оставлять место для шанса, давать вам соприкасаться с новым опытом, искать счастливые случайности.

Еще интереснее, что этот процесс не закончится, когда вы найдете машину, дом, врача, работу или спутника жизни. Цифровая половинка станет постоянно учиться на своем опыте — точно так же как учитесь вы сами. Она будет искать оптимальные подходы везде, будь то собеседования о приеме на работу, свидания или поиск недвижимости. Она будет узнавать сведения о людях и организациях, с которыми взаимодействует от вашего имени, а потом — что еще важнее — черпать информацию из вашего общения с ними в реальности. Если программа предсказала, что вы с Элис будете прекрасной парой, а вам оказалось некомфортно вместе, цифровая половинка построит гипотезы о возможных причинах и проверит их в следующем раунде свиданий. Самыми важными открытиями она будет делиться с вами. («Вы уверены, что вам понравится X, но на самом деле вы скорее предпочтете Y».) Сравнивая ваши впечатления от различных гостиниц с обзорами на TripAdvisor, программа определит настоящие лакомые кусочки и найдет их в дальнейшем. Она не просто узнает, какие онлайн-магазины достойны доверия, но и поймет, как раскусить самые ненадежные. У вашей цифровой половинки будет модель мира, точнее, модель вашего отношения к миру. В то же время, конечно, все остальные тоже будут располагать непрерывно эволюционирующими моделями своего мира. Все стороны станут взаимодействовать и учиться, а потом применять полученные знания к следующему взаимодействию. У вас будет собственная модель каждого человека и организации, с которыми вы контактировали, а у них сформируется ваша. По мере совершенствования моделей взаимодействие будет все более похожим на то, что сложилось бы в реальном мире, однако происходить оно будет in silico и в миллион раз быстрее. Киберпространство завтрашнего дня превратится в очень обширный параллельный мир, который станет выбирать все самое перспективное, чтобы испробовать в реальности. Это будет похоже на новое, глобальное подсознание, коллективный «Ид» человечества, или «Оно»[109]. 

Делиться или не делиться, а если да, то где и как

Конечно, полностью самостоятельное познание мира — медленный процесс, даже если ваша цифровая половинка делает это на порядок эффективнее, чем человек из плоти и крови. Если другие узнают вас быстрее, чем вы узнаете их, появятся проблемы. Чтобы этого избежать, надо делиться информацией: миллионы людей, объединив свои знания, узнают компанию или товар гораздо быстрее, чем один человек. Но с кем стоит делиться данными? Это, может быть, самый важный вопрос XXI столетия.

Сегодня данные можно разделить на четыре категории: те, которыми вы делитесь со всеми, те, которыми вы делитесь только с друзьями и коллегами, те, которыми вы делитесь с различными компаниями (сознательно или нет), и те, которые вы вообще не распространяете. К первому типу относятся, например, обзоры на Yelp, Amazon и TripAdvisor, рейтинги на eBay, резюме на LinkedIn, блоги, твиты и так далее. Эти данные очень ценны и порождают меньше всего проблем. Вы делитесь ими с миром, потому что сами того хотите, и это всем идет на пользу. Единственная сложность в том, что компании, которые хранят эти данные, не всегда разрешают массово их скачивать для построения моделей. Им следовало бы изменить свой подход. Сегодня можно зайти на TripAdvisor и увидеть обзоры и рейтинги заинтересовавших вас гостиниц, но как насчет модели факторов, которые делают гостиницу хорошей или плохой в целом? С ее помощью можно было бы оценивать гостиницы, у которых пока мало надежных обзоров или вообще их нет. TripAdvisor мог бы создать что-то подобное. А как насчет моделирования факторов, которые определяют привлекательность гостиницы именно для вас? Для этого требуется информация о вашей личности, и вы, возможно, не захотите делиться ею с TripAdvisor. Лучше, чтобы появилась доверенная третья сторона, которая соединит два типа данных и даст вам результат.

Данные второго рода тоже не должны создавать проблем, но это не так, потому что они соприкасаются с третьим видом данных. Вы делитесь новостями и картинками со своими друзьями на Facebook, а они делятся с вами. При этом каждый из вас делится всей этой информацией с сетью Facebook. Сеть получает преимущество: у нее миллиард друзей. День за днем она узнает о мире гораздо больше, чем смог бы узнать отдельный человек, и узнала бы еще больше, будь алгоритмы качественнее, а они совершенствуются с каждым днем благодаря нам — специалистам по обработке данных. Все эти знания Facebook использует главным образом для адресной рекламы, а взамен создает инфраструктуру для обмена информацией: на эту сделку идет каждый пользователь. Обучающиеся алгоритмы становятся все мощнее и извлекают из данных все больше и больше пользы, которая частично возвращается в форме более уместной рекламы и лучшего обслуживания. Единственная проблема в том, что Facebook вольна делать с данными и моделями то, что противоречит интересам пользователя, и этого избежать не получится.

Такая проблема появляется всюду, где человек делится данными с компаниями, а в наши дни подобные ситуации включают практически все действия в интернете и многие в реальной жизни. Вы еще не заметили, что вокруг идет яростная борьба за информацию о вас? Все хотят заполучить ваши данные, и это неудивительно — ведь таким образом можно найти лазейку в ваш мир, к вашим деньгам, голосу и даже к вашему сердцу. Пока у каждой компании есть лишь частица целого. Google знает, что вы ищете в интернете, Amazon располагает информацией о ваших покупках, AT&T — о телефонных звонках, Apple — о музыке, которую вы скачиваете, Safeway имеет полное представление о том, какие продукты едите, а Capital One — о ваших операциях с кредитными картами. Некоторые компании, например Acxiom, сопоставляют информацию о вас и продают ее, но на поверку (в случае Acxiom можно посмотреть на aboutthedata.com) ее получается немного и она отчасти ошибочна. Ни у кого и близко нет полной картины вашей личности. Это и хорошо, и плохо. Хорошо, потому что у того, кому удастся ее заполучить, появится слишком большая власть. Плохо — потому что, пока это так, создание всеобъемлющей модели невозможно. На самом деле вам нужно просто быть единственным владельцем такой модели и предоставлять к ней доступ исключительно на собственных условиях.

Последний тип данных — те, которыми вы не делитесь, — тоже создает проблему, и она заключается в том, что иногда следует предоставлять такую информацию. Может быть, это не приходило вам в голову, может быть, это непросто или у вас нет такого желания. В последнем случае стоит задуматься, есть ли у вас этическая обязанность делиться данными о себе. Один пример мы уже видели: больные раком могут внести вклад в победу над этим заболеванием, если предоставят доступ к геному опухоли и истории лечения. Но этим дело не ограничивается. Данные, которые мы генерируем в нашей повседневной жизни, могут дать ответы на всевозможные вопросы об обществе и политике. Социальные науки вступают в свой золотой век и наконец получат объем данных, сопоставимый со сложностью изучаемых явлений, а польза для всех нас будет огромной — при условии, что эти данные окажутся доступными и ученым, и людям, принимающим решения, и самим гражданам. Это не значит, что надо позволить другим подглядывать за вашей личной жизнью; это значит, что надо дать им возможность ознакомиться с полученными моделями, в которых будет только статистическая информация. Между вами и ними должен стоять честный брокер данных, который гарантирует, что информацией о вас не будут злоупотреблять и при этом не появится «халявщиков», которые стремятся получать преимущества, не делясь собственными данными.

Итого, проблемы есть у всех четырех видов данных. Решение у них общее: нужен новый тип компаний, который для ваших данных станет играть ту же роль, что банк для ваших сбережений. Банки (за редким исключением) не воруют и должны мудро инвестировать вклады. Сегодня многие компании предлагают консолидировать ваши данные где-то в облачном хранилище, но они все еще очень далеки от уровня банков персональных данных. Провайдеры облачных сервисов стремятся привязать вас к себе — а этого категорически нельзя допустить (представьте, что вы открыли счет в Bank of America и не уверены, можно ли будет когда-нибудь в будущем перевести средства в Wells Fargo). Некоторые стартапы предлагают вам хранить данные, а затем передают их рекламщикам, давая вам взамен скидки. На мой взгляд, смысл не в этом. В некоторых случаях вы бы дали такую информацию бесплатно, потому что сами в этом заинтересованы, а в некоторых ни за что не стали бы этого делать.

Компании нового типа, как я себе их представляю, за абонентскую плату будут предоставлять несколько функций. Во-первых, они станут анонимизировать ваши взаимодействия в электронном мире, проводя их через собственные серверы, и накапливать их, как и аналогичные действия других пользователей. Во-вторых, будут хранить в одном месте данные, собранные в течение вашей жизни, вплоть до круглосуточного видеопотока Google Glass, если у вас есть такие очки. В-третьих, они будут формировать полную модель вашей личности и вашего мира и постоянно ее обновлять. В-четвертых — применять эту модель от вашего имени, в рамках ее способностей, всегда делая ровно то, что сделали бы вы сами. Основное обязательство компании перед вами — никогда не использовать ваши данные и вашу модель вопреки вашим интересам. Гарантия не будет стопроцентной — в конце концов, мы и сами не застрахованы от того, чтобы иногда сделать что-нибудь себе во вред. Тем не менее жизнеспособность компании станет зависеть от выполнения договоренности в той же степени, как выживание банка — от сохранности ваших денег, поэтому можно будет доверять им так, как мы сегодня доверяем банкам.

Такие компании могут быстро стать одними из самых дорогих в мире. Как указывает Алексис Мадригал из журнала Atlantic, сегодня ваш профиль можно купить за полцента или даже дешевле, однако для индустрии интернет-рекламы ценность пользователя приближается к 1200 долларам в год. Фрагмент информации о вас, имеющийся в распоряжении Google, стоит около 20 долларов, у Facebook — 5 долларов и так далее. Прибавьте к этому фрагменты, которых пока ни у кого нет, и тот факт, что целое весомее суммы частей — модель личности, основанная на всех ваших данных, намного лучше тысячи моделей, построенных из отдельных кусочков, — и это легко даст более триллиона долларов в год для такой экономики, как США. На этом фундаменте несложно построить компанию из списка Fortune 500. (Если вы решите принять вызов и станете миллиардером, не забудьте, кто вам подбросил идею.)

Конечно, некоторые уже существующие компании с большим удовольствием приютят вашу «цифровую личность». Например, Google. Сергей Брин хочет, чтобы Google стала «третьим полушарием вашего мозга», и некоторые из приобретений компании, вероятно, связаны с тем, как удачно потоки пользовательских данных дополняют поток самой компании. Но, несмотря на исходные преимущества, Google и Facebook, например, не очень подходят на роль вашего цифрового дома, потому что возникает конфликт интересов. Они зарабатывают себе на жизнь таргетированием рекламы, поэтому им придется как-то уравновешивать интересы пользователей и рекламодателей. Вы, наверное, не допустите, чтобы одно из полушарий было не совсем вам лояльно? Тогда зачем позволять это третьему полушарию?

Потенциальная угроза может исходить от государственных органов, если у них будет право истребовать ваши данные или даже профилактически посадить вас за решетку, как в фильме «Особое мнение»[110], если ваша модель напоминает модель преступника. Чтобы это предотвратить, хранящая данные компания должна их шифровать, а ключ должен быть в вашем распоряжении (в наши дни уже можно производить вычисления на зашифрованных данных без их расшифровки). Или можно держать все на жестком диске у себя дома, а компания просто предоставит программное обеспечение в аренду.

Если вам не по душе мысль, что ключи к вашему миру находятся в руках коммерческой организации, можете вступить в Союз защиты данных. (Если в вашем уголке киберлеса его пока нет, подумайте, не основать ли его самому.) Люди ХХ века нуждались в профессиональных союзах, чтобы уравновесить силы рабочих и руководства. Союзы защиты данных в XXI веке понадобятся по схожим причинам. Корпорации обладают несравнимо большими возможностями по сбору и использованию данных, чем отдельные люди. Это ведет к диспропорции сил, а чем ценнее данные, чем лучше и полезнее модели, которые можно построить на их основе, и тем сильнее неравенство. Союз позволит своим членам требовать у компаний справедливые условия использования данных. Наверное, за создание таких союзов могут взяться уже существующие профсоюзы, однако они ограничены по профессиональному и географическому принципам. Союзы защиты данных могут быть более гибкими: чтобы полученные модели были полезнее, объединяйтесь с людьми, с которыми у вас много общего. Обратите внимание, что членство в союзе защиты данных не подразумевает предоставление доступа к вашей информации другим его членам. Просто каждый сможет пользоваться моделями, полученными из собранных воедино данных. Союзы защиты данных могут стать посредниками, задача которых — объяснить политикам, чего вы хотите. Ваши данные смогут влиять на мир, как ваш голос, а может, и больше: к урне вы приходите только в день голосования. Все остальное время вашим голосом будут ваши данные.

До сих пор я не произнес словосочетания «частная жизнь», и это не случайно. Частная жизнь — лишь один аспект более широкой проблемы предоставления доступа к информации, и, если сосредоточиться на нем в ущерб целому, как в сегодняшних дебатах, мы рискуем прийти к неправильным выводам. Например, законы, запрещающие использовать данные в любых целях за исключением исходно предусмотренных, крайне близоруки. Когда люди обменивают защиту частной жизни на другие блага, как при заполнении профиля на сайте, они ценят ее намного меньше, чем когда отвечают на отвлеченные вопросы вроде «Важна ли для вас защита частной жизни?». Тем не менее дебаты о частной жизни чаще загоняют в рамки именно таких вопросов. Европейский суд издал декрет о праве человека на забвение, но ведь у людей есть и право на память — как в собственных нейронах, так и на жестком диске. Такое же право есть у компаний до тех пор, пока интересы пользователей, собирателей данных и рекламщиков совпадают. Отвлекаться не на то, что надо, вредно для всех, и чем лучше данные, тем лучше будет продукция. Частная жизнь — это не игра с нулевой суммой, хотя к ней часто относятся именно так.

Компании, которые хранят вашу цифровую личность, и союзы защиты данных, на мой взгляд, определят картину работы с данными в развитом будущем. Наступит ли оно — вопрос открытый. Сегодня большинство людей не осознают, сколько данных они предоставляют и с какими затратами и преимуществами это может быть связано для них. Компании, со своей стороны, с удовольствием сохраняют статус-кво и работают негласно, боясь прокола. Рано или поздно такая система рухнет, и в атмосфере скандала будут приняты драконовские законы, от которых хорошо не будет никому. Лучше воспитывать сознательность сейчас и давать каждому право делать выбор — делиться ли данными, а если да, то как и где. 

Нейронная сеть украла у меня работу

Каких интеллектуальных усилий требует ваша работа? Чем больших, тем в большей вы безопасности. На заре появления искусственного интеллекта считалось, что «синих воротничков» компьютеры заменят раньше, чем «белых», потому что последним приходится больше думать. Но дело обернулось совсем не так: роботы собирают автомобили, но не вытеснили строителей. С другой стороны, алгоритмы машинного обучения заняли место кредитных аналитиков и работников прямого маркетинга. Как оказалось, оценивать заявления о кредите машинам проще, чем не спотыкаясь ходить по стройплощадке, хотя у людей все наоборот. Общая тема здесь в том, что узко определенные задания легко научиться решать, имея данные, а вот задачи, требующие широкого сочетания навыков и знания, научиться решать не так просто. Большая часть мозга человека выделена для обеспечения зрения и движений, то есть ходьба — намного более сложное дело, чем может показаться, но мы принимаем необходимость ходить как должное, поскольку этот процесс доведен до совершенства эволюцией и в основном выполняется подсознательно. Narrative Science разработала систему искусственного интеллекта, которая довольно хорошо умеет писать отчеты по итогам бейсбольных матчей, но романы ей не под силу, потому что жизнь намного сложнее, чем бейсбол. Распознавание речи с трудом дается компьютерам, так как нужно в буквальном смысле заполнять пробелы — звуки, которые мы постоянно проглатываем, — не имея понятия, о чем идет речь. Алгоритмы умеют прогнозировать колебания курсов акций, но не представляют, как они связаны с политикой. Чем больше контекста требует профессия, тем менее вероятно, что компьютеры быстро ее освоят. Здравый смысл важен не только потому, что так говорила мама, но и потому, что у компьютеров его нет.

Лучший способ не потерять работу — самому ее автоматизировать и сосредоточиться на тех ее аспектах, на которые вам не хватало времени и которые компьютер пока не может освоить. (Если таких аспектов нет, опередите события и поищите новую работу прямо сейчас.) Если машины освоили вашу профессию, не пытайтесь с ними соревноваться. Впрягите их. H&R Block по-прежнему на плаву, а работа специалистов по оформлению налоговых деклараций куда менее занудная, чем раньше, потому что компьютеры взяли на себя большую часть рутины. (Хотя налоги, наверное, не лучший пример: налоговый кодекс растет экспоненциально, и это одна из немногих вещей, которая может тягаться с экспоненциальным ростом вычислительных мощностей.) Считайте большие данные продолжением ваших органов чувств, а обучающиеся алгоритмы — расширением мозга. Лучшие шахматисты сегодня — так называемые кентавры, наполовину люди, наполовину программы. Это справедливо для других профессий, от аналитиков фондовых рынков до агентов по подбору бейсболистов. Это не соревнование человека с машиной, а конкуренция человека, вооруженного машиной, с человеком без таковой. Данные и интуиция — как конь и наездник: не надо пытаться обогнать лошадь, надо ее оседлать.

По мере развития технологий человеческое и компьютерное будут все теснее переплетаться. Проголодались? Yelp предложит пару хороших ресторанов. Вы выбираете один из них и смотрите на подсказки GPS. Электроника автомобиля контролирует вождение на низком уровне. Все мы уже киборги. В реальности автоматизация не уничтожает, а создает возможности: некоторые профессии исчезают, но гораздо больше появляется. Прежде всего, она делает возможными вещи, которые в исполнении человека слишком дороги. Банкоматы отчасти пришли на смену банковским кассирам, но прежде всего они дали возможность снимать деньги в любом месте и в любое время. Если бы пиксели раскрашивали живые мультипликаторы, мы не знали бы «Истории игрушек»[111] и компьютерных игр.

Тем не менее может возникнуть вопрос: не останутся ли люди без работы? Я думаю, не останутся. Даже если когда-нибудь — очень нескоро — компьютеры и роботы опередят нас во всем, как минимум некоторым из нас будет чем заняться. Робот может идеально выполнить роль бармена — вплоть до милой беседы с клиентом, — но хозяева заведения все равно отдадут предпочтение человеку, просто потому, что он человек. Рестораны с официантами-людьми будут престижнее, как сейчас вещи ручной работы. У нас есть кино, автомобили и моторные лодки, но люди все равно смотрят спектакли, катаются на лошадях и ходят под парусом. Еще важнее, что некоторые специалисты окажутся поистине незаменимыми, потому что в их работе есть то, чего у компьютеров и роботов не может быть по определению: человеческий опыт. Я не имею в виду «сентиментальные» занятия, потому что сентиментальность несложно подделать: посмотрите на успехи механических домашних животных. Речь идет о гуманитарных дисциплинах, которые невозможно понять без опыта, доступного только людям. Сейчас есть опасения, что гуманитарные науки вошли в штопор и вымирают, однако, когда другие области будут автоматизированы, они восстанут из пепла. Чем обширнее и дешевле автоматизированное производство, тем ценнее вклад гуманитариев.

В то же время долгосрочные перспективы специалистов по точным и естественным наукам, к сожалению, не самые радужные. Науку будущего вполне могут продвигать только компьютеры, а люди, ранее называвшиеся учеными (такие как я сам), вынуждены будут положить жизнь на то, чтобы понять научные достижения, сделанные компьютерами. При этом они по-прежнему будут довольны своей работой, ведь наука, в конце концов, — это удовлетворение собственного любопытства. Сохранится и еще одна очень важная профессия для людей с техническим складом ума: присматривать за компьютерами. На самом деле для этого нужно быть не просто инженером, и в итоге к этому может свестись работа всего человечества: мы будем определять, чего хотим от машин, и контролировать, дают ли они то, что надо. Подробнее об этом мы поговорим ниже.

По мере смещения границы между автоматизируемыми и неавтоматизируемыми профессиями мы, скорее всего, будем наблюдать рост безработицы, уменьшение заработков все большего и большего числа специалистов и рост доходов в тех областях, которые автоматизировать пока нельзя. Это, конечно, уже происходит, но в дальнейшем будет выражено гораздо сильнее. Переходный период окажется бурным, но благодаря демократии все кончится хорошо. (Берегите свое право голоса — может быть, это самое ценное, что у вас есть.) Когда уровень безработицы перевалит за 50 процентов, а может, и раньше, отношение к распределению благ радикально изменится. Недавно ставшее безработным большинство будет голосовать за щедрые пожизненные пособия, и, чтобы их обеспечить, понадобятся огромные налоги. Однако это не будет слишком затратно, потому что все необходимое начнут производить машины. Вместо уровня безработицы мы станем говорить об уровне трудоустройства, снижение которого будет считаться признаком прогресса. («США отстает! Уровень трудоустройства все еще целых 23 процента!») Пособия по безработице сменятся базовым доходом для всех граждан. Если кому-то этого будет не хватать, всегда появится возможность заработать больше, неизмеримо больше, в немногих оставшихся человеческих профессиях. Либералы и консерваторы все так же станут ломать копья вокруг ставки налогообложения, но целевые показатели изменятся навсегда. После того как ценность труда сильно упадет, самыми богатыми станут страны с самым высоким соотношением природных богатств к численности населения (переезжайте в Канаду). Для неработающих жизнь совсем не будет бесцельной: не больше, чем бессмысленна жизнь на тропическом острове, где все потребности удовлетворяет щедрая природа. Разовьется экономика дарения, предвестник которой сегодня — программное обеспечение с открытым кодом. Как и сейчас, люди будут искать смысл жизни во взаимоотношениях, саморазвитии, духовности. Необходимость зарабатывать себе на жизнь станет далеким воспоминанием, еще одним осколком варварского прошлого, из которого мы выросли. 

Война — не для людей

Солдатскую службу автоматизировать сложнее, чем науку, но прогресс не обойдет стороной и вооруженные силы. Одно из важнейших призваний роботов — делать то, что для человека слишком опасно, а ведение войн опасно по определению. Уже сегодня роботы обезвреживают взрывные устройства, а дроны позволяют подразделению «заглянуть за высотку». На подходе беспилотные автомобили снабжения и роботы-мулы. Вскоре нам придется определиться, разрешать ли роботам нажимать на спусковой крючок. Аргумент «за» — стремление обезопасить живых военнослужащих, а также непригодность дистанционного управления в быстро меняющейся обстановке и ситуациях типа «стреляй или погибнешь». Против такого решения говорит тот факт, что роботы не понимают этики, поэтому им нельзя доверить решения, связанные с жизнью и смертью. В то же время их можно научить этике, и здесь возникает более глубокий вопрос: готовы ли мы к этому.

Несложно заложить в робота общие принципы применения оружия, например военные соображения, пропорциональность и сохранение жизни мирного населения. Но между этими принципами и конкретной ситуацией — пропасть, которую должно преодолеть рассуждение солдата. Когда роботы будут пытаться применить на практике три закона робототехники, они быстро столкнутся с проблемами, что, собственно, иллюстрируют рассказы Айзека Азимова. Общие принципы обычно противоречивы, а иногда исключают друг друга, и это неизбежно, иначе мир станет черно-белым, без оттенков. Когда военная необходимость превыше жизни гражданских лиц? На это нет однозначного ответа, и не получится вложить в компьютер все непредвиденные обстоятельства. Выход дает машинное обучение. Во-первых, надо научить роботов распознавать соответствующие концепции, предоставив им, например, наборы ситуаций, где гражданских пощадили или не пощадили, применение оружия было и не было пропорциональным и так далее. Затем надо составить для роботов кодекс поведения в виде правил с этими концепциями. Наконец, их надо научить применять этот кодекс путем наблюдения за людьми: в этом случае солдат открыл огонь, а в этом воздержался. Обобщая эти примеры, робот сможет сформировать комплексную модель принятия этических решений в виде, скажем, большой логической сети Маркова. Когда его решения начнут совпадать с человеческими настолько, насколько решения разных людей совпадают между собой, обучение будет завершено и модель можно будет загрузить в тысячи электронных мозгов. В отличие от людей роботы не будут терять голову в горячке боя. Если робот станет функционировать неправильно, ответственность за это понесет производитель. Если начнет поступать неправильно — учителя.

Как вы, наверное, догадались, главная проблема такого подхода заключается в том, что учиться этике путем наблюдения за людьми, возможно, не лучшая идея. Робот может серьезно смутиться, увидев, что своими действиями люди часто нарушают собственные этические принципы. Поэтому можно, например, очистить обучающие данные, оставив только примеры поведения солдата, признанные этической комиссией правильными. Члены комиссии также станут проверять и корректировать модель после обучения, пока их не удовлетворит результат. Если в комиссию войдут разные люди, достичь консенсуса будет непросто, но так и должно быть. Обучение роботов этике, с учетом их логичности и отсутствия предыдущего опыта, заставит нас перепроверить собственные представления и исключить из них противоречия. Здесь, как и во многих других областях, большим плюсом машинного обучения может оказаться не то, что узнают машины, а то, что узнаем мы сами — их учителя.

Другой аргумент против армий роботов — то, что война станет слишком легким делом. При этом односторонний отказ от такого вооружения сам по себе может спровоцировать нападение. Логическая реакция, которую поддерживают ООН и Human Rights Watch, — соглашение о запрете роботизированного вооружения, аналогичное Женевскому протоколу 1925 года, запретившему химическое и биологическое оружие. Однако здесь есть важный нюанс. Химическое и биологическое оружие только увеличивает человеческие страдания, а роботизированное может заметно их облегчить. Если войну ведут машины, а люди ими командуют, не будет убитых и раненых, поэтому, наверное, надо запрещать не роботизированных солдат, а — когда мы будем к этому готовы — солдат-людей.

Армии роботов действительно могут повысить вероятность боевых действий, но они изменят и саму этику войны. Когда на прицеле робот, решить дилемму «стрелять — не стрелять» намного проще. Сейчас войну считают невообразимым ужасом, крайней мерой. Такая точка зрения будет скорректирована: война по-прежнему останется оргией разрушения, убыточной для всех воюющих сторон, и ее будут избегать по мере возможности, но не любой ценой. А если война сведется к соревнованию в мощи уничтожения, почему не соревноваться в масштабе созидания?

Как бы то ни было, запрет роботизированного вооружения может оказаться невозможным. Сегодня вместо того, чтобы запрещать дронов — предшественников завтрашних боевых роботов, — большие и малые государства заняты их разработкой, вероятно, потому, что преимущества превышают риски. Как и с любым оружием, безопаснее иметь роботов, чем верить, что противник соблюдает правила. Если в будущем миллионы дронов-камикадзе окажутся способны за считаные минуты разбить традиционные армии, пусть это лучше будут наши дроны. Если Третья мировая война закончится за секунды и сведется к взятию под контроль систем врага, лучше иметь умные, быстрые и стойкие сети. (Системы, не объединенные в сети, не помогут: хотя их нельзя взломать, они не идут ни в какое сравнение с сетевыми.) В итоге гонка роботизированных вооружений может стать благом, если приблизит день, когда Пятая женевская конвенция запретит участие людей в боевых действиях. Войны будут всегда, но не обязательно с человеческими жертвами. 

Google + Верховный алгоритм = Skynet?

Конечно, армии роботов пробуждают в воображении еще одного призрака. Если верить голливудским фильмам, в будущем человечество обречено на порабощение гигантским искусственным интеллектом и огромной армией послушных ему машин (если, конечно, в последние пять минут отважный герой всех не спасет). У Google уже есть масштабное оборудование, которое необходимо искусственному интеллекту, а недавно компания приобрела и второй элемент — массу стартапов, занимающихся робототехникой. Если добавить в ее серверы последний ингредиент — Верховный алгоритм, наша песенка спета? Признаюсь — все именно так и будет. Пришло время в стиле Толкина объявить о моих истинных намерениях: 

Три алгоритма — ученым в небесных шатрах,

Семь — инженерам, живущим в дворцах серверов,

Девять — смертным магнатам, чей жребий — забвение и прах.

А один — искусственному разуму на троне тьмы,

В мрачном крае обучения, где залежи данных.

Один алгоритм правит всеми, один их отыщет,

Один соберет их и накрепко свяжет во тьме

В мрачном царстве обучения, где залежи данных.

Ха-ха-ха! Но если говорить серьезно, стоит ли опасаться, что машины возьмут верх? Ведь зловещие признаки действительно существуют. Компьютеры с каждым годом не просто делают больше работы, но и принимают все больше решений: кому дать кредит, какие товары человек покупает, кого принять на работу, кому дать прибавку к зарплате, какие котировки пойдут вверх, а какие вниз, сколько будет стоить страховка, куда направить полицейские патрули и кто будет арестован, какой тюремный срок этот человек получит, кто с кем пойдет на свидание и, следовательно, кто родится. Модели машинного обучения уже играют во всем этом свою роль. Момент, когда можно было выключить все компьютеры, не опасаясь коллапса современной цивилизации, давно пройден. Машинное обучение — последняя соломинка: когда компьютеры начнут программировать себя самостоятельно, все надежды взять их под контроль, безусловно, окажутся потеряны. Выдающиеся ученые, например Стивен Хокинг, призвали немедленно начать исследования на эту тему, потому что потом будет слишком поздно.

Расслабьтесь. Шансы, что искусственный интеллект, вооруженный Верховным алгоритмом, захватит мир, равны нулю. Причина проста: в отличие от людей компьютеры не обладают собственной волей. Они порождение инженеров, а не эволюции. Даже бесконечно мощный компьютер будет всего лишь продолжением нашей воли, и бояться нам нечего. Вспомните три обязательных компонента обучающихся алгоритмов: представление, оценка и оптимизация. Представления алгоритма машинного обучения очерчивают то, чему он может научиться. Давайте сделаем его мощным, как марковская логика, чтобы он в принципе мог узнать все. Оптимизатор делает все, что в его силах, чтобы максимизировать функцию оценки — не больше и не меньше, — а саму функцию оценки определяем мы. Мощный компьютер просто будет оптимизировать ее лучше. Нет риска, что алгоритм выйдет из-под контроля, даже если он генетический. Выведенная система, которая делает не то, что мы хотим, окажется крайне неприспособленной и вскоре вымрет. Более того, именно системы, которые умеют хоть немного лучше выполнять наши желания, станут поколение за поколением множиться и захватывать пул генов. Конечно, если человечество окажется настолько глупым, чтобы специально запрограммировать компьютер поработить его, оно, может быть, получит по заслугам.

То же самое относится ко всем системам искусственного интеллекта, потому что они — прямо или косвенно — состоят из тех же трех компонентов. Они могут делать самые разные вещи и даже придумывать неожиданные планы, но только для достижения целей, которые мы перед ними поставим. Робот, запрограммированный для того, чтобы «приготовить хороший ужин», может пожарить стейк, сварить буйабес и даже порадовать вкуснейшим блюдом собственного изобретения, но шанс, что он специально отравит своего хозяина, не больше, чем то, что автомобиль вдруг решит взлететь. Задача систем искусственного интеллекта — находить решения NP-полных проблем, которые, как вы, может быть, помните из главы 2, могут занимать экспоненциальное время, но всегда эффективно проверяемы. Поэтому мы должны с распростертыми объятиями встречать компьютеры, которые несравнимо мощнее нашего мозга, спокойно осознавая, что наша работа экспоненциально легче, чем их. Им придется решать проблемы, а нам — просто проверять, что они сделали для нас. Искусственный интеллект будет думать быстро там, где мы думаем медленно, и мир от этого станет только лучше. Лично я буду очень рад нашим новым слугам — роботам.

В опасениях, что разумные машины возьмут верх, нет ничего удивительного, потому что единственные известные нам разумные сущности — люди и другие животные, и у них, несомненно, есть собственная воля. Однако разум и воля не обязательно должно быть связаны, или, точнее, они не обязательно будут находиться в том же самом организме при условии, что между ними проходит линия контроля. В книге The Extended Phenotype[112] Ричард Докинз показывает, что природа изобилует примерами генов, власть которых выходит за пределы организма животного, — от кукушечьих яиц до бобровых хаток. Технологии — расширенный фенотип человека, то есть мы можем управлять ими, даже если их сложность намного превышает наше понимание.

Давайте перенесемся на 2 миллиарда лет назад и представим, как две нити ДНК купаются в своем бассейне — бактериальной цитоплазме — и обдумывают историческое решение. «Мне не по себе, Диана, — говорит одна. — Если мы начнем создавать многоклеточные создания, не возьмут ли они верх?» Вернемся в XXI век: ДНК живет и здравствует — ей даже лучше, чем когда бы то ни было, потому что отчасти она населяет безопасные двуногие организмы, состоящие из триллионов клеток. Наши крошечные друзья — двойные спирали — прошли довольно большой путь с момента того памятного решения. На данный момент люди оказались самыми хитрыми созданиями: они изобрели контрацепцию, которая позволяет развлекаться, не распространяя нашу ДНК, и у них есть — если это не иллюзия — свободная воля. Но именно ДНК по-прежнему формирует наши представления о развлечениях, а свободную волю мы используем, чтобы гнаться за удовольствиями и избегать боли, а такое поведение в основном совпадает с тем, что выгодно для выживания нашей ДНК. Мы можем стать для ДНК последним этапом развития, если предпочтем сделаться кремниевыми существами, но даже в таком случае история этой молекулы длилась целых 2 миллиарда лет. Сегодня перед нами похожее решение: если начать работать над искусственным интеллектом — обширным, взаимопереплетенным, сверхчеловеческим, непостижимым, — не возьмет ли он верх? Не более чем огромные и непостижимые многоклеточные организмы взяли верх над генами. Искусственный интеллект — это наш инструмент выживания, точно так же как мы сами — инструмент выживания для наших генов.

Все это не значит, однако, что нам не о чем беспокоиться. Первая большая опасность, как в случае любой технологии, — то, что искусственный интеллект может попасть в плохие руки. Чтобы какой-нибудь шутник или преступник не запрограммировал искусственный интеллект захватить мир, лучше организовать ИИ-полицию, способную выловить и стереть его до того, как все зайдет слишком далеко. Лучшая страховка против буйства мощного искусственного интеллекта — еще более мощный искусственный интеллект, поддерживающий мир на планете.

Второй повод для беспокойства — вероятность, что люди сами, добровольно сдадут власть. Все начнется с предоставления прав роботам: далеко не всем это кажется так же абсурдным, как мне. В конце концов, мы ведь уже дали права животным, хотя они нас об этом не просили. Права роботов могут показаться логичным этапом в расширении «круга эмпатии». Почувствовать сострадание к ним несложно, особенно если их специально разработали, чтобы вызывать такие чувства: в этом преуспели даже тамагочи, японские «виртуальные питомцы» с тремя кнопками и жидкокристаллическим дисплеем. Гонка за наращивание эмпатии начнется с первого появившегося в продаже человекообразного робота, потому что они будут продаваться намного лучше, чем обычные металлические. Дети, воспитанные роботами-нянями, на всю жизнь сохранят слабость к добрым электронным друзьям. Эффект «зловещей долины» — дискомфорт, который вызывают существа, почти, но не совсем идентичные человеку, — будет им незнаком, потому что они с детства знакомы с причудами роботов, а в подростковом возрасте, может быть, для крутости будут даже им подражать.

Следующий этап ползучей передачи власти искусственному интеллекту — разрешить ему принимать вообще все решения: он ведь гораздо умнее. Здесь надо быть очень осторожным. Может быть, компьютеры и правда умнее нас, но они служат тому, кто разработал их функции оценки. Это проблема «Волшебника страны Оз». В мире разумных машин надо будет постоянно следить за тем, чтобы они делали ровно то, что от них требуется, причем и на входе (целеполагание), и на выходе (проверяли, выдала ли машина то, что от нее просили). Если этого не сделаете вы сами, сделает кто-то другой. Машины могут помочь человечеству осознать свои желания, но самоустранившийся проигрывает: совсем как при демократии, но в еще большей степени. Об этом не принято говорить, но человек довольно легко попадает в подчинение, а ведь любой достаточно развитый искусственный интеллект неотличим от бога, и, возможно, никто не станет возражать против приказов какого-то огромного непогрешимого компьютера. Вопрос в том, кто надзирает за надзирателем. Будет ли искусственный интеллект путем к совершенной демократии или к тотальной диктатуре? Пора начать вечное дежурство.

Третий и, наверное, самый серьезный повод для беспокойства — то, что, как джинн из сказки, машины начнут давать нам то, чего мы просим, а не то, чего мы на самом деле хотим. Это не гипотетический сценарий: обучающиеся алгоритмы постоянно так поступают. Мы обучаем нейронные сети узнавать лошадей, а они учатся узнавать коричневые пятна, потому что все лошади в обучающем наборе были гнедые. Вы купили часы, и Amazon начинает рекомендовать схожие предметы — еще больше часов, — хотя они вам уже совершенно ни к чему. Если проверить все решения, которые сегодня принимают компьютеры — например, о выдаче кредитов, — можно заметить, что они зачастую необоснованно плохи. Человек был бы не лучше, если бы его мозг работал по методу опорных векторов и все познания об оценке кредитоспособности были бы получены из тщательно проработанной, но никуда не годной базы данных. Люди беспокоятся, что компьютеры станут слишком умны и захватят мир, однако настоящая проблема в том, что мир уже захвачен глупыми компьютерами. 

Эволюция, часть вторая

Даже если компьютеры пока еще не блещут интеллектом, не вызывает сомнения, что их умственные способности очень быстро растут. Еще в 1965 году британский статистик Ирвинг Гуд[113], во время Второй мировой работавший с Аланом Тьюрингом над взломом «Энигмы»[114], размышлял на тему приближающегося взрывного роста интеллекта. Гуд указывал: если мы способны разработать машины умнее нас самих, те, в свою очередь, должны быть способны разработать машины, которые будут умнее их, и так до бесконечности, оставляя человеческий разум далеко позади. В 1993 году Вернор Виндж[115] окрестил это «сингулярностью». Эту концепцию широко популяризировал Рэймонд Курцвейл, который в книге The Singularity Is Near («Сингулярность рядом») утверждает, что момент, при котором разум машин превысит человеческий — давайте назовем его точкой Тьюринга, — не только неизбежен, но и ждет нас в течение ближайших нескольких десятилетий.

Очевидно, что без машинного обучения — программ, которые разрабатывают программы, — сингулярность не наступит. Еще для этого понадобится достаточно мощное оборудование, но оно не отстает. Точки Тьюринга мы достигнем вскоре после того, как изобретем Верховный алгоритм. (Я готов поспорить с Курцвейлом на бутылку Dom Prignon, что это произойдет раньше, чем мы сконструируем мозг путем обратной инженерии — предложенного им метода достижения искусственного интеллекта, равного человеческому.) При всем уважении к Курцвейлу, однако, это приведет не к сингулярности, а к чему-то намного более интересному.

Термин «сингулярность» пришел из математики — там он обозначает точку, в которой функция стремится к бесконечности. Например, у функции 1x такая точка — это x = 0, потому что результат деления единицы на ноль равен бесконечности. В физике классический пример сингулярности — черная дыра: точка бесконечной плотности, где конечное количество материи сжимается в бесконечно малое пространство. Единственная проблема с сингулярностью заключается в том, что на самом деле она не существует. (Когда вы последний раз делили торт между нулем человек и каждый из них получал бесконечный кусок?) Если физическая теория предсказывает нечто бесконечное, значит, с ней что-то не в порядке. Наглядный пример: общая теория относительности предсказывает, что черные дыры имеют бесконечную плотность, предположительно из-за того, что игнорируют квантовые эффекты. Аналогично разум не может развиваться вечно. Курцвейл признает это, но усматривает в совершенствовании технологии серию экспоненциальных кривых (скорость процессоров, объем памяти и так далее) и утверждает, что границы этого роста так далеки, что можно не принимать их во внимание.

Утверждение Курцвейла страдает переобучением. Он правильно обвиняет других в склонности к линейной экстраполяции — люди часто видят прямые линии вместо кривых, — но затем сам становится жертвой более экзотического недуга: видит везде экспоненты. В пологих кривых (ничего не происходит) он видит еще не начавшийся экспоненциальный рост. Однако кривые совершенствования технологий — это не экспоненты, а сигмоиды, наши добрые знакомцы из главы 4. Их начальные отрезки действительно легко перепутать с экспонентами, но затем они быстро расходятся. Большинство кривых Курцвейла — это следствия из закона Мура, который почти исчерпал себя. Курцвейл утверждает, что на смену полупроводникам придут другие технологии и на одних сигмоидах будут возникать другие, каждая круче предыдущей, но это лишь домыслы. Когда Курцвейл идет еще дальше и утверждает, что экспоненциально ускоряющийся прогресс виден не только в человеческих технологиях, но и во всей истории жизни на Земле, это восприятие по крайней мере частично связано с эффектом параллакса: нам кажется, что вещи, которые расположены ближе, движутся быстрее. Трилобитам[116], жившим в разгар Кембрийского взрыва, можно простить веру в экспоненциально ускоряющийся прогресс, но затем последовало большое замедление. Тираннозавры, вероятно, предложили бы вместо этого закон роста размеров организма. Эукариоты (и мы в том числе) эволюционируют медленнее, чем прокариоты[117] (например, бактерии). Эволюция ускоряется далеко не равномерно, а как придется.

Чтобы обойти проблему невозможности бесконечно плотных точек, Курцвейл предложил приравнять сингулярность к горизонту событий черной дыры: области, где гравитация настолько сильна, что не выпускает даже свет. То же самое, говорит он, и с сингулярностью: это точка, за пределами которой технологическая эволюция настолько ускоряется, что люди не могут ни предсказать ее, ни понять, что произойдет. Если это и есть сингулярность, значит, мы уже ее достигли: мы не в состоянии угадать заранее, что придумает обучающийся алгоритм, и часто даже не понимаем полученный результат. Фактически мы уже живем в мире, постижимом для нас лишь отчасти. Главное различие заключается в том, что наш мир в какой-то степени создан нами, а это, безусловно, прогресс. Мир за пределами точки Тьюринга будет непонятен для нас не больше, чем плейстоцен[118]. Как всегда, мы сосредоточимся на том, в чем можем разобраться, а остальное назовем случайностью (или провидением).

Траектория, на которой мы находимся, — это не сингулярность, а фазовый переход. Его критическая точка — точка Тьюринга — наступит, когда машинное обучение опередит естественное. Само естественное обучение тоже прошло через три фазы: эволюцию, мозг и культуру. Каждое было продуктом предыдущего, и каждое училось быстрее. Машинное обучение — логическая следующая стадия этой цепочки. Компьютерные программы — самые быстрые репликаторы на земле: их копирование занимает всего долю секунды — но рождаются они медленно, если их должен написать человек. Машинное обучение устраняет это узкое горло, оставляя только окончательное ограничение: скорость, с которой люди способны усваивать изменения. Когда-нибудь исчезнет и эта граница, но не потому, что мы решим передать все «детям нашего разума», как называет их Ханс Моравек[119], и тихо уйти в историю. Человечество — не засыхающая веточка на древе жизни. Напротив, мы вот-вот начнем ветвиться.

Таким же образом, как культура эволюционировала вместе с увеличением объема головного мозга, мы будем эволюционировать вместе с нашими творениями. Так было всегда: не изобрети люди огонь и копья, они были бы физически другими. Мы Homo technicus в той же мере, что и Homo sapiens. Но моделирование клетки, которое я описал в последней главе, сделает возможным нечто совершенно новое: ее компьютерную разработку на основе заданных параметров — точно так же компиляторы кремниевых структур разрабатывают микросхемы на основе функциональных спецификаций. Затем спроектированную ДНК можно будет синтезировать и внедрить в «универсальную» клетку, превратив ее в желаемую. Крейг Вентер, пионер исследований генома, уже сделал первые шаги в этом направлении. Сначала мы будем использовать эту мощь для борьбы с заболеваниями: обнаружение нового патогена и немедленный подбор лекарства, которое иммунная система скачает прямо из интернета. Слова «проблема со здоровьем» станут рудиментом. Затем разработка ДНК позволит людям получить такое тело, какое они хотят: наступит век доступной красоты, как выразился писатель-фантст Уильям Гибсон. А затем Homo technicus разделится на мириады разумных видов, каждый из которых займет собственную нишу: возникнет целая новая биосфера, отличающаяся от сегодняшней в той же степени, в какой сегодняшняя отличается от первобытного океана.

Многие волнуются, что управляемая человеком эволюция окончательно расколет человечество на генетически имущие и неимущие классы. Удивительно, как убого бывает воображение! Естественная эволюция породила не два вида, один из которых подчиняется другому, а бесконечное разнообразие существ и замысловатые экосистемы. Почему искусственная эволюция — основанная на естественной, но еще менее ограниченная, — должна поступать иначе?

Как и все фазовые переходы, этот в конце концов тоже сойдет на нет. Преодоление узкого горла не равно бесконечному взлету: границей станет следующее узкое горло, даже если пока мы его не видим. Нас ждут новые переходы — некоторые большие, некоторые маленькие, некоторые уже скоро, некоторые в отдаленном будущем. Но следующее тысячелетие вполне может стать самым захватывающим в истории жизни на планете Земля.