Верховный алгоритм: как машинное обучение изменит наш мир Домингос Педро
Большую часть своего времени CanceRx будет тратить на проверку лекарств-кандидатов. Когда модели покажут новое лекарство, она спрогнозирует его действие и на раковые, и на нормальные клетки. Если Элис поставили онкологический диагноз, CanceRx применит свою модель и к нормальным, и к раковым клеткам девушки и перепробует все доступные лекарства, пока не найдет то, которое убьет раковые клетки, не повреждая здоровые. Если найти работающее лекарство или сочетание лекарств не получится, программа приступит к разработке нового препарата, возможно, путем эволюции на основе уже существующих или с использованием алгоритма восхождения на выпуклые поверхности или кроссинговера. На каждом этапе поиска лекарство-кандидат будет проходить испытание на модели. Если лекарство останавливает рак, но все же имеет вредные побочные эффекты, CanceRx попытается подкорректировать его, чтобы от них избавиться. Если рак мутирует, весь процесс повторится заново. Но модель будет прогнозировать вероятные мутации еще до их появления, и CanceRx назначит лекарства, которые заблокируют их развитие. В шахматной игре между человечеством и раком CanceRx поставит опухоли мат.
Обратите внимание, что машинное обучение само по себе не подарит нам CanceRx. Нельзя просто собрать обширную базу данных по молекулярной биологии, загрузить ее в Верховный алгоритм и получить готовую идеальную модель живой клетки. CanceRx будет конечным результатом многих итераций, сотрудничества сотен тысяч биологов, онкологов и специалистов по обработке данных по всему миру. Самое важное, однако, что CanceRx будет охватывать полученные с помощью врачей и лечебных учреждений данные миллионов пациентов с раком. Без этих данных мы не сможем победить рак, а с ними — сможем. Вносить свой вклад в растущую базу данных будет не просто в интересах каждого пациента с раком: это станет этическим долгом. В мире CanceRx тайные клинические исследования останутся в прошлом: новые методы лечения, предложенные CanceRx, будут непрерывно внедряться в практику, и в случае успеха их начнут назначать все большему числу пациентов. И успехи, и неудачи станут давать CanceRx ценные данные для обучения, поэтому чем больше данных, тем лучше результаты. С одной стороны, машинное обучение — лишь малая часть проекта CanceRx, значительно уступающая по важности сбору данных и человеческому вкладу. Но если посмотреть под другим углом, машинное обучение — ключевой элемент всего предприятия. Без него знания о биологии рака были бы фрагментарными, разбросанными по тысячам баз данных и миллионам научных статей, а каждый врач располагал бы крупицей нужной информации. Сбор всего этого знания в связное целое не под силу человеку, как бы умен он ни был. На это способно только машинное обучение. Поскольку все раковые опухоли разные, машинное обучение должно найти общие паттерны, а так как одна ткань может принести миллиарды точек данных, без машинного обучения не разобраться, что сделать с каждым новым пациентом.
Уже предприняты шаги, чтобы создать то, что в конце концов превратится в CanceRx. Специалисты в новой области знания — системной биологии — моделируют не отдельные гены и белки, а целые метаболические сети. Одна из исследовательских групп, работающая в Стэнфорде, построила модель всей клетки. Global Alliance for Genomics and Health поощряет обмен данными между учеными и онкологами, цель которого — проведение в будущем широкомасштабного анализа. CancerCommons.org собирает модели рака и позволяет пациентам делиться своими историями болезни и учиться на схожих случаях. Foundation Medicine точно выявляет мутации в опухолевых клетках пациента и предлагает самое подходящее лекарство. Десятилетие назад было неизвестно, можно ли в принципе вылечить рак, а если можно, то как это сделать. Теперь мы видим, как достичь цели. Идти придется долго, но дорога найдена.
ГЛАВА 10
МИР МАШИННОГО ОБУЧЕНИЯ
Теперь, когда наше путешествие по чудесной Стране машинного обучения закончено, давайте сменим тему и посмотрим, что все это значит лично для вас. Верховный алгоритм — как красная таблетка в «Матрице»[108]. Это портал в другую реальность: ту, в которой мы уже живем, но пока еще о ней не подозреваем. От свиданий до работы, от самопознания до будущего нашего общества, от совместного использования данных до боевых действий и от опасностей искусственного интеллекта до следующей остановки на пути эволюции новый мир уже принимает очертания, и машинное обучение — ключ к нему. Эта глава поможет вам взять от жизни максимум и быть готовым к тому, что ждет нас впереди. Машинное обучение как таковое будет определять будущее не больше, чем любая другая технология. Важно то, что мы решим сделать, и теперь у вас есть инструменты, необходимые для решения.
Главный из этих инструментов — Верховный алгоритм. Когда он появится и будет ли похож на Alchemy — не столь существенно, имея в виду важнейшие способности обучающихся алгоритмов, которые он воплощает, и то, куда они нас приведут. Верховный алгоритм можно с тем же успехом считать сложным изображением текущих и будущих алгоритмов машинного обучения, которым удобно пользоваться в наших мысленных экспериментах вместо конкретных алгоритмов продукта X или сайта Y, которыми соответствующие компании вряд ли с нами поделятся. Если смотреть с этой точки зрения, обучающиеся алгоритмы, с которыми мы каждый день соприкасаемся, — это «эмбрионы» Верховного алгоритма, и наша задача — понять их и направить их развитие так, чтобы они лучше отвечали нашим потребностям.
В ближайшие десятилетия машинное обучение повлияет на множество аспектов человеческой жизни, и одной главы этой книги совершенно недостаточно, чтобы должным образом их описать. Тем не менее уже можно заметить целый ряд тем, на которых стоит сосредоточиться, а начнем мы с того, что психологи называют теорией разума — компьютерной моделью вашего сознания, не больше и не меньше.
Секс, ложь и машинное обучение
Цифровое будущее начинается с осознания факта: взаимодействуя с компьютером — будь то ваш собственный смартфон или удаленный за тысячи километров сервер, — вы каждый раз делаете это на двух уровнях. Первый — желание немедленно получить то, что вам нужно: ответ на вопрос, желаемый товар, новую кредитную карточку. На втором уровне, стратегическом и самом важном, вы рассказываете компьютеру о себе. Чем больше вы его учите, тем лучше он будет вам служить или манипулировать вами. Жизнь — это игра между вами и окружающими вас обучающимися алгоритмами. Можно отказаться играть, но тогда в двадцать первом веке вам придется жить как в двадцатом. А можно играть и выиграть. Какую модель вашей личности вы хотите предложить компьютеру? Какие данные можно ему дать, чтобы он построил эту модель? Эти вопросы надо держать в уме всякий раз, когда вы взаимодействуете с алгоритмом машинного обучения — точно так же как при общении с людьми. Элис знает, что у Боба есть ее психологическая модель, и стремится повлиять на нее своим поведением. Если Боб — ее начальник, девушка постарается выглядеть компетентной, лояльной и трудолюбивой. Если она хочет соблазнить Боба, она будет само очарование. Мы едва ли сможем функционировать в обществе без способности интуитивно угадывать, что на уме у других людей, и реагировать на это. Сегодняшний мир отличается только тем, что теории разума начали появляться и у компьютеров. Пока эти теории все еще примитивны, но они быстро развиваются, и нам придется с ними работать не меньше, чем с другими людьми, чтобы получить желаемое. Следовательно, вам понадобится теория разума компьютера, а даст ее Верховный алгоритм, если подключить к нему функцию присвоения баллов (то, что, по вашему мнению, цели обучающегося алгоритма или, точнее, его хозяина) и данные (то, что, как вы думаете, знает компьютер).
Возьмем онлайн-знакомства. Когда вы пользуетесь Match.com, eHarmony или OkCupid (поборите недоверие, если нужно), ваша цель проста: найти себе лучшую пару из всех возможных. При этом имеется вероятность, что вам придется хорошо потрудиться и пройти через несколько неудачных свиданий, прежде чем вы встретите человека, который вам по-настоящему понравится. Один упорный чудак извлек из OkCupid 20 тысяч профилей, самостоятельно провел добычу данных, на 88-м свидании встретил женщину своей мечты и рассказал о своей одиссее журналу Wired. Два главных инструмента, которые помогут вам преуспеть с меньшим объемом данных и меньшими трудозатратами, — ваш собственный профиль и ваша реакция на предложенные компьютером варианты. Один популярный вариант поведения — говорить неправду (о своем возрасте, например). Такой подход может показаться неэтичным, не говоря о том, что есть риск с треском провалиться, когда избранник откроет правду, но тут имеется нюанс. Искушенные поклонники онлайн-знакомств уже поняли, что люди приукрашивают возраст в профиле, и делают соответствующие поправки, поэтому указать свой настоящий возраст — все равно что сказать, что вы старше, чем на самом деле! В свою очередь, обучающийся алгоритм, подбирающий пары, приходит к выводу, что людям нравятся более молодые партнеры, чем в действительности. Логичный следующий шаг для человека — еще больше исказить свой возраст, и в конце концов этот атрибут становится бессмысленным.
Более удачная стратегия для всех заинтересованных сторон — сосредоточиться на особых, необычных атрибутах, которые очень хорошо предопределяют подходящую пару в том смысле, что отбирают людей, которых полюбили бы вы, но далеко не все остальные. Тем самым уменьшается количество конкурентов. Ваша задача (и вашего потенциального избранника тоже) — предоставить эти атрибуты компьютеру. Работа подбирающего пары алгоритма — учиться на основе этой информации, точно так же как училась бы традиционная сваха. По сравнению с деревенской свахой алгоритм Match.com имеет преимущество: он знает — пусть и поверхностно — несравнимо больше людей. Наивный обучающийся алгоритм, например перцептрон, будет довольствоваться широкими обобщениями вроде «джентльмены предпочитают блондинок». Более совершенный алгоритм увидит паттерны, например «люди с одинаковыми необычными музыкальными предпочтениями часто хорошо подходят друг к другу». Если и Элис, и Боб любят Бейонсе, этот факт сам по себе вряд ли сведет их друг с другом. Но если им обоим нравится Bishop Allen, это как минимум немного повышает вероятность, что они родственные души. Если оба — фанаты группы, о которой компьютер не слышал, это даже лучше, но уловить это сможет только реляционный алгоритм, например Alchemy. Чем лучше обучающийся алгоритм, тем целесообразнее тратить время на то, чтобы рассказать ему о себе. Согласно общему правилу, лучше дифференцировать себя настолько, чтобы вас не путали со «среднестатистическим человеком» (помните Боба Бернса из главы 8?), но при этом не быть слишком необычным, иначе алгоритм не сможет вас постичь.
На самом деле онлайн-знакомства — сложный пример, потому что «химия» не всегда предсказуема. Если первое свидание пройдет как по маслу, люди могут по уши влюбиться и страстно верить, что созданы друг для друга, а если беседа примет другой оборот — посчитать друг друга назойливыми и потерять всякий интерес к дальнейшим встречам. По-настоящему сложный алгоритм машинного обучения сделал бы следующее: провел тысячу симуляций свиданий в стиле Монте-Карло между всеми вероятными парами, а затем выстроил рейтинг пар согласно доле успешных свиданий. Пока это невозможно, сайты знакомств могут устраивать вечеринки и приглашать людей, каждый из которых — вероятная пара для многих других присутствующих, чтобы дать им возможность за несколько часов сделать то, что в другом случае заняло бы недели.
Если вы не фанат интернет-знакомств, полезным выводом из вышесказанного будет понимание, какие взаимодействия с компьютером стоит сохранять. Если вы не хотите, чтобы из-за рождественских покупок Amazon запутался в ваших предпочтениях, заказывайте подарки на других сайтах. (Прости, Amazon.) Если дома и на работе вы смотрите разные типы видео, заведите два аккаунта на YouTube, по одному для каждой цели, и YouTube научится давать соответствующие рекомендации. А если вы собираетесь посмотреть то, что вас обычно не интересует, сначала разлогиньтесь. Безопасный режим Chrome используйте не для просмотра сомнительных сайтов (конечно, вы и так туда не ходите), а когда хотите, чтобы текущая сессия не повлияла на персонализацию в будущем. Если в аккаунт на Netflix добавить профили для разных людей, сайт не станет рекомендовать вам взрослые фильмы для вечернего просмотра в кругу семьи. Если вы невзлюбили какую-то компанию, кликайте на ее рекламу: они потратят деньги не только сейчас, но и в будущем, потому что Google научится показывать их объявления тем, кто вряд ли купит их продукцию. А если у вас есть конкретные запросы и вы хотите, чтобы Google в будущем отвечал на них правильно, уделите минуту, пройдитесь по страницам последних результатов, поищите хорошие ссылки и кликните на них. В целом, если система постоянно рекомендует не то, что нужно, попытайтесь ее научить: найдите группу правильных результатов, пройдите по ссылкам, а потом вернитесь и посмотрите, изменилась ли ситуация.
Все это, однако, может потребовать больших усилий и показывает, что, к сожалению, канал коммуникации между вами и обучающимся алгоритмом сегодня очень узок. Желательно иметь возможность не просто косвенно обучать алгоритмы своими действиями, а рассказывать о себе столько, сколько хочется. Более того, неплохо иметь доступ к проверке модели своей личности, сформированной алгоритмом машинного обучения, и исправлять ее по своему усмотрению. Обучающийся алгоритм может проигнорировать вас, если решит, что вы врете или не очень хорошо себя знаете, но как минимум у него будет возможность учесть ваш собственный вклад. Для этого модель должна быть представлена в понятной форме, например в виде набора правил, а не нейронной сети, и в дополнение к необработанным данным она должна на входе принимать общие утверждения, как это делает Alchemy. Все это подводит нас к вопросу, насколько хорошую модель вашей личности может получить обучающийся алгоритм и что вы хотели бы сделать с этой моделью.
Цифровое зеркало
Подумайте обо всех своих данных, которые записаны во всех компьютерах мира. Это электронные письма, документы MS Office, тексты, твиты, аккаунты на Facebook и LinkedIn, история поиска в интернете, клики, скачанные файлы и заказы, кредитная история, налоги, телефон и медицинская карта, статистика на Fitbit, информация о вождении, записанная в бортовом компьютере вашего автомобиля, карта перемещений, зарегистрированная вашим мобильным телефоном, все фотографии, которые вы когда-либо делали, короткие появления в записях камер слежения, а также ролики, снятые на Google Glass, и так далее и тому подобное. Если бы у будущего биографа был доступ только к этому «выхлопу данных» и ни к чему больше, какая бы картина у него сложилась? Вероятно, довольно точная и во многих отношениях подробная, но тем не менее без некоторых существенных деталей. Почему в один прекрасный день вы решили изменить карьеру? Смог бы биограф предсказать этот шаг заранее? Что с человеком, которого вы встретили однажды и никогда о нем не забывали? Смог бы биограф отмотать ленту назад и сказать: «Вот он!»
Понимание, что ни один обучающийся алгоритм (даже Агентство национальной безопасности) на сегодняшний день не имеет доступа ко всем этим данным, а даже если бы имел, то не знал бы, как превратить их в истинное ваше подобие, — это отрезвляющая и, может быть, обнадеживающая мысль. Но представьте, что вы взяли все свои данные и отдали их настоящему Верховному алгоритму будущего, в котором уже есть знание о человеческой жизни, которому мы можем его научить. Он создаст вашу модель, и вы сможете носить ее на флешке в кармане, при желании проверять ее и использовать для всего чего угодно. Безусловно, это будет прекрасный инструмент самоанализа — как посмотреть на себя в зеркало. Но зеркало было бы цифровое и показывало бы не только вашу внешность, но и все, что можно узнать, наблюдая за вами. Зеркало могло бы ожить и поговорить. О чем бы вы у него спросили? Может быть, не все, что скажет модель, придется вам по душе, но это будет лишь еще одной причиной задуматься. А некоторые ответы подскажут новые идеи, новые направления. Модель вашей личности, созданная Верховным алгоритмом, могла бы даже помочь вам стать лучше.
Оставим в стороне самосовершенствование. Вероятно, первое, что вы захотели бы от своей модели, — поручить ей договариваться с миром от вашего имени: выпустить ее в киберпространство, чтобы она искала для вас всякую всячину. Из всех книг в мире она порекомендует десяток, которые вы захотите прочитать в первую очередь, и советы будут такими глубокими, что Amazon и не снились. То же произойдет с фильмами, музыкой, играми, одеждой, электроникой, чем угодно. Разумеется, ваш холодильник будет всегда полон. Модель станет фильтровать вашу электронную и голосовую почту, новости на Facebook и обновления на Twitter, а когда это уместно, отвечать вместо вас. Она позаботится обо всех надоедливых мелочах современной жизни, например о проверке счетов по кредитке, об обжаловании неправильных транзакций, о планировании расписания, обновлении подписок и заполнении налоговой отчетности. Она подберет вам лекарство, сверится с лечащим врачом и закажет его в Walgreens. Она обратит ваше внимание на интересные объявления о работе, предложит место для отпуска, посоветует, за каких кандидатов проголосовать в избирательном бюллетене, и просканирует людей, с которыми стоит сходить на свидание. А после того как вы познакомитесь и понравитесь друг другу, ваша модель объединится с моделью вашей избранницы и выберет рестораны, которые вам обоим могут понравиться. И здесь становится по-настоящему интересно.
Общество моделей
В очень быстро надвигающемся будущем вы окажетесь не единственным человеком с «цифровой половинкой», которая круглые сутки исполняет ваши поручения. Подобная модель личности появится у каждого, и модели будут все время общаться друг с другом. Если вы ищете работу, а компания X — сотрудников, то ее модель будет проводить собеседование с вашей. Их «разговор» во многом напомнит настоящий, «живой», — ваша модель будет хорошо проинструктирована, например, она не станет выдавать о вас негативную информацию, — однако весь процесс займет всего долю секунды. В своем будущем аккаунте на LinkedIn вы кликнете «Найти работу» и немедленно пройдете собеседование на все должности во Вселенной, которые хотя бы отдаленно соответствуют вашим параметрам (профессии, местожительству, зарплате и так далее). LinkedIn тут же выдаст ранжированный список самых перспективных предложений, и вы выберете из него первую компанию, с которой желаете побеседовать лично. То же самое с романтическими знакомствами: ваша модель сходит вместо вас на миллионы свиданий, а в ближайшую субботу вы встретитесь с наиболее перспективными кандидатами на вечеринке, организованной OkCupid, зная, что вы один из самых перспективных кандидатов для них, и понимая при этом, что другие лучшие кандидаты вашего потенциального избранника тоже приглашены. Это будет интересный вечер.
В мире Верховного алгоритма «мои люди свяжутся с вашими» превратится в «моя программа свяжется с вашей программой». У каждого человека будет свита ботов, призванная сделать более легким и приятным его путь по миру. Сделки, переговоры, встречи — все это будет организовано, не успеете вы шевельнуть пальцем. Сегодня фармацевтические компании обхаживают врачей, потому что именно врач решает, какие лекарства вам выписать. Завтра поставщики всех продуктов и услуг, которыми вы пользуетесь или могли бы воспользоваться, будут нацелены на вашу модель, потому что она начнет проверять их для вас. Их боты попытаются убедить вашего бота сделать покупку. Задача вашего бота — насквозь видеть их намерения, как вы — телерекламу, но еще тоньше и подробнее, потому что у вас никогда нет времени и терпения, чтобы во всем разобраться. Прежде чем купить машину, ваша цифровая личность пройдется по всем параметрам, обсудит их с производителем и изучит все, что когда-либо было сказано об этой машине и альтернативных вариантах. Ваша цифровая половинка окажется похожа на гидроусилитель руля: жизнь пойдет туда, куда хотите, но с меньшими усилиями с вашей стороны. Это не значит, что вы окажетесь в «фильтрующем пузыре» и станете видеть только то, что вам гарантированно понравится, без каких-то неожиданностей. Цифровая личность окажется гораздо умнее, у нее будет инструкция оставлять место для шанса, давать вам соприкасаться с новым опытом, искать счастливые случайности.
Еще интереснее, что этот процесс не закончится, когда вы найдете машину, дом, врача, работу или спутника жизни. Цифровая половинка станет постоянно учиться на своем опыте — точно так же как учитесь вы сами. Она будет искать оптимальные подходы везде, будь то собеседования о приеме на работу, свидания или поиск недвижимости. Она будет узнавать сведения о людях и организациях, с которыми взаимодействует от вашего имени, а потом — что еще важнее — черпать информацию из вашего общения с ними в реальности. Если программа предсказала, что вы с Элис будете прекрасной парой, а вам оказалось некомфортно вместе, цифровая половинка построит гипотезы о возможных причинах и проверит их в следующем раунде свиданий. Самыми важными открытиями она будет делиться с вами. («Вы уверены, что вам понравится X, но на самом деле вы скорее предпочтете Y».) Сравнивая ваши впечатления от различных гостиниц с обзорами на TripAdvisor, программа определит настоящие лакомые кусочки и найдет их в дальнейшем. Она не просто узнает, какие онлайн-магазины достойны доверия, но и поймет, как раскусить самые ненадежные. У вашей цифровой половинки будет модель мира, точнее, модель вашего отношения к миру. В то же время, конечно, все остальные тоже будут располагать непрерывно эволюционирующими моделями своего мира. Все стороны станут взаимодействовать и учиться, а потом применять полученные знания к следующему взаимодействию. У вас будет собственная модель каждого человека и организации, с которыми вы контактировали, а у них сформируется ваша. По мере совершенствования моделей взаимодействие будет все более похожим на то, что сложилось бы в реальном мире, однако происходить оно будет in silico и в миллион раз быстрее. Киберпространство завтрашнего дня превратится в очень обширный параллельный мир, который станет выбирать все самое перспективное, чтобы испробовать в реальности. Это будет похоже на новое, глобальное подсознание, коллективный «Ид» человечества, или «Оно»[109].
Делиться или не делиться, а если да, то где и как
Конечно, полностью самостоятельное познание мира — медленный процесс, даже если ваша цифровая половинка делает это на порядок эффективнее, чем человек из плоти и крови. Если другие узнают вас быстрее, чем вы узнаете их, появятся проблемы. Чтобы этого избежать, надо делиться информацией: миллионы людей, объединив свои знания, узнают компанию или товар гораздо быстрее, чем один человек. Но с кем стоит делиться данными? Это, может быть, самый важный вопрос XXI столетия.
Сегодня данные можно разделить на четыре категории: те, которыми вы делитесь со всеми, те, которыми вы делитесь только с друзьями и коллегами, те, которыми вы делитесь с различными компаниями (сознательно или нет), и те, которые вы вообще не распространяете. К первому типу относятся, например, обзоры на Yelp, Amazon и TripAdvisor, рейтинги на eBay, резюме на LinkedIn, блоги, твиты и так далее. Эти данные очень ценны и порождают меньше всего проблем. Вы делитесь ими с миром, потому что сами того хотите, и это всем идет на пользу. Единственная сложность в том, что компании, которые хранят эти данные, не всегда разрешают массово их скачивать для построения моделей. Им следовало бы изменить свой подход. Сегодня можно зайти на TripAdvisor и увидеть обзоры и рейтинги заинтересовавших вас гостиниц, но как насчет модели факторов, которые делают гостиницу хорошей или плохой в целом? С ее помощью можно было бы оценивать гостиницы, у которых пока мало надежных обзоров или вообще их нет. TripAdvisor мог бы создать что-то подобное. А как насчет моделирования факторов, которые определяют привлекательность гостиницы именно для вас? Для этого требуется информация о вашей личности, и вы, возможно, не захотите делиться ею с TripAdvisor. Лучше, чтобы появилась доверенная третья сторона, которая соединит два типа данных и даст вам результат.
Данные второго рода тоже не должны создавать проблем, но это не так, потому что они соприкасаются с третьим видом данных. Вы делитесь новостями и картинками со своими друзьями на Facebook, а они делятся с вами. При этом каждый из вас делится всей этой информацией с сетью Facebook. Сеть получает преимущество: у нее миллиард друзей. День за днем она узнает о мире гораздо больше, чем смог бы узнать отдельный человек, и узнала бы еще больше, будь алгоритмы качественнее, а они совершенствуются с каждым днем благодаря нам — специалистам по обработке данных. Все эти знания Facebook использует главным образом для адресной рекламы, а взамен создает инфраструктуру для обмена информацией: на эту сделку идет каждый пользователь. Обучающиеся алгоритмы становятся все мощнее и извлекают из данных все больше и больше пользы, которая частично возвращается в форме более уместной рекламы и лучшего обслуживания. Единственная проблема в том, что Facebook вольна делать с данными и моделями то, что противоречит интересам пользователя, и этого избежать не получится.
Такая проблема появляется всюду, где человек делится данными с компаниями, а в наши дни подобные ситуации включают практически все действия в интернете и многие в реальной жизни. Вы еще не заметили, что вокруг идет яростная борьба за информацию о вас? Все хотят заполучить ваши данные, и это неудивительно — ведь таким образом можно найти лазейку в ваш мир, к вашим деньгам, голосу и даже к вашему сердцу. Пока у каждой компании есть лишь частица целого. Google знает, что вы ищете в интернете, Amazon располагает информацией о ваших покупках, AT&T — о телефонных звонках, Apple — о музыке, которую вы скачиваете, Safeway имеет полное представление о том, какие продукты едите, а Capital One — о ваших операциях с кредитными картами. Некоторые компании, например Acxiom, сопоставляют информацию о вас и продают ее, но на поверку (в случае Acxiom можно посмотреть на aboutthedata.com) ее получается немного и она отчасти ошибочна. Ни у кого и близко нет полной картины вашей личности. Это и хорошо, и плохо. Хорошо, потому что у того, кому удастся ее заполучить, появится слишком большая власть. Плохо — потому что, пока это так, создание всеобъемлющей модели невозможно. На самом деле вам нужно просто быть единственным владельцем такой модели и предоставлять к ней доступ исключительно на собственных условиях.
Последний тип данных — те, которыми вы не делитесь, — тоже создает проблему, и она заключается в том, что иногда следует предоставлять такую информацию. Может быть, это не приходило вам в голову, может быть, это непросто или у вас нет такого желания. В последнем случае стоит задуматься, есть ли у вас этическая обязанность делиться данными о себе. Один пример мы уже видели: больные раком могут внести вклад в победу над этим заболеванием, если предоставят доступ к геному опухоли и истории лечения. Но этим дело не ограничивается. Данные, которые мы генерируем в нашей повседневной жизни, могут дать ответы на всевозможные вопросы об обществе и политике. Социальные науки вступают в свой золотой век и наконец получат объем данных, сопоставимый со сложностью изучаемых явлений, а польза для всех нас будет огромной — при условии, что эти данные окажутся доступными и ученым, и людям, принимающим решения, и самим гражданам. Это не значит, что надо позволить другим подглядывать за вашей личной жизнью; это значит, что надо дать им возможность ознакомиться с полученными моделями, в которых будет только статистическая информация. Между вами и ними должен стоять честный брокер данных, который гарантирует, что информацией о вас не будут злоупотреблять и при этом не появится «халявщиков», которые стремятся получать преимущества, не делясь собственными данными.
Итого, проблемы есть у всех четырех видов данных. Решение у них общее: нужен новый тип компаний, который для ваших данных станет играть ту же роль, что банк для ваших сбережений. Банки (за редким исключением) не воруют и должны мудро инвестировать вклады. Сегодня многие компании предлагают консолидировать ваши данные где-то в облачном хранилище, но они все еще очень далеки от уровня банков персональных данных. Провайдеры облачных сервисов стремятся привязать вас к себе — а этого категорически нельзя допустить (представьте, что вы открыли счет в Bank of America и не уверены, можно ли будет когда-нибудь в будущем перевести средства в Wells Fargo). Некоторые стартапы предлагают вам хранить данные, а затем передают их рекламщикам, давая вам взамен скидки. На мой взгляд, смысл не в этом. В некоторых случаях вы бы дали такую информацию бесплатно, потому что сами в этом заинтересованы, а в некоторых ни за что не стали бы этого делать.
Компании нового типа, как я себе их представляю, за абонентскую плату будут предоставлять несколько функций. Во-первых, они станут анонимизировать ваши взаимодействия в электронном мире, проводя их через собственные серверы, и накапливать их, как и аналогичные действия других пользователей. Во-вторых, будут хранить в одном месте данные, собранные в течение вашей жизни, вплоть до круглосуточного видеопотока Google Glass, если у вас есть такие очки. В-третьих, они будут формировать полную модель вашей личности и вашего мира и постоянно ее обновлять. В-четвертых — применять эту модель от вашего имени, в рамках ее способностей, всегда делая ровно то, что сделали бы вы сами. Основное обязательство компании перед вами — никогда не использовать ваши данные и вашу модель вопреки вашим интересам. Гарантия не будет стопроцентной — в конце концов, мы и сами не застрахованы от того, чтобы иногда сделать что-нибудь себе во вред. Тем не менее жизнеспособность компании станет зависеть от выполнения договоренности в той же степени, как выживание банка — от сохранности ваших денег, поэтому можно будет доверять им так, как мы сегодня доверяем банкам.
Такие компании могут быстро стать одними из самых дорогих в мире. Как указывает Алексис Мадригал из журнала Atlantic, сегодня ваш профиль можно купить за полцента или даже дешевле, однако для индустрии интернет-рекламы ценность пользователя приближается к 1200 долларам в год. Фрагмент информации о вас, имеющийся в распоряжении Google, стоит около 20 долларов, у Facebook — 5 долларов и так далее. Прибавьте к этому фрагменты, которых пока ни у кого нет, и тот факт, что целое весомее суммы частей — модель личности, основанная на всех ваших данных, намного лучше тысячи моделей, построенных из отдельных кусочков, — и это легко даст более триллиона долларов в год для такой экономики, как США. На этом фундаменте несложно построить компанию из списка Fortune 500. (Если вы решите принять вызов и станете миллиардером, не забудьте, кто вам подбросил идею.)
Конечно, некоторые уже существующие компании с большим удовольствием приютят вашу «цифровую личность». Например, Google. Сергей Брин хочет, чтобы Google стала «третьим полушарием вашего мозга», и некоторые из приобретений компании, вероятно, связаны с тем, как удачно потоки пользовательских данных дополняют поток самой компании. Но, несмотря на исходные преимущества, Google и Facebook, например, не очень подходят на роль вашего цифрового дома, потому что возникает конфликт интересов. Они зарабатывают себе на жизнь таргетированием рекламы, поэтому им придется как-то уравновешивать интересы пользователей и рекламодателей. Вы, наверное, не допустите, чтобы одно из полушарий было не совсем вам лояльно? Тогда зачем позволять это третьему полушарию?
Потенциальная угроза может исходить от государственных органов, если у них будет право истребовать ваши данные или даже профилактически посадить вас за решетку, как в фильме «Особое мнение»[110], если ваша модель напоминает модель преступника. Чтобы это предотвратить, хранящая данные компания должна их шифровать, а ключ должен быть в вашем распоряжении (в наши дни уже можно производить вычисления на зашифрованных данных без их расшифровки). Или можно держать все на жестком диске у себя дома, а компания просто предоставит программное обеспечение в аренду.
Если вам не по душе мысль, что ключи к вашему миру находятся в руках коммерческой организации, можете вступить в Союз защиты данных. (Если в вашем уголке киберлеса его пока нет, подумайте, не основать ли его самому.) Люди ХХ века нуждались в профессиональных союзах, чтобы уравновесить силы рабочих и руководства. Союзы защиты данных в XXI веке понадобятся по схожим причинам. Корпорации обладают несравнимо большими возможностями по сбору и использованию данных, чем отдельные люди. Это ведет к диспропорции сил, а чем ценнее данные, чем лучше и полезнее модели, которые можно построить на их основе, и тем сильнее неравенство. Союз позволит своим членам требовать у компаний справедливые условия использования данных. Наверное, за создание таких союзов могут взяться уже существующие профсоюзы, однако они ограничены по профессиональному и географическому принципам. Союзы защиты данных могут быть более гибкими: чтобы полученные модели были полезнее, объединяйтесь с людьми, с которыми у вас много общего. Обратите внимание, что членство в союзе защиты данных не подразумевает предоставление доступа к вашей информации другим его членам. Просто каждый сможет пользоваться моделями, полученными из собранных воедино данных. Союзы защиты данных могут стать посредниками, задача которых — объяснить политикам, чего вы хотите. Ваши данные смогут влиять на мир, как ваш голос, а может, и больше: к урне вы приходите только в день голосования. Все остальное время вашим голосом будут ваши данные.
До сих пор я не произнес словосочетания «частная жизнь», и это не случайно. Частная жизнь — лишь один аспект более широкой проблемы предоставления доступа к информации, и, если сосредоточиться на нем в ущерб целому, как в сегодняшних дебатах, мы рискуем прийти к неправильным выводам. Например, законы, запрещающие использовать данные в любых целях за исключением исходно предусмотренных, крайне близоруки. Когда люди обменивают защиту частной жизни на другие блага, как при заполнении профиля на сайте, они ценят ее намного меньше, чем когда отвечают на отвлеченные вопросы вроде «Важна ли для вас защита частной жизни?». Тем не менее дебаты о частной жизни чаще загоняют в рамки именно таких вопросов. Европейский суд издал декрет о праве человека на забвение, но ведь у людей есть и право на память — как в собственных нейронах, так и на жестком диске. Такое же право есть у компаний до тех пор, пока интересы пользователей, собирателей данных и рекламщиков совпадают. Отвлекаться не на то, что надо, вредно для всех, и чем лучше данные, тем лучше будет продукция. Частная жизнь — это не игра с нулевой суммой, хотя к ней часто относятся именно так.
Компании, которые хранят вашу цифровую личность, и союзы защиты данных, на мой взгляд, определят картину работы с данными в развитом будущем. Наступит ли оно — вопрос открытый. Сегодня большинство людей не осознают, сколько данных они предоставляют и с какими затратами и преимуществами это может быть связано для них. Компании, со своей стороны, с удовольствием сохраняют статус-кво и работают негласно, боясь прокола. Рано или поздно такая система рухнет, и в атмосфере скандала будут приняты драконовские законы, от которых хорошо не будет никому. Лучше воспитывать сознательность сейчас и давать каждому право делать выбор — делиться ли данными, а если да, то как и где.
Нейронная сеть украла у меня работу
Каких интеллектуальных усилий требует ваша работа? Чем больших, тем в большей вы безопасности. На заре появления искусственного интеллекта считалось, что «синих воротничков» компьютеры заменят раньше, чем «белых», потому что последним приходится больше думать. Но дело обернулось совсем не так: роботы собирают автомобили, но не вытеснили строителей. С другой стороны, алгоритмы машинного обучения заняли место кредитных аналитиков и работников прямого маркетинга. Как оказалось, оценивать заявления о кредите машинам проще, чем не спотыкаясь ходить по стройплощадке, хотя у людей все наоборот. Общая тема здесь в том, что узко определенные задания легко научиться решать, имея данные, а вот задачи, требующие широкого сочетания навыков и знания, научиться решать не так просто. Большая часть мозга человека выделена для обеспечения зрения и движений, то есть ходьба — намного более сложное дело, чем может показаться, но мы принимаем необходимость ходить как должное, поскольку этот процесс доведен до совершенства эволюцией и в основном выполняется подсознательно. Narrative Science разработала систему искусственного интеллекта, которая довольно хорошо умеет писать отчеты по итогам бейсбольных матчей, но романы ей не под силу, потому что жизнь намного сложнее, чем бейсбол. Распознавание речи с трудом дается компьютерам, так как нужно в буквальном смысле заполнять пробелы — звуки, которые мы постоянно проглатываем, — не имея понятия, о чем идет речь. Алгоритмы умеют прогнозировать колебания курсов акций, но не представляют, как они связаны с политикой. Чем больше контекста требует профессия, тем менее вероятно, что компьютеры быстро ее освоят. Здравый смысл важен не только потому, что так говорила мама, но и потому, что у компьютеров его нет.
Лучший способ не потерять работу — самому ее автоматизировать и сосредоточиться на тех ее аспектах, на которые вам не хватало времени и которые компьютер пока не может освоить. (Если таких аспектов нет, опередите события и поищите новую работу прямо сейчас.) Если машины освоили вашу профессию, не пытайтесь с ними соревноваться. Впрягите их. H&R Block по-прежнему на плаву, а работа специалистов по оформлению налоговых деклараций куда менее занудная, чем раньше, потому что компьютеры взяли на себя большую часть рутины. (Хотя налоги, наверное, не лучший пример: налоговый кодекс растет экспоненциально, и это одна из немногих вещей, которая может тягаться с экспоненциальным ростом вычислительных мощностей.) Считайте большие данные продолжением ваших органов чувств, а обучающиеся алгоритмы — расширением мозга. Лучшие шахматисты сегодня — так называемые кентавры, наполовину люди, наполовину программы. Это справедливо для других профессий, от аналитиков фондовых рынков до агентов по подбору бейсболистов. Это не соревнование человека с машиной, а конкуренция человека, вооруженного машиной, с человеком без таковой. Данные и интуиция — как конь и наездник: не надо пытаться обогнать лошадь, надо ее оседлать.
По мере развития технологий человеческое и компьютерное будут все теснее переплетаться. Проголодались? Yelp предложит пару хороших ресторанов. Вы выбираете один из них и смотрите на подсказки GPS. Электроника автомобиля контролирует вождение на низком уровне. Все мы уже киборги. В реальности автоматизация не уничтожает, а создает возможности: некоторые профессии исчезают, но гораздо больше появляется. Прежде всего, она делает возможными вещи, которые в исполнении человека слишком дороги. Банкоматы отчасти пришли на смену банковским кассирам, но прежде всего они дали возможность снимать деньги в любом месте и в любое время. Если бы пиксели раскрашивали живые мультипликаторы, мы не знали бы «Истории игрушек»[111] и компьютерных игр.
Тем не менее может возникнуть вопрос: не останутся ли люди без работы? Я думаю, не останутся. Даже если когда-нибудь — очень нескоро — компьютеры и роботы опередят нас во всем, как минимум некоторым из нас будет чем заняться. Робот может идеально выполнить роль бармена — вплоть до милой беседы с клиентом, — но хозяева заведения все равно отдадут предпочтение человеку, просто потому, что он человек. Рестораны с официантами-людьми будут престижнее, как сейчас вещи ручной работы. У нас есть кино, автомобили и моторные лодки, но люди все равно смотрят спектакли, катаются на лошадях и ходят под парусом. Еще важнее, что некоторые специалисты окажутся поистине незаменимыми, потому что в их работе есть то, чего у компьютеров и роботов не может быть по определению: человеческий опыт. Я не имею в виду «сентиментальные» занятия, потому что сентиментальность несложно подделать: посмотрите на успехи механических домашних животных. Речь идет о гуманитарных дисциплинах, которые невозможно понять без опыта, доступного только людям. Сейчас есть опасения, что гуманитарные науки вошли в штопор и вымирают, однако, когда другие области будут автоматизированы, они восстанут из пепла. Чем обширнее и дешевле автоматизированное производство, тем ценнее вклад гуманитариев.
В то же время долгосрочные перспективы специалистов по точным и естественным наукам, к сожалению, не самые радужные. Науку будущего вполне могут продвигать только компьютеры, а люди, ранее называвшиеся учеными (такие как я сам), вынуждены будут положить жизнь на то, чтобы понять научные достижения, сделанные компьютерами. При этом они по-прежнему будут довольны своей работой, ведь наука, в конце концов, — это удовлетворение собственного любопытства. Сохранится и еще одна очень важная профессия для людей с техническим складом ума: присматривать за компьютерами. На самом деле для этого нужно быть не просто инженером, и в итоге к этому может свестись работа всего человечества: мы будем определять, чего хотим от машин, и контролировать, дают ли они то, что надо. Подробнее об этом мы поговорим ниже.
По мере смещения границы между автоматизируемыми и неавтоматизируемыми профессиями мы, скорее всего, будем наблюдать рост безработицы, уменьшение заработков все большего и большего числа специалистов и рост доходов в тех областях, которые автоматизировать пока нельзя. Это, конечно, уже происходит, но в дальнейшем будет выражено гораздо сильнее. Переходный период окажется бурным, но благодаря демократии все кончится хорошо. (Берегите свое право голоса — может быть, это самое ценное, что у вас есть.) Когда уровень безработицы перевалит за 50 процентов, а может, и раньше, отношение к распределению благ радикально изменится. Недавно ставшее безработным большинство будет голосовать за щедрые пожизненные пособия, и, чтобы их обеспечить, понадобятся огромные налоги. Однако это не будет слишком затратно, потому что все необходимое начнут производить машины. Вместо уровня безработицы мы станем говорить об уровне трудоустройства, снижение которого будет считаться признаком прогресса. («США отстает! Уровень трудоустройства все еще целых 23 процента!») Пособия по безработице сменятся базовым доходом для всех граждан. Если кому-то этого будет не хватать, всегда появится возможность заработать больше, неизмеримо больше, в немногих оставшихся человеческих профессиях. Либералы и консерваторы все так же станут ломать копья вокруг ставки налогообложения, но целевые показатели изменятся навсегда. После того как ценность труда сильно упадет, самыми богатыми станут страны с самым высоким соотношением природных богатств к численности населения (переезжайте в Канаду). Для неработающих жизнь совсем не будет бесцельной: не больше, чем бессмысленна жизнь на тропическом острове, где все потребности удовлетворяет щедрая природа. Разовьется экономика дарения, предвестник которой сегодня — программное обеспечение с открытым кодом. Как и сейчас, люди будут искать смысл жизни во взаимоотношениях, саморазвитии, духовности. Необходимость зарабатывать себе на жизнь станет далеким воспоминанием, еще одним осколком варварского прошлого, из которого мы выросли.
Война — не для людей
Солдатскую службу автоматизировать сложнее, чем науку, но прогресс не обойдет стороной и вооруженные силы. Одно из важнейших призваний роботов — делать то, что для человека слишком опасно, а ведение войн опасно по определению. Уже сегодня роботы обезвреживают взрывные устройства, а дроны позволяют подразделению «заглянуть за высотку». На подходе беспилотные автомобили снабжения и роботы-мулы. Вскоре нам придется определиться, разрешать ли роботам нажимать на спусковой крючок. Аргумент «за» — стремление обезопасить живых военнослужащих, а также непригодность дистанционного управления в быстро меняющейся обстановке и ситуациях типа «стреляй или погибнешь». Против такого решения говорит тот факт, что роботы не понимают этики, поэтому им нельзя доверить решения, связанные с жизнью и смертью. В то же время их можно научить этике, и здесь возникает более глубокий вопрос: готовы ли мы к этому.
Несложно заложить в робота общие принципы применения оружия, например военные соображения, пропорциональность и сохранение жизни мирного населения. Но между этими принципами и конкретной ситуацией — пропасть, которую должно преодолеть рассуждение солдата. Когда роботы будут пытаться применить на практике три закона робототехники, они быстро столкнутся с проблемами, что, собственно, иллюстрируют рассказы Айзека Азимова. Общие принципы обычно противоречивы, а иногда исключают друг друга, и это неизбежно, иначе мир станет черно-белым, без оттенков. Когда военная необходимость превыше жизни гражданских лиц? На это нет однозначного ответа, и не получится вложить в компьютер все непредвиденные обстоятельства. Выход дает машинное обучение. Во-первых, надо научить роботов распознавать соответствующие концепции, предоставив им, например, наборы ситуаций, где гражданских пощадили или не пощадили, применение оружия было и не было пропорциональным и так далее. Затем надо составить для роботов кодекс поведения в виде правил с этими концепциями. Наконец, их надо научить применять этот кодекс путем наблюдения за людьми: в этом случае солдат открыл огонь, а в этом воздержался. Обобщая эти примеры, робот сможет сформировать комплексную модель принятия этических решений в виде, скажем, большой логической сети Маркова. Когда его решения начнут совпадать с человеческими настолько, насколько решения разных людей совпадают между собой, обучение будет завершено и модель можно будет загрузить в тысячи электронных мозгов. В отличие от людей роботы не будут терять голову в горячке боя. Если робот станет функционировать неправильно, ответственность за это понесет производитель. Если начнет поступать неправильно — учителя.
Как вы, наверное, догадались, главная проблема такого подхода заключается в том, что учиться этике путем наблюдения за людьми, возможно, не лучшая идея. Робот может серьезно смутиться, увидев, что своими действиями люди часто нарушают собственные этические принципы. Поэтому можно, например, очистить обучающие данные, оставив только примеры поведения солдата, признанные этической комиссией правильными. Члены комиссии также станут проверять и корректировать модель после обучения, пока их не удовлетворит результат. Если в комиссию войдут разные люди, достичь консенсуса будет непросто, но так и должно быть. Обучение роботов этике, с учетом их логичности и отсутствия предыдущего опыта, заставит нас перепроверить собственные представления и исключить из них противоречия. Здесь, как и во многих других областях, большим плюсом машинного обучения может оказаться не то, что узнают машины, а то, что узнаем мы сами — их учителя.
Другой аргумент против армий роботов — то, что война станет слишком легким делом. При этом односторонний отказ от такого вооружения сам по себе может спровоцировать нападение. Логическая реакция, которую поддерживают ООН и Human Rights Watch, — соглашение о запрете роботизированного вооружения, аналогичное Женевскому протоколу 1925 года, запретившему химическое и биологическое оружие. Однако здесь есть важный нюанс. Химическое и биологическое оружие только увеличивает человеческие страдания, а роботизированное может заметно их облегчить. Если войну ведут машины, а люди ими командуют, не будет убитых и раненых, поэтому, наверное, надо запрещать не роботизированных солдат, а — когда мы будем к этому готовы — солдат-людей.
Армии роботов действительно могут повысить вероятность боевых действий, но они изменят и саму этику войны. Когда на прицеле робот, решить дилемму «стрелять — не стрелять» намного проще. Сейчас войну считают невообразимым ужасом, крайней мерой. Такая точка зрения будет скорректирована: война по-прежнему останется оргией разрушения, убыточной для всех воюющих сторон, и ее будут избегать по мере возможности, но не любой ценой. А если война сведется к соревнованию в мощи уничтожения, почему не соревноваться в масштабе созидания?
Как бы то ни было, запрет роботизированного вооружения может оказаться невозможным. Сегодня вместо того, чтобы запрещать дронов — предшественников завтрашних боевых роботов, — большие и малые государства заняты их разработкой, вероятно, потому, что преимущества превышают риски. Как и с любым оружием, безопаснее иметь роботов, чем верить, что противник соблюдает правила. Если в будущем миллионы дронов-камикадзе окажутся способны за считаные минуты разбить традиционные армии, пусть это лучше будут наши дроны. Если Третья мировая война закончится за секунды и сведется к взятию под контроль систем врага, лучше иметь умные, быстрые и стойкие сети. (Системы, не объединенные в сети, не помогут: хотя их нельзя взломать, они не идут ни в какое сравнение с сетевыми.) В итоге гонка роботизированных вооружений может стать благом, если приблизит день, когда Пятая женевская конвенция запретит участие людей в боевых действиях. Войны будут всегда, но не обязательно с человеческими жертвами.
Google + Верховный алгоритм = Skynet?
Конечно, армии роботов пробуждают в воображении еще одного призрака. Если верить голливудским фильмам, в будущем человечество обречено на порабощение гигантским искусственным интеллектом и огромной армией послушных ему машин (если, конечно, в последние пять минут отважный герой всех не спасет). У Google уже есть масштабное оборудование, которое необходимо искусственному интеллекту, а недавно компания приобрела и второй элемент — массу стартапов, занимающихся робототехникой. Если добавить в ее серверы последний ингредиент — Верховный алгоритм, наша песенка спета? Признаюсь — все именно так и будет. Пришло время в стиле Толкина объявить о моих истинных намерениях:
Три алгоритма — ученым в небесных шатрах,
Семь — инженерам, живущим в дворцах серверов,
Девять — смертным магнатам, чей жребий — забвение и прах.
А один — искусственному разуму на троне тьмы,
В мрачном крае обучения, где залежи данных.
Один алгоритм правит всеми, один их отыщет,
Один соберет их и накрепко свяжет во тьме
В мрачном царстве обучения, где залежи данных.
Ха-ха-ха! Но если говорить серьезно, стоит ли опасаться, что машины возьмут верх? Ведь зловещие признаки действительно существуют. Компьютеры с каждым годом не просто делают больше работы, но и принимают все больше решений: кому дать кредит, какие товары человек покупает, кого принять на работу, кому дать прибавку к зарплате, какие котировки пойдут вверх, а какие вниз, сколько будет стоить страховка, куда направить полицейские патрули и кто будет арестован, какой тюремный срок этот человек получит, кто с кем пойдет на свидание и, следовательно, кто родится. Модели машинного обучения уже играют во всем этом свою роль. Момент, когда можно было выключить все компьютеры, не опасаясь коллапса современной цивилизации, давно пройден. Машинное обучение — последняя соломинка: когда компьютеры начнут программировать себя самостоятельно, все надежды взять их под контроль, безусловно, окажутся потеряны. Выдающиеся ученые, например Стивен Хокинг, призвали немедленно начать исследования на эту тему, потому что потом будет слишком поздно.
Расслабьтесь. Шансы, что искусственный интеллект, вооруженный Верховным алгоритмом, захватит мир, равны нулю. Причина проста: в отличие от людей компьютеры не обладают собственной волей. Они порождение инженеров, а не эволюции. Даже бесконечно мощный компьютер будет всего лишь продолжением нашей воли, и бояться нам нечего. Вспомните три обязательных компонента обучающихся алгоритмов: представление, оценка и оптимизация. Представления алгоритма машинного обучения очерчивают то, чему он может научиться. Давайте сделаем его мощным, как марковская логика, чтобы он в принципе мог узнать все. Оптимизатор делает все, что в его силах, чтобы максимизировать функцию оценки — не больше и не меньше, — а саму функцию оценки определяем мы. Мощный компьютер просто будет оптимизировать ее лучше. Нет риска, что алгоритм выйдет из-под контроля, даже если он генетический. Выведенная система, которая делает не то, что мы хотим, окажется крайне неприспособленной и вскоре вымрет. Более того, именно системы, которые умеют хоть немного лучше выполнять наши желания, станут поколение за поколением множиться и захватывать пул генов. Конечно, если человечество окажется настолько глупым, чтобы специально запрограммировать компьютер поработить его, оно, может быть, получит по заслугам.
То же самое относится ко всем системам искусственного интеллекта, потому что они — прямо или косвенно — состоят из тех же трех компонентов. Они могут делать самые разные вещи и даже придумывать неожиданные планы, но только для достижения целей, которые мы перед ними поставим. Робот, запрограммированный для того, чтобы «приготовить хороший ужин», может пожарить стейк, сварить буйабес и даже порадовать вкуснейшим блюдом собственного изобретения, но шанс, что он специально отравит своего хозяина, не больше, чем то, что автомобиль вдруг решит взлететь. Задача систем искусственного интеллекта — находить решения NP-полных проблем, которые, как вы, может быть, помните из главы 2, могут занимать экспоненциальное время, но всегда эффективно проверяемы. Поэтому мы должны с распростертыми объятиями встречать компьютеры, которые несравнимо мощнее нашего мозга, спокойно осознавая, что наша работа экспоненциально легче, чем их. Им придется решать проблемы, а нам — просто проверять, что они сделали для нас. Искусственный интеллект будет думать быстро там, где мы думаем медленно, и мир от этого станет только лучше. Лично я буду очень рад нашим новым слугам — роботам.
В опасениях, что разумные машины возьмут верх, нет ничего удивительного, потому что единственные известные нам разумные сущности — люди и другие животные, и у них, несомненно, есть собственная воля. Однако разум и воля не обязательно должно быть связаны, или, точнее, они не обязательно будут находиться в том же самом организме при условии, что между ними проходит линия контроля. В книге The Extended Phenotype[112] Ричард Докинз показывает, что природа изобилует примерами генов, власть которых выходит за пределы организма животного, — от кукушечьих яиц до бобровых хаток. Технологии — расширенный фенотип человека, то есть мы можем управлять ими, даже если их сложность намного превышает наше понимание.
Давайте перенесемся на 2 миллиарда лет назад и представим, как две нити ДНК купаются в своем бассейне — бактериальной цитоплазме — и обдумывают историческое решение. «Мне не по себе, Диана, — говорит одна. — Если мы начнем создавать многоклеточные создания, не возьмут ли они верх?» Вернемся в XXI век: ДНК живет и здравствует — ей даже лучше, чем когда бы то ни было, потому что отчасти она населяет безопасные двуногие организмы, состоящие из триллионов клеток. Наши крошечные друзья — двойные спирали — прошли довольно большой путь с момента того памятного решения. На данный момент люди оказались самыми хитрыми созданиями: они изобрели контрацепцию, которая позволяет развлекаться, не распространяя нашу ДНК, и у них есть — если это не иллюзия — свободная воля. Но именно ДНК по-прежнему формирует наши представления о развлечениях, а свободную волю мы используем, чтобы гнаться за удовольствиями и избегать боли, а такое поведение в основном совпадает с тем, что выгодно для выживания нашей ДНК. Мы можем стать для ДНК последним этапом развития, если предпочтем сделаться кремниевыми существами, но даже в таком случае история этой молекулы длилась целых 2 миллиарда лет. Сегодня перед нами похожее решение: если начать работать над искусственным интеллектом — обширным, взаимопереплетенным, сверхчеловеческим, непостижимым, — не возьмет ли он верх? Не более чем огромные и непостижимые многоклеточные организмы взяли верх над генами. Искусственный интеллект — это наш инструмент выживания, точно так же как мы сами — инструмент выживания для наших генов.
Все это не значит, однако, что нам не о чем беспокоиться. Первая большая опасность, как в случае любой технологии, — то, что искусственный интеллект может попасть в плохие руки. Чтобы какой-нибудь шутник или преступник не запрограммировал искусственный интеллект захватить мир, лучше организовать ИИ-полицию, способную выловить и стереть его до того, как все зайдет слишком далеко. Лучшая страховка против буйства мощного искусственного интеллекта — еще более мощный искусственный интеллект, поддерживающий мир на планете.
Второй повод для беспокойства — вероятность, что люди сами, добровольно сдадут власть. Все начнется с предоставления прав роботам: далеко не всем это кажется так же абсурдным, как мне. В конце концов, мы ведь уже дали права животным, хотя они нас об этом не просили. Права роботов могут показаться логичным этапом в расширении «круга эмпатии». Почувствовать сострадание к ним несложно, особенно если их специально разработали, чтобы вызывать такие чувства: в этом преуспели даже тамагочи, японские «виртуальные питомцы» с тремя кнопками и жидкокристаллическим дисплеем. Гонка за наращивание эмпатии начнется с первого появившегося в продаже человекообразного робота, потому что они будут продаваться намного лучше, чем обычные металлические. Дети, воспитанные роботами-нянями, на всю жизнь сохранят слабость к добрым электронным друзьям. Эффект «зловещей долины» — дискомфорт, который вызывают существа, почти, но не совсем идентичные человеку, — будет им незнаком, потому что они с детства знакомы с причудами роботов, а в подростковом возрасте, может быть, для крутости будут даже им подражать.
Следующий этап ползучей передачи власти искусственному интеллекту — разрешить ему принимать вообще все решения: он ведь гораздо умнее. Здесь надо быть очень осторожным. Может быть, компьютеры и правда умнее нас, но они служат тому, кто разработал их функции оценки. Это проблема «Волшебника страны Оз». В мире разумных машин надо будет постоянно следить за тем, чтобы они делали ровно то, что от них требуется, причем и на входе (целеполагание), и на выходе (проверяли, выдала ли машина то, что от нее просили). Если этого не сделаете вы сами, сделает кто-то другой. Машины могут помочь человечеству осознать свои желания, но самоустранившийся проигрывает: совсем как при демократии, но в еще большей степени. Об этом не принято говорить, но человек довольно легко попадает в подчинение, а ведь любой достаточно развитый искусственный интеллект неотличим от бога, и, возможно, никто не станет возражать против приказов какого-то огромного непогрешимого компьютера. Вопрос в том, кто надзирает за надзирателем. Будет ли искусственный интеллект путем к совершенной демократии или к тотальной диктатуре? Пора начать вечное дежурство.
Третий и, наверное, самый серьезный повод для беспокойства — то, что, как джинн из сказки, машины начнут давать нам то, чего мы просим, а не то, чего мы на самом деле хотим. Это не гипотетический сценарий: обучающиеся алгоритмы постоянно так поступают. Мы обучаем нейронные сети узнавать лошадей, а они учатся узнавать коричневые пятна, потому что все лошади в обучающем наборе были гнедые. Вы купили часы, и Amazon начинает рекомендовать схожие предметы — еще больше часов, — хотя они вам уже совершенно ни к чему. Если проверить все решения, которые сегодня принимают компьютеры — например, о выдаче кредитов, — можно заметить, что они зачастую необоснованно плохи. Человек был бы не лучше, если бы его мозг работал по методу опорных векторов и все познания об оценке кредитоспособности были бы получены из тщательно проработанной, но никуда не годной базы данных. Люди беспокоятся, что компьютеры станут слишком умны и захватят мир, однако настоящая проблема в том, что мир уже захвачен глупыми компьютерами.
Эволюция, часть вторая
Даже если компьютеры пока еще не блещут интеллектом, не вызывает сомнения, что их умственные способности очень быстро растут. Еще в 1965 году британский статистик Ирвинг Гуд[113], во время Второй мировой работавший с Аланом Тьюрингом над взломом «Энигмы»[114], размышлял на тему приближающегося взрывного роста интеллекта. Гуд указывал: если мы способны разработать машины умнее нас самих, те, в свою очередь, должны быть способны разработать машины, которые будут умнее их, и так до бесконечности, оставляя человеческий разум далеко позади. В 1993 году Вернор Виндж[115] окрестил это «сингулярностью». Эту концепцию широко популяризировал Рэймонд Курцвейл, который в книге The Singularity Is Near («Сингулярность рядом») утверждает, что момент, при котором разум машин превысит человеческий — давайте назовем его точкой Тьюринга, — не только неизбежен, но и ждет нас в течение ближайших нескольких десятилетий.
Очевидно, что без машинного обучения — программ, которые разрабатывают программы, — сингулярность не наступит. Еще для этого понадобится достаточно мощное оборудование, но оно не отстает. Точки Тьюринга мы достигнем вскоре после того, как изобретем Верховный алгоритм. (Я готов поспорить с Курцвейлом на бутылку Dom Prignon, что это произойдет раньше, чем мы сконструируем мозг путем обратной инженерии — предложенного им метода достижения искусственного интеллекта, равного человеческому.) При всем уважении к Курцвейлу, однако, это приведет не к сингулярности, а к чему-то намного более интересному.
Термин «сингулярность» пришел из математики — там он обозначает точку, в которой функция стремится к бесконечности. Например, у функции 1x такая точка — это x = 0, потому что результат деления единицы на ноль равен бесконечности. В физике классический пример сингулярности — черная дыра: точка бесконечной плотности, где конечное количество материи сжимается в бесконечно малое пространство. Единственная проблема с сингулярностью заключается в том, что на самом деле она не существует. (Когда вы последний раз делили торт между нулем человек и каждый из них получал бесконечный кусок?) Если физическая теория предсказывает нечто бесконечное, значит, с ней что-то не в порядке. Наглядный пример: общая теория относительности предсказывает, что черные дыры имеют бесконечную плотность, предположительно из-за того, что игнорируют квантовые эффекты. Аналогично разум не может развиваться вечно. Курцвейл признает это, но усматривает в совершенствовании технологии серию экспоненциальных кривых (скорость процессоров, объем памяти и так далее) и утверждает, что границы этого роста так далеки, что можно не принимать их во внимание.
Утверждение Курцвейла страдает переобучением. Он правильно обвиняет других в склонности к линейной экстраполяции — люди часто видят прямые линии вместо кривых, — но затем сам становится жертвой более экзотического недуга: видит везде экспоненты. В пологих кривых (ничего не происходит) он видит еще не начавшийся экспоненциальный рост. Однако кривые совершенствования технологий — это не экспоненты, а сигмоиды, наши добрые знакомцы из главы 4. Их начальные отрезки действительно легко перепутать с экспонентами, но затем они быстро расходятся. Большинство кривых Курцвейла — это следствия из закона Мура, который почти исчерпал себя. Курцвейл утверждает, что на смену полупроводникам придут другие технологии и на одних сигмоидах будут возникать другие, каждая круче предыдущей, но это лишь домыслы. Когда Курцвейл идет еще дальше и утверждает, что экспоненциально ускоряющийся прогресс виден не только в человеческих технологиях, но и во всей истории жизни на Земле, это восприятие по крайней мере частично связано с эффектом параллакса: нам кажется, что вещи, которые расположены ближе, движутся быстрее. Трилобитам[116], жившим в разгар Кембрийского взрыва, можно простить веру в экспоненциально ускоряющийся прогресс, но затем последовало большое замедление. Тираннозавры, вероятно, предложили бы вместо этого закон роста размеров организма. Эукариоты (и мы в том числе) эволюционируют медленнее, чем прокариоты[117] (например, бактерии). Эволюция ускоряется далеко не равномерно, а как придется.
Чтобы обойти проблему невозможности бесконечно плотных точек, Курцвейл предложил приравнять сингулярность к горизонту событий черной дыры: области, где гравитация настолько сильна, что не выпускает даже свет. То же самое, говорит он, и с сингулярностью: это точка, за пределами которой технологическая эволюция настолько ускоряется, что люди не могут ни предсказать ее, ни понять, что произойдет. Если это и есть сингулярность, значит, мы уже ее достигли: мы не в состоянии угадать заранее, что придумает обучающийся алгоритм, и часто даже не понимаем полученный результат. Фактически мы уже живем в мире, постижимом для нас лишь отчасти. Главное различие заключается в том, что наш мир в какой-то степени создан нами, а это, безусловно, прогресс. Мир за пределами точки Тьюринга будет непонятен для нас не больше, чем плейстоцен[118]. Как всегда, мы сосредоточимся на том, в чем можем разобраться, а остальное назовем случайностью (или провидением).
Траектория, на которой мы находимся, — это не сингулярность, а фазовый переход. Его критическая точка — точка Тьюринга — наступит, когда машинное обучение опередит естественное. Само естественное обучение тоже прошло через три фазы: эволюцию, мозг и культуру. Каждое было продуктом предыдущего, и каждое училось быстрее. Машинное обучение — логическая следующая стадия этой цепочки. Компьютерные программы — самые быстрые репликаторы на земле: их копирование занимает всего долю секунды — но рождаются они медленно, если их должен написать человек. Машинное обучение устраняет это узкое горло, оставляя только окончательное ограничение: скорость, с которой люди способны усваивать изменения. Когда-нибудь исчезнет и эта граница, но не потому, что мы решим передать все «детям нашего разума», как называет их Ханс Моравек[119], и тихо уйти в историю. Человечество — не засыхающая веточка на древе жизни. Напротив, мы вот-вот начнем ветвиться.
Таким же образом, как культура эволюционировала вместе с увеличением объема головного мозга, мы будем эволюционировать вместе с нашими творениями. Так было всегда: не изобрети люди огонь и копья, они были бы физически другими. Мы Homo technicus в той же мере, что и Homo sapiens. Но моделирование клетки, которое я описал в последней главе, сделает возможным нечто совершенно новое: ее компьютерную разработку на основе заданных параметров — точно так же компиляторы кремниевых структур разрабатывают микросхемы на основе функциональных спецификаций. Затем спроектированную ДНК можно будет синтезировать и внедрить в «универсальную» клетку, превратив ее в желаемую. Крейг Вентер, пионер исследований генома, уже сделал первые шаги в этом направлении. Сначала мы будем использовать эту мощь для борьбы с заболеваниями: обнаружение нового патогена и немедленный подбор лекарства, которое иммунная система скачает прямо из интернета. Слова «проблема со здоровьем» станут рудиментом. Затем разработка ДНК позволит людям получить такое тело, какое они хотят: наступит век доступной красоты, как выразился писатель-фантст Уильям Гибсон. А затем Homo technicus разделится на мириады разумных видов, каждый из которых займет собственную нишу: возникнет целая новая биосфера, отличающаяся от сегодняшней в той же степени, в какой сегодняшняя отличается от первобытного океана.
Многие волнуются, что управляемая человеком эволюция окончательно расколет человечество на генетически имущие и неимущие классы. Удивительно, как убого бывает воображение! Естественная эволюция породила не два вида, один из которых подчиняется другому, а бесконечное разнообразие существ и замысловатые экосистемы. Почему искусственная эволюция — основанная на естественной, но еще менее ограниченная, — должна поступать иначе?
Как и все фазовые переходы, этот в конце концов тоже сойдет на нет. Преодоление узкого горла не равно бесконечному взлету: границей станет следующее узкое горло, даже если пока мы его не видим. Нас ждут новые переходы — некоторые большие, некоторые маленькие, некоторые уже скоро, некоторые в отдаленном будущем. Но следующее тысячелетие вполне может стать самым захватывающим в истории жизни на планете Земля.
ЭПИЛОГ
Итак, теперь вы знакомы с секретами машинного обучения. Механизм, который превращает данные в знание, перестал быть черным ящиком: вы знаете, как происходит волшебство, на что оно способно, а на что — нет. Вы познакомились с монстром сложности, проблемой переобучения, проклятием размерности и дилеммой изучения и применения. Вы в общих чертах знаете, как Google, Facebook, Amazon и другие компании поступают с данными, которые вы дарите щедрым потоком, и почему у них все лучше получается находить то, что вы просите, фильтровать спам и делать многое другое. Вы побывали в лабораториях, где ученые работают над машинным обучением, и теперь вам легче заглянуть в будущее, которое мы помогаем воплотить. В пути вы познакомились с пятью «племенами» машинного обучения и их верховными алгоритмами: символистами и обратной дедукцией, коннекционистами и обратным распространением ошибки, эволюционистами и генетическими алгоритмами, байесовцами и вероятностным выводом, аналогизаторами и методом опорных векторов. А поскольку вы прошли через всю эту обширную страну, посетили пограничные заставы, взбирались на высокие вершины, вы видите ландшафт даже лучше, чем многие специалисты, которые ежедневно занимаются своим участком работ. Вы можете заметить общие темы, похожие на подземные реки, и знаете, почему пять верховных алгоритмов, таких разных на первый взгляд, на самом деле просто пять граней одного универсального алгоритма.
Но путешествие далеко не закончилось. У нас в руках пока не сам Верховный алгоритм, а лишь мысли, предположения, на что он может быть похож. А если нам все еще не хватает чего-то фундаментального, того, что все мы работающие в этой области, увязшие в ее истории — не замечаем? Нам нужны свежие идеи, причем не просто варианты того, что у нас уже есть. Именно поэтому я написал эту книгу: мне хотелось дать толчок вашему воображению. В 2007 году, вскоре после учреждения премии Netflix, я предложил слушателям вечерних курсов по машинному обучению в Вашингтонском университете, где я преподаю, подготовить для нее проект. Одного из учеников — Джеффа Хоуберта — это зацепило. Он продолжил работу после завершения курсов и вошел в одну из двух команд-победительниц всего через два года после того, как впервые услышал о машинном обучении. Теперь ваша очередь. Чтобы больше узнать о машинном обучении, познакомьтесь с рекомендованной литературой, которую я привожу в конце книги. Скачайте некоторые наборы данных из архива UCI (archive.ics.uci.edu/ml/) и поиграйте с ними. Когда будете готовы, загляните на Kaggle.com — сайт, посвященный соревнованиям по машинному обучению, и примите участие в одном-двух. Конечно, интереснее привлечь к работе товарищей. Если вы втянетесь, как Джефф, и станете профессиональным специалистом по обработке данных, добро пожаловать в самую захватывающую профессию в мире! Изобретайте новые алгоритмы машинного обучения, если вас не устраивают существующие, да и просто ради развлечения. Мое заветное желание — чтобы, прочитав мою книгу, вы отреагировали так же, как я, более двадцати лет назад впервые прочтя книгу по искусственному интеллекту: здесь столько работы, что просто не знаешь, с чего начать! Если когда-нибудь вы изобретете Верховный алгоритм, пожалуйста, не спешите его патентовать. Сделайте его код открытым. Верховный алгоритм слишком важен, чтобы им владел только один человек или организация. Его применения начнут множиться так быстро, что вы не будете успевать их лицензировать. А если вы решите создать стартап, не забудьте предоставить долю в нем каждому человеку, каждому ребенку на Земле.
Неважно, из любопытства или из профессионального интереса вы читали эту книгу: я надеюсь, что вы поделитесь новыми знаниями с друзьями и коллегами. Машинное обучение касается каждого из нас, и всем нам решать, что с ним делать. Теперь вы вооружены пониманием машинного обучения и находитесь в гораздо более выгодной позиции, чтобы размышлять над вопросами частной жизни и коллективного использования данных, трудоустройства в будущем, роботизированных вооружений, а также перспектив и угроз искусственного интеллекта. Чем больше людей будет разбираться в этих вопросах, тем больше вероятность, что мы избежим ловушек и найдем правильный путь — вот еще одна веская причина, по которой я взялся за эту книгу. Статистики знают, что делать прогнозы сложно, а информатики скажут, что лучший способ предсказать будущее — изобрести его. Но непроверенное будущее не стоит того, чтобы его изобретать.
Спасибо, что взяли меня своим проводником. На прощание у меня есть для вас подарок. Ньютон говорил, что чувствует себя мальчишкой, играющим на берегу: он берет то камушек, то ракушку, а перед ним лежит огромный, неизведанный океан истины. Прошло три столетия, и мы собрали удивительную коллекцию гальки и раковин, но великий неизведанный океан все так же простирается перед нами и играет лучиками надежды. Мой подарок — это лодка машинного обучения, и пришло время поднять паруса.
БЛАГОДАРНОСТИ
Прежде всего я благодарю моих попутчиков в научном приключении: студентов, сотрудников, коллег и всех членов сообщества специалистов по машинному обучению. Эта книга — ваша в той же степени, что и моя. Надеюсь, вы простите мне излишние упрощения и недомолвки, а также немного вычурный стиль некоторых фрагментов.
Я благодарен всем, кто читал и комментировал черновики этой книги на разных этапах ее создания. Это в том числе Майк Бельфьоре, Томас Диттерих, Тьяго Домингос, Орен Эциони, Эйб Фризен, Роб Дженс, Алон Халеви, Дэвид Израэль, Генри Кауц, Хлоя Киддон, Гэри Маркус, Рэй Муни, Кевин Мерфи, Франциска Резнер и Бен Таскар. Спасибо всем тем, кто давал мне подсказки, информацию и помощь любого рода: Тому Гриффитсу, Дэвиду Хекерману, Ханне Хики, Альберту-Ласло Барабаши, Яну Лекуну, Барбаре Моунз, Майку Моргану, Питеру Норвигу, Джуде Перлу, Грегори Пятецкому-Шапиро и Себастьяну Сеунгу.
Я счастлив, что работаю в особом месте — на кафедре информатики и инженерии Вашингтонского университета. Я признателен Джошу Тененбауму и всем его сотрудникам за стажировку в Массачусетском технологическом институте, во время которой я начал работать над этой книгой. Спасибо неутомимому литературному агенту Джиму Левину за твердую веру в мои силы, а также всем сотрудникам Levine Greenberg Rostan. Спасибо Ти-Джею Келлехеру, моему удивительному редактору, который главу за главой, строчку за строчкой делал эту книгу лучше. Спасибо всем сотрудникам Basic Books.
Я признателен организациям, которые на протяжении многих лет финансировали мои исследования: это Научно-исследовательское управление Армии США, Агентство по перспективным оборонным научно-исследовательским разработкам, Фонд науки и технологии, Национальный научный фонд, Управление военно-морских исследований, Ford, Google, IBM, Kodak, Yahoo, а также Фонд Альфреда Слоуна.
Последнее, но не менее важное: спасибо моей семье за любовь и поддержку.
РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА
Если моя книга пробудила у вас интерес к машинному обучению и связанным с ним вопросам, в этом разделе вы найдете много советов. Это не исчерпывающий список, но он должен стать, перефразируя Борхеса, калиткой в Сад расходящихся тропок этой дисциплины. Я старался выбирать книги и статьи, подходящие для неспециалиста. Технические публикации, которые требуют хотя бы некоторых познаний в области информатики, статистики или математики, я отметил знаком *. Даже в них, однако, часто есть большие разделы, доступные обычному читателю. Я не указываю номер тома, издания и страниц, потому что в сети и справочниках они не всегда указаны точно.
Если вы хотите узнать больше о машинном обучении в целом, неплохо будет начать с онлайн-курсов. Неудивительно, что ближе всего к содержанию этой книги курс, который веду я сам (www.coursera.org/course/machlearning). Еще два варианта — курсы Эндрю Ына (www.coursera.org/course/ml) и Ясера Абу-Мостафы (work.caltech.edu/telecourse.html). Следующий шаг — взяться за учебники. Один из самых доступных и близких к моей книге — Machine Learning* Тома Митчелла (McGraw-Hill, 1997). Более современные, но более математические — Machine Learning: A Probabilistic Perspective* Кевина Мерфи (MIT Press, 2012), Pattern Recognition and Machine Learning* Криса Бишопа (Springer, 2006) и An Introduction to Statistical Learning with Applications in R* Гарета Джеймса, Даниэлы Виттен, Тревора Хасти и Роба Тибширани (Springer, 2013). Моя статья A few useful things to know about machine learning (Communications of the ACM, 2012) частично суммирует «общеизвестные» истины машинного обучения, которые учебники часто обходят стороной как банальные. Она стала одной из отправных точек этой книги. Если вы умеете программировать и вам не терпится взяться за дело, можете начать с многочисленных открытых пакетов, например Weka (www.cs.waikato.ac.nz/ml/weka). Важнейшие журналы по машинному обучению — Machine Learning и Journal of Machine Learning Research. Ведущие конференции, ежегодно публикующие свои материалы, — International Conference on Machine Learning, Conference on Neural Information Processing Systems и International Conference on Knowledge Discovery and Data Mining. Множество лекций по машинному обучению вы найдете на сайте videolectures.net. На сайте www.KDnuggets.com также представлено много ресурсов по машинному обучению. Там можно подписаться на рассылку и быть в курсе последних разработок.
Примеры влияния машинного обучения на повседневную жизнь приведены в статье Джорджа Джона Behind-the-scenes data mining (SIGKDD Explorations, 1999): она вдохновила меня описать «один день из жизни» в прологе. Много применений машинного обучения рассмотрено в книге Эрика Зигеля Predictive Analytics (Wiley, 2013)[120]. Термин «большие данные» стал популярным после вышедшего в 2011 году отчета McKinsey Global Institute Big Data: The Next Frontier for Innovation, Competition, and Productivity. Много вопросов, которые поднимают большие данные, обсуждается в книге Виктора Майер-Шенбергера и Кеннет Кукьера Big Data: A Revolution That Will Change How We Live, Work, and Think, by Viktor Mayer-Schnberger and Kenneth Cukier (Houghton Mifflin Harcourt, 2013)[121]. Учебник, по которому я сам учился искусственному интеллекту, — это Artificial Intelligence Элен Рич (McGraw-Hill, 1983)*. Более современный вариант — Artificial Intelligence: A Modern Approach Стюарта Расселла и Питера Норвига (третье издание, Prentice Hall, 2010)[122]. В книге Нильса Нильссона The Quest for Artificial Intelligence (Cambridge University Press, 2010) рассказана история создания искусственного интеллекта начиная с самого начала.
В книге Nine Algorithms That Changed the Future Джона Маккормика (Princeton University Press, 2012)[123] описан ряд важнейших алгоритмов, применяемых в информатике. В ней есть и глава о машинном обучении. Algorithms Санджоя Дасгупты, Христоса Пападимитриу и Умеша Вазирани (McGraw-Hill, 2008)[124] — сжатый вводный учебник по предмету. Джинни Хиллис в книге The Pattern on the Stone (Basic Books, 1998) объясняет, как работают компьютеры. Уолтер Айзексон рассказывает живую историю информатики в книге The Innovators (Simon & Schuster, 2014)[125].
В статье Spreadsheet data manipulation using examples* Сумита Гульвани, Уильяма Харриса и Ришабха Сингха (Communications of the ACM, 2012) показано, как компьютеры могут программировать сами себя, наблюдая за пользователями. Книга Competing on Analytics Тома Дэвенпорта и Джоанн Харрис (HBS Press, 2007)[126] — хорошее введение в применение прогнозной аналитики в бизнесе. Работа In the Plex Стивена Леви (Simon & Schuster, 2011) дает представление о технологиях Google. Карл Шапиро и Хэл Вариан объясняют сетевой эффект в книге Information Rules: A Strategic Guide to the Network Economy (HBS Press, 1999). Феномен длинного хвоста анализирует Крис Андерсон в книге The Long Tail (Hyperion, 2006)[127].
Теме перемен в науке под влиянием вычислений с большими объемами данных посвящена книга The Fourth Paradigm под редакцией Тони Хея, Стюарта Тансли и Кристин Толле (Microsoft Research, 2009). В статье Machine science Джеймса Эванса и Андрея Ржецкого (Science, 2010) обсуждаются некоторые способы научных открытий с помощью компьютеров. В Scientific Discovery: Computational Explorations of the Creative Processes* Пэта Лэнгли и соавторов (MIT Press, 1987) приведен ряд подходов к автоматизации открытия научных законов. Проект SKICAT описан в статье From digitized is to online catalogs Усамы Файяда, Джорджа Джорговского и Николаса Уира (AI Magazine, 1996). Статья Machine learning in drug discovery and development* Ники Уэйла (Drug Development Research, 2001) предлагает обзор по теме открытия и разработки лекарств. Об Адаме, роботе-ученом, можно почитать в статье The automation of science Росса Кинга и соавторов (Science, 2009).
О применении анализа данных в политике подробно рассказывается в книге Саши Иссенберга The Victory Lab (Broadway Books, 2012). Книга How President Obama’s campaign used big data to rally individual votes того же автора (MIT Technology Review, 2013) дает представление о самом большом на сегодняшний день успехе больших данных — избирательной кампании Барака Обамы.
В книге Нейта Сильвера The Signal and the Noise* (Penguin Press, 2012)[128] есть глава о его методе агрегирования опросов избирателей.
Роботизированное вооружение — тема книги Питера Сингера Wired for War (Penguin, 2009). В книге Cyber War (Ecco, 2012)[129] Ричард Кларк и Роберт Нейк трубят тревогу по поводу кибервойны. Моя собственная работа по соединению машинного обучения и теории игр для победы над противником, начавшаяся как учебный проект, описана в Adversarial classification* Нилеша Далви и соавторов (Proceedings of the Tenth International Conference on Knowledge Discovery and Data Mining, 2004). Книга Predictive Policing Уолтера Перри и соавторов (Rand, 2013) познакомит вас с использованием аналитики в работе полиции.
Эксперименты по перепрограммированию мозга хорька описаны в статье Visual behaviour mediated by retinal projections directed to the auditory pathway Лори фон Мельхнер, Сары Паллас и Мриганки Сура (Nature, 2000). История Бена Андервуда рассказана в статье Seeing with sound Джоанны Мурхед (Guardian, 2007) и на сайте www.benunderwood.com. В статье Generality of the functional structure of the neocortex (Naturwissenschaften, 1977) Отто Кройцфельдт утверждает, что кора головного мозга — единый алгоритм. С ним согласен Вернон аунткасл в главе An organizing principle for cerebral function: The unit model and the distributed system книги The Mindful Brain под редакцией Джералда Эделмена и Вернона Маунткасла (MIT Press, 1978)[130]. Гэри Маркус, Адам Марблстоун и Том Дин возражают против этой теории в статье The atoms of neural computation (Science, 2014).
В работе The unreasonable effectiveness of data Алона Халеви, Питера Норвига и Фернандо Перейры (IEEE Intelligent Systems, 2009) приводятся аргументы в пользу машинного обучения как новой парадигмы научных открытий. Бенуа Мандельброт рассматривает фрактальную геометрию природы в книге The Fractal Geometry of Nature* (Freeman, 1982)[131]. Книга Джеймса Глейка Chaos* (Viking, 1987)[132] обсуждает и иллюстрирует множества Мандельброта. Программа Langlands, научный проект по объединению разных математических дисциплин, описана в книге Эдварда Френкеля Love and Math (Basic Books, 2014)[133]. The Golden Ticket Лэнса Фортнау (Princeton University Press, 2013) представляет собой введение в NP-полноту и проблему P = NP. The Annotated Turing+ Чарльза Петцольда (Wiley, 2008)[134] объясняет машины Тьюринга, анализируя его статью на эту тему.
Проект «Cайк» описан в статье: Cyc: Toward programs with common sense* Дугласа Лената и соавторов (Communications of the ACM, 1990). Питер Норвиг обсуждает критику Ноама Хомского, которой тот подверг статистическое обучение в статье On Chomsky and the two cultures of statistical learning (norvig.com/chomsky.html). Книга Джерри Фодора The Modularity of Mind (MIT Press, 1983) суммирует воззрения автора на принципы работы разума. Статьи What big data will never explain Леона Уисельтира (New Republic, 2013) и Pundits, stop sounding ignorant about data Эндрю Макафи (Harvard Business Review, 2013) дают почувствовать разногласия в отношении возможностей больших данных. Даниэль Канеман объясняет, почему алгоритмы часто побеждают интуицию, в двадцать первой главе книги Thinking, Fast and Slow. Дэвид Паттерсон обосновывает важность вычислений и сбора данных в борьбе с раком в статье Computer scientists may have what it takes to help cure cancer (New York Times, 2011).
Подробнее о путях разных племен к Верховному алгоритму — в соответствующих разделах ниже.
Классическая формулировка Юмом проблемы индукции появляется в первом томе «Трактата о человеческой природе» (1739). Дэвид Уолперт выводит свою теорему «бесплатных обедов не бывает» для индукции в статье The lack of a priori distinctions between learning algorithms* (Neural Computation, 1996). В статье Toward knowledge-rich data mining* (Data Mining and Knowledge Discovery, 2007) я обсуждаю важность априорного знания в машинном обучении, а в The role of Occam’s razor in knowledge discovery* (Data Mining and Knowledge Discovery, 1999) — неправильные интерпретации бритвы Оккама. Переобучение — одна из главных тем уже упоминавшейся книги The Signal and the Noise Нейта Сильвера, который считает ее «самой важной научной проблемой, о которой вы никогда не слышали». В статье Why most published research findings are false* Джона Иоаннидиса (PLoS Medicine, 2005) обсуждается проблема ошибочного принятия случайных научных результатов за истинные. Йоав Беньямини и Йосеф Хохберг предлагают способ борьбы с ней в статье Controlling the false discovery rate: A practical and powerful approach to multiple testing* (Journal of the Royal Statistical Society, Series B, 1995). Дилемма смещения–дисперсии анализируется в статье Neural networks and the bias/variance dilemma Стюарта Джемана, Эли Биненстока и Рене Дурсата (Neural Computation, 1992). В статье Machine learning as an experimental science Пэта Лэнгли (Machine Learning, 1988) обсуждается роль эксперимента в машинном обучении.
Уильям Стэнли Джевонс впервые предложил считать индукцию противоположностью дедукции в книге The Principles of Science (1874). Статья Machine learning of first-order predicates by inverting resolution* Стива Магглтона и Рэя Бантина (Proceedings of the Fifth International Conference on Machine Learning, 1988) положила начало применению обратной дедукции в машинном обучении. Введением в область индуктивного логического программирования может служить книга Relational Data Mining* под редакцией Сашо Джероского и Нады Лаврач (Springer, 2001), В ней также рассматривается обратная дедукция. Статья The CN2 Induction Algorithm* Питера Кларка и Тима Ниблетта (Machine Learning, 1989) суммирует ряд важнейших алгоритмов выведения правил в стиле Михальского. Подход к выведению правил, применяемый в торговых сетях, описан в статье Fast algorithms for mining association rules* Ракеша Агарвала и Рамакришнана Шриканта (Proceedings of the Twentieth International Conference on Very Large Databases, 1994). Пример выведения правил для прогнозирования рака можно найти в статье Carcinogenesis predictions using inductive logic programming Ашвина Шринивасана, Росса Кинга, Стивена Магглтона и Майкла Стернберга (Intelligent Data Analysis in Medicine and Pharmacology, 1997).
Два ведущих обучающих алгоритма, основанных на деревьях решений, представлены в книгах C4.5: Programs for Machine Learning Джона Росса Куинлана (Morgan Kaufmann, 1992) и Classification and Regression Trees* Лео Бреймана, Джерома Фридмана, Ричарда Олшена и Чарльза Стоуна (Chapman and Hall, 1984). В статье Real-time human pose recognition in parts from single depth is* (Communications of the ACM, 2013) Джейми Шоттон и соавторы объясняют принципы использования деревьев решений для отслеживания движений игроков в системе Kinect компании Microsoft. Статья Competing approaches to predicting Supreme Court decision making Эндрю Мартина и соавторов (Perspectives on Politics, 2004) рассказывает, как деревья решений победили экспертов-юристов в прогнозировании результатов голосования в Верховном суде США. Там же приведено дерево решений для судьи Сандры Дэй О’Коннор.
Аллен Ньюэлл и Герберт Саймон сформулировали гипотезу, что весь интеллект сводится к манипулированию символами, в статье Computer science as empirical enquiry: Symbols and search (Communications of the ACM, 1976). Дэвид Марр предложил три уровня обработки информации в книге Vision* (Freeman, 1982)[135]. В книге Machine Learning: An Artificial Intelligence Approach* под редакцией Рышарда Михальского, Джейми Карбонелла и Тома Митчелла (Tioga, 1983) описан ранний период символистских исследований в машинном обучении. Статья Connectionist AI, symbolic AI, and the brain* Пола Смоленского (Artificial Intelligence Review, 1987) представляет коннекционистский подход к символистским моделям.
Книга Себастьяна Сеунга Connectome (Houghton Mifflin Harcourt, 2012)[136] — доступное введение в нейробиологию, коннектомику и пугающую проблему создания головного мозга путем обратного инжиниринга. Книга Parallel Distributed Processing* под редакцией Дэвида Румельхарта, Джеймса Макклелланда и исследовательской группы параллельной распределенной обработки (MIT Press, 1986) — библия коннекционизма в его зените, пришедшемся на 1980-е. Neurocomputing* под редакцией Джеймса Андерсона и Эдварда Розенфельда (MIT Press, 1988) содержит многие классические коннекционистские статьи, включая статью Маккаллоха и Питса о первых моделях нейронов, Хебба о правиле Хебба, Розенблатта о перцептронах, Хопфилда о сетях Хопфилда, Окли, Хинтона и Сейновского о машинах Больцмана, Сейновского и Розенберга о NETtalk, а также Румельхарта, Хинтона и Уильямса об обратном распространении ошибки. Глава Efficient backprop* Яна Лекуна, Леона Ботту, Женевьевы Орр и Клауса-Роберта Мюллера в книге Neural Networks: Tricks of the Trade под редакцией Женевьевы Орр и Клауса-Роберта Мюллера (Springer, 1998) объясняет некоторые важнейшие трюки, необходимые для корректной работы обратного распространения.
Neural Networks in Finance and Investing* под редакцией Роберта Триппи и Эфраима Турбана (McGraw-Hill, 1992) — сборник статей по применению нейронных сетей в области финансов. Статья Life in the fast lane: The evolution of an adaptive vehicle control system Тодда Йохема и Дина Померло (AI Magazine, 1996) описывает проект создания беспилотного автомобиля ALVINN. Рекомендую также диссертацию Пола Вербоса — Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences* (Harvard University, 1974). Артур Брайсон и Хэ Юци приводят одну из первых разработанных ими версий обратного распространения в книге Applied Optimal Control* (Blaisdell, 1969).
Краткое введение в глубокое обучение — книга Learning Deep Architectures for AI* Йошуа Бенгио (Now, 2009). Проблема распределения сигнала ошибки в обратном распространении описана в статье Learning long-term dependencies with gradient descent is difficult* Йошуа Бенгио, Патрис Симар и Паоло Фраскони (IEEE Transactions on Neural Networks, 1994). В статье How many computers to identify a cat? 16,000 Джона Маркоффа (New York Times, 2012) рассказывается о проекте Google Brain и его результатах. Сверточные нейронные сети, в настоящее время лидирующие в глубоком обучении, описаны в статье Gradient-based learning applied to document recognition* Яна Лекуна, Леона Ботту, Йошуа Бенгио и Патрика Хаффнера (Proceedings of the IEEE, 1998). Статья The $1.3B quest to build a supercomputer replica of a human brain Джонатона Китса (Wired, 2013) описывает проект по моделированию мозга, запущенный Евросоюзом. Об инициативе BRAIN рассказывается в статье Томаса Инсела, Стори Лэндис и Фрэнсиса Коллинса The NIH BRAIN Initiative (Science, 2013).
Стивен Пинкер подытоживает критику символистами коннекционистских моделей во второй главе книги How the Mind Works (Norton, 1997). Сеймур Паперт берет голос в этих дебатах в статье One AI or Many? (Daedalus, 1988). Книга The Birth of the Mind Гэри Маркуса (Basic Books, 2004) объясняет, как эволюция сумела породить сложные способности человеческого мозга.
Статья Evolutionary robotics Джоша Бонгарда (Communications of the ACM, 2013) дает обзор работ Хода Липсона и других ученых по выведению роботов путем эволюции. Книга Artificial Life Стивена Леви (Vintage, 1993) позволяет прогуляться по цифровому зоопарку, от виртуальных миров с созданными в компьютере животными до генетических алгоритмов. В пятой главе Complexity Митча Уолдропа (Touchstone, 1992) рассказана история Джона Холланда и первых нескольких десятилетий работы над генетическими алгоритмами. Книга Genetic Algorithms in Search, Optimization, and Machine Learning* Дэвида Голдберга (Addison-Wesley, 1989) представляет собой стандартное введение в генетические алгоритмы.
Нильс Элдридж и Стивен Джей Гулд выдвигают свою теорию прерывистого равновесия в главе Punctuated equilibria: An alternative to phyletic gradualism книги Models in Paleobiology под редакцией Томаса Шопфа (Freeman, 1972). Ричард Докинз критикует эту теорию в девятой главе The Blind Watchmaker* (Norton, 1986)[137]. Дилемма изучения–применения обсуждается во второй главе книги Reinforcement Learning* (MIT Press, 1998)[138]. Джон Холланд предлагает свое решение этой проблемы и много других идей в книге Adaptation in Natural and Artificial Systems Джонатона Китса (University of Michigan Press, 1975).
Genetic Programming* Джона Коза (MIT Press, 1992) — ключевая публикация о парадигме генетического программирования. Полученная путем эволюции футбольная команда роботов описана в статье Evolving team Darwin United* Давида Андре и Астро Теллера, а также в книге RoboCup-98: Robot Soccer World Cup II под редакцией Минору Асады и Хироаки Китано (Springer, 1999). В Genetic Programming III* Джона Коза, Форреста Беннетта III, Давида Андре и Мартина Кина (Morgan Kaufmann, 1999) можно найти множество примеров создания электронных плат путем эволюции. Дэнни Хиллис утверждает, что паразиты полезны для эволюции, в статье Co-evolving parasites improve simulated evolution as an optimization procedure* (Physica D, 1990). Ади Ливант, Христос Пападимитриу, Джонатан Дашофф и Маркус Фельдман выдвигают гипотезу, что половое размножение оптимизирует смешиваемость, в статье A mixability theory of the role of sex in evolution* (Proceedings of the National Academy of Sciences, 2008). Кевин Ланг сравнивает генетическое программирование с восхождением на выпуклые поверхности в статье Hill climbing beats genetic search on a Boolean circuit synthesis problem of Koza’s* (Proceedings of the Twelfth International Conference on Machine Learning, 1995). Ответ Коза — статья A response to the ML-95 paper enh2d…* — не был опубликован, но доступен в интернете на сайте www.genetic-programming.com/jktahoe24page.html.
Джеймс Болдуин предлагает эффект, названный позже его именем, в статье A new factor in evolution (American Naturalist, 1896), а Джефф Хинтон и Стивен Нолан описывают применение этого эффекта в статье How learning can guide evolution* (Complex Systems, 1987). Эффекту Болдуина был посвящен вышедший в 1996 году специальный номер журнала Evolutionary Computation под редакцией Питера Терни, Даррелла Уитли и Расселла Андерсона.
Различие между описательными и нормативными теориями изложил Джон Невилл Кейнс в книге The Scope and Method of Political Economy (Macmillan, 1891).
Шэрон Берч Макгрейн рассказывает историю байесовского учения от Байеса и Лапласа до наших дней в книге The Theory That Would Not Die (Yale University Press, 2011). Введением в байесовскую статистику может служить учебник First Course in Bayesian Statistical Methods* Питера Хоффа (Springer, 2009).
Наивный байесовский алгоритм впервые упомянут в книге Pattern Classification and Scene Analysis* Ричарда Дуда и Питера Харта (Wiley, 1973). Милтон Фридман приводит аргументы в пользу чрезмерно упрощенных теорий в статье The methodology of positive economics, которая вышла в сборнике Essays in Positive Economics (University of Chicago Press, 1966). Применение наивного байесовского алгоритма для фильтрации спама описано в статье Stopping spam Джошуа Гудмана, Дэвида Хекермана и Роберта Рунтвейта (Scientific American, 2005). Статья Relevance weighting of search terms* Стивена Робертсона и Карена Спарка Джонса (Journal of the American Society for Information Science, 1976) посвящена использованию методов, схожих с наивным байесовским алгоритмом, для поиска информации.
Статья First links in the Markov chain Брайана Хейза (American Scientist, 2013) рассказывает об изобретении Марковым цепей своего имени. Статья Large language models in machine translation Торстена Брантса и соавторов (Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, 2007) объясняет, как работает Google Translate. В статье The PageRank citation ranking: Bringing order to the Web* Ларри Пейджа, Сергея Брина, Раджива Мотвани и Терри Винограда (Stanford University technical report, 1998) описан алгоритм PageRank и его интерпретация как случайное блуждание по сети. Книга Statistical Language Learning* Юджина Чарняка (MIT Press, 1996) объясняет, как работают скрытые марковские модели, а Statistical Methods for Speech Recognition* Фреда Елинека (MIT Press, 1997) описывает их применение для распознавания речи. Об истории логического вывода в стиле скрытой марковской модели в области коммуникаций рассказывает статья The Viterbi algorithm: A personal history Дэвида Форни (не опубликована, но доступна в интернете по адресу arxiv.org/pdf/cs/0504020v2.pdf). Книга Bioinformatics: The Machine Learning Approach* Пьера Балди и Серена Брунака (второе издание, MIT Press, 2001) — введение в использование машинного обучения, в том числе в скрытой марковской модели в биологии. Статья Engineers look to Kalman filtering for guidance Барри Ципры (SIAM News, 1993) — краткое введение в фильтры Калмана, их историю и применение.
Работа Джуды Перла о байесовских сетях описана в его книге Probabilistic Reasoning in Intelligent Systems* (Morgan Kaufmann, 1988). Статья Юджина Чарняка Bayesian networks without tears* (AI Magazine, 1991) — во многом нематематическое введение в байесовские сети. Статья Probabilistic interpretation for MYCIN’s certainty factors* Дэвида Хекермана (Proceedings of the Second Conference on Uncertainty in Artificial Intelligence, 1986) объясняет, когда наборы правил с оценкой уверенности — разумные приближения байесовских сетей, а когда — нет. Статья Module networks: Identifying regulatory modules and their condition-specific regulators from gene expression data Эрана Сегала и соавторов (Nature Genetics, 2003) — пример использования байесовских сетей для моделирования регуляции генов. В статье Microsoft virus fighter: Spam may be more difficult to stop than HIV Бена Пейнтера (Fast Company, 2012) рассказывается, как Дэвид Хекерман вдохновился спам-фильтрами и использовал байесовские сети для разработки возможной вакцины от СПИДа. Вероятностное, или «зашумленное», ИЛИ объясняется в упомянутой выше книге Перла. В статье Probabilistic diagnosis using a reformulation of the INTERNIST-1/QMR knowledge base М. А. Шве и соавторов (части I и II, Methods of Information in Medicine, 1991) описано применение байесовской сети с зашумленным ИЛИ в медицинской диагностике. Байесовская сеть Google для размещения рекламы описана в разделе 26.5.4 книги Кевина Мерфи Machine Learning* (MIT Press, 2012). Система оценки игроков Microsoft описана в статье TrueSkillTM: A Bayesian skill rating system* Ральфа Хербриха, Тома Минки и Тора Грепела (Advances in Neural Information Processing Systems 19, 2007).
Книга Modeling and Reasoning with Bayesian Networks* Аднана Дарвиша (Cambridge University Press, 2009) объясняет важнейшие алгоритмы логического вывода в байесовских сетях. Номер Computing in Science and Engineering* за январь-февраль 2000 года под редакцией Джека Донгарры и Фрэнсиса Салливана содержит статьи о десяти главных алгоритмах ХХ столетия, в том числе MCMC. Статья Stanley: The robot that won the DARPA Grand Challenge Себастьяна Труна и соавторов (Journal of Field Robotics, 2006) рассказывает, как работает беспилотный автомобиль Stanley. Статья Bayesian networks for data mining* Дэвида Хекермана (Data Mining and Knowledge Discovery, 1997) подытоживает байесовский подход к обучению и объясняет, как получать байесовские сети на основе данных. Статья Gaussian processes: A replacement for supervised neural networks?* Дэвида Маккея (NIPS tutorial notes, 1997; онлайн www.inference.eng.cam.ac.uk/mackay/gp.pdf) дает почувствовать атмосферу захвата байесовцами конференции NIPS.
Необходимость взвешивать вероятность появления слов при распознавании речи обсуждается в разделе 9.6 книги Speech and Language Processing* Дэна Джурафски и Джеймса Мартина (второе издание, Prentice Hall, 2009). Моя статья о наивном байесовском алгоритме, написанная в соавторстве с Майком Паццани, On the optimality of the simple Bayesian classifier under zero-one loss Джонатона Китса (Machine Learning, 1997) — расширенная журнальная версия статьи, написанной в 1996 году для конференции. В книге Джуды Перла, о которой уже говорилось выше, рассмотрены сети Маркова и байесовские сети. Сети Маркова в компьютерном зрении — тема книги Markov Random Fields for Vision and Image Processing* под редакцией Эндрю Блейка, Пушмита Коли и Карстена Ротера (MIT Press, 2011). Сети Маркова, которые максимизируют условное правдоподобие, были представлены в статье Conditional random fields: Probabilistic models for segmenting and labeling sequence data* Джона Лафферти, Эндрю Маккаллума и Фернандо Перейры (International Conference on Machine Learning, 2001).
История попыток соединить вероятность и логику рассмотрена в специальном издании Journal of Applied Logic*, вышедшем в 2003 году под редакцией Джона Уильямсона и Дова Габбая. В статье From knowledge bases to decision models* Майкла Уэллмана, Джона Бриза и Роберта Голдмана (Knowledge Engineering Review, 1992) обсуждаются некоторые ранние подходы к этой проблеме с применением искусственного интеллекта.
Фрэнк Абигнейл подробно рассказывает о своих подвигах в автобиографии Catch Me If You Can*, написанной в соавторстве со Стэном Реддингом (Grosset & Dunlap, 1980)[139]. Исходный технический отчет об алгоритме ближайшего соседа можно найти в статье Эвелин Фикс и Джо Ходжеса Discriminatory analysis: Nonparametric discrimination: Consistency properties* (USAF School of Aviation Medicine, 1951). В книге Nearest Neighbor (NN) Norms* под редакцией Белура Дасатари (IEEE Computer Society Press, 1991) собраны многие ключевые для этой области статьи. Локально линейная регрессия рассмотрена в статье Locally weighted learning* Криса Аткесона, Эндрю Мура и Стефана Шаала (Artificial Intelligence Review, 1997). Первая система совместной фильтрации, основанная на алгоритме ближайшего соседа, описана в статье GroupLens: An open architecture for collaborative filtering of netnews* Пола Резника и соавторов (Proceedings of the 1994 ACM Conference on Computer-Supported Cooperative Work, 1994). Алгоритм совместной фильтрации Amazon приведен в статье Amazon.com recommendations: Item-to-item collaborative filtering* Грега Линдена, Брента Смита и Джереми Йорка (IEEE Internet Computing, 2003). (О Netflix см. литературу к главе 8.) Вклад рекомендательных систем в продажи Amazon и Netflix можно найти, например, в книге Виктора Майера-Шенбергера и Кеннета Кукьера Big Data[140] или Predictive Analytics Зигеля (см. выше). Также любопытна статья 1967 года Тома Кавера и Питера Харта об уровне ошибки ближайшего соседа — Nearest neighbor pattern classification* (IEEE Transactions on Information Theory).
Проклятие размерности обсуждается в разделе 2.5 книги The Elements of Statistical Learning* Тревора Хасти, Роба Тибширани и Джерри Фридмана (второе издание, Springer, 2009). В статье Wrappers for feature subset selection* Рона Кохави и Джорджа Джона (Artificial Intelligence, 1997) приводится сравнение методов выбора атрибутов. Статья Similarity metric learning for a variable-kernel classifier* Дэвида Лоу (Neural Computation, 1995) — пример алгоритма взвешивания свойств.
Статья Support vector machines and kernel methods: The new generation of learning machines* Нелло Кристианини и Бернхарда Шелькопфа (AI Magazine, 2002) — в целом нематематическое введение в метод опорных векторов. Революция, произведенная этим методом, началась со статьи A training algorithm for optimal margin classifiers* Бернхарда Босера, Изабель Гуйон и Владимира Вапника (Proceedings of the Fifth Annual Workshop on Computational Learning Theory, 1992). Первой статьей о применении метода опорных векторов к классификации текстов стала Text categorization with support vector machines* Торстена Йоахимса (Proceedings of the Tenth European Conference on Machine Learning, 1998). Глава 5 книги An Introduction to Support Vector Machines* Нелло Кристианини и Джона Шоуи-Тэйлора (Cambridge University Press, 2000) — краткое введение в оптимизацию с ограничениями в контексте метода опорных векторов.
Книга Case-Based Reasoning* Джанет Колоднер (Morgan Kaufmann, 1993) — учебник по рассуждениям на основе прецедентов. В статье Using case-based retrieval for customer technical support* Евангелоса Симудиса (IEEE Expert, 1992) объясняется применение этого метода в службах поддержки. Eliza описана в статье Rise of the software machines* (Economist, 2013) и на сайте компании IPsoft. Кевин Эшли рассматривает рассуждения на основе прецедентов в юриспруденции в своей книге Modeling Legal Arguments* (MIT Press, 1991). Дэвид Коуп подытоживает свой подход к автоматизированному сочинению музыки в статье Recombinant music: Using the computer to explore musical style (IEEE Computer, 1991). Дедре Джентнер предложил картирование структур в статье Structure mapping: A theoretical framework for analogy* (Cognitive Science, 1983). В статье The man who would teach machines to think Джеймса Сомерса (Atlantic, 2013) рассмотрены взгляды Дугласа Хофстадтера на искусственный интеллект.
Алгоритм RISE я описал в статье Unifying instance-based and rule-based induction* (Machine Learning, 1996).
В книге Элисон Гопник, Энди Мельцоффа и Пэта Кула The Scientist in the Crib (Harper, 1999) описаны открытия психологов в области механизмов обучения новорожденных и маленьких детей.
Алгоритм k-средних изначально был предложен Стюартом Ллойдом из Bell Labs в 1957 году в техническом отчете под названием Least squares quantization in PCM* (позже он был издан в виде статьи в IEEE Transactions on Information Theory in 1982). Первая статья о EM-алгоритме — Maximum likelihood from incomplete data via the EM algorithm* Артура Демпстера, Нэн Лэрд и Дональда Рубина (Journal of the Royal Statistical Society B, 1977). Иерархическая кластеризация и другие методы описаны в книге Finding Groups in Data: An Introduction to Cluster Analysis* Леонарда Кауфмана и Питера Руссо (Wiley, 1990).
Метод главных компонент — один из старейших в машинном обучении и статистике. Он был предложен Карлом Пирсоном еще в 1901 году в статье On lines and planes of closest fit to systems of points in space* (Philosophical Magazine). Разновидность уменьшения размерности, используемая при оценке эссе на экзаменах SAT, была введена Скоттом Дирвестером и соавторами в статье Indexing by latent semantic analysis* (Journal of the American Society for Information Science, 1990). Йегуда Корен, Роберт Белл и Крис Волинский объясняют, как работает коллаборативная фильтрация в стиле Netflix, в статье Matrix factorization techniques for recommender systems* (IEEE Computer, 2009). Алгоритм Isomap появился в статье A global geometric framework for nonlinear dimensionality reduction* Джоша Тененбаума, Вина де Сильвы и Джона Лэнгфорда (Science, 2000).
Книга Reinforcement Learning: An Introduction* Рича Саттона и Энди Барто (MIT Press, 1998) — стандартный учебник по обучению с подкреплением. Universal Artificial Intelligence* Маркуса Хаттера (Springer, 2005) — попытка создать общую теорию данного вида обучения. Пионерской работе Артура Сэмюэла по обучению игре в шашки посвящена его статья Some studies in machine learning using the game of checkers* (IBM Journal of Research and Development, 1959). В ней встречается одно из первых упоминаний в печати термина «машинное обучение». Крис Уоткинс сформулировал проблему обучения с подкреплением в своей диссертации Learning from Delayed Rewards* (Cambridge University, 1989). Обучающийся алгоритм с подкреплением DeepMind, применяемый в компьютерных играх, описан в статье Human-level control through deep reinforcement learning* Владимира Мниха и соавторов (Nature, 2015).
Пол Розенблюм рассказывает о развитии алгоритма образования фрагментов в статье A cognitive odyssey: From the power law of practice to a general learning mechanism and beyond (Tutorials in Quantitative Methods for Psychology, 2006). A/B-тестирование и другие методики онлайн-экспериментов объясняются в статье Practical guide to controlled experiments on the Web: Listen to your customers not to the HiPPO* Рона Кохави, Рэндала Хенне и Дэна Зоммерфельда (Proceedings of the Thirteenth International Conference on Knowledge Discovery and Data Mining, 2007). Инкрементное моделирование — многомерное обобщение A/B-тестирования — тема седьмой главы книги Predictive Analytics Эрика Зигеля (Wiley, 2013).
В книге Introduction to Statistical Relational Learning* под редакцией Лизы Гетур и Бена Таскара (MIT Press, 2007) рассмотрены основные подходы в области статистического реляционного обучения. Итоги работы по моделированию сплетен мы с Мэттом Ричардсоном подводим в статье Mining social networks for viral marketing (IEEE Intelligent Systems, 2005).
Введение в метаобучение — тема книги Model Ensembles: Foundations and Algorithms* Чжоу Чжихуа (Chapman and Hall, 2012). Первая статья о стэкинге — Stacked generalization* Дэвида Уолперта (Neural Networks, 1992). Лео Брейман ввел бэггинг в статье Bagging predictors* (Machine Learning, 1996), а случайный лес — в Random forests* (Machine Learning, 2001). Бустинг описан в статье Experiments with a new boosting algorithm Йоава Фройнда и Роба Шапире (Proceedings of the Thirteenth International Conference on Machine Learning, 1996).
В статье I, Algorithm Анила Анантасвами (New Scientist, 2011) можно познакомиться с хроникой поиска объединения логики и вероятности в науке об искусственном интеллекте. В соавторстве с Дэниелом Лоудом я написал введение в логические сети Маркова — книгу Markov Logic: An Interface Layer for Artificial Intelligence* (Morgan & Claypool, 2009). На сайте Alchemy (alchemy.cs.washington.edu) вы найдете руководства, видео, MLN, наборы данных, публикации, указатели на другие системы и еще много интересного. Логическая сеть Маркова для роботизированного картирования описана в статье Hybrid Markov logic networks* Вана Цзюэ и Педро Домингоса (Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence, 2008). Томас Дитрих и Бао Синьлун описывают применение MLN в PAL — одном из проектов DARPA — в статье Integrating multiple learning components through Markov logic* (Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence, 2008). Статья Extracting semantic networks from text via relational clustering* Стэнли Кока и Педро Домингоса (Proceedings of the Nineteenth European Conference on Machine Learning, 2008) описывает получение семантических сетей на базе интернета.
Эффективные MLN с иерархией классов и частей описаны в статье Learning and inference in tractable probabilistic knowledge bases* Матиаса Ниперта и Педро Домингоса (Proceedings of the Thirty-First Conference on Uncertainty in Artificial Intelligence, 2015). О подходе Google к параллельному градиентному спуску можно прочесть в статье Large-scale distributed deep networks* Джеффа Дина и соавторов (Advances in Neural Information Processing Systems 25, 2012). Статья A general framework for mining massive data streams* Педро Домингоса и Джеффа Халтена (Journal of Computational and Graphical Statistics, 2003) подытоживает предложенный нами метод обучения из незамкнутых потоков данных, основанный на сэмплинге. Проект FuturICT — тема статьи The machine that would predict the future Дэвида Вейнбергера (Scientific American, 2011).
Статья Cancer: The march on malignancy (Nature supplement, 2014) знакомит читателя с текущим состоянием борьбы с раком. Статья Using patient data for personalized cancer treatments Криса Эдвардса (Communications of the ACM, 2014) описывает ранние стадии исследований, которые могут вырасти в CanceRx. Статья Simulating a living cell Маркуса Коверта (Scientific American, 2014) рассказывает, как его исследовательская группа построила компьютерную модель целой болезнетворной бактерии. Статья Breakthrough Technologies 2015: Internet of DNA Антонио Регаладо (MIT Technology Review, 2015) сообщает о работе Global Alliance for Genomics and Health. Проект Cancer Commons описан в статье Cancer: A Computational Disease that AI Can Cure Джея Тененбаума и Джеффа Шрейджера (AI Magazine, 2011).
В статье Love, actuarially Кевина Поулсена (Wired, 2014) рассказана история мужчины, который с помощью машинного обучения нашел любовь на сайте знакомств OkCupid. Книга Dataclysm Кристиана Раддера (Crown, 2014) еще глубже рассматривает данные OkCupid и находит в них самые разные идеи. Total Recall Гордона Мура и Джима Геммелла (Dutton, 2009) посвящена последствиям тотальной записи всего, что мы делаем. The Naked Future Патрика Такера (Current, 2014) — обзор использования и злоупотребления данными для прогнозирования. Крейг Манди приводит аргументы в пользу сбалансированного подхода к сбору и использованию данных в статье Privacy pragmatism (Foreign Affairs, 2014). В книге Эрика Бринйольфссона и Эндрю Макафи The Second Machine Age (Norton, 2014) обсуждается, как прогресс в области искусственного интеллекта формирует будущее труда и экономики. Статья World War R Криса Баранюка (New Scientist, 2014) сообщает о дебатах, идущих вокруг боевого применения роботов. Если верить статье Transcending complacency on superintelligent machines Стивена Хокинга и соавторов (Huffington Post, 2014), пришло время беспокоиться о рисках искусственного интеллекта. Ник Бостром в книге Superintelligence (Oxford University Press, 2014)[141] рассматривает эти опасности и задумывается, как с ними справиться.
A Brief History of Life Ричарда Хокинга (Random Penguin, 1982) суммирует квантовые скачки эволюции за миллионы лет до нашей эры. (До эры компьютеров. Шутка.) Книга The Singularity Is Near Рэя Курцвейла (Penguin, 2005) — ваш путеводитель в трансгуманистическое будущее. Джоэл Гарро рассматривает три сценария развития управляемой человеком эволюции в книге Radical Evolution (Broadway Books, 2005). В книге What Technology Wants (Penguin, 2010) Кевин Келли утверждает, что технология — это продолжение эволюции другими средствами. Джордж Дайсон в книге Darwin Among the Machines (Basic Books, 1997) приводит хронологию развития технологий и выдвигает гипотезы, куда оно может привести. Крейг Вентер объясняет, как его команда синтезировала живую клетку, в книге Life at the Speed of Light (Viking, 2013).
НАД КНИГОЙ РАБОТАЛИ
Главный редактор Артем Степанов
Ответственный редактор Татьяна Медведева
Литературный редактор Юлия Слуцкина
Арт-директор Алексей Богомолов
Обложка Facultative.Works
Верстка Вячеслав Лукьяненко
Корректоры Надежда Болотина, Юлия Молокова
ООО «Манн, Иванов и Фербер»
mann-ivanov-ferber.ru
Электронная версия книги подготовлена компанией Webkniga.ru, 2016