Hello World. Как быть человеком в эпоху машин Фрай Ханна

“Программа”, которая могла бы сочинять музыку… должна была бы сама побродить по свету, ища выходы из разных передряг и переживая каждое событие. Она должна понять, что такое радость и одиночество в ночи, когда стоишь на холодном ветру, страстное и неутолимое желание коснуться дорогой сердцу руки, городские огни в недосягаемой дали, что такое горе и восстановление после смерти близких. Она должна испытать мировую скорбь и смирение, тоску и отчаяние, чувство целеустремленности и победы, благоговения и священного трепета. Должна объединить противоположности – надежду и страх, душевную муку и ликование, безмятежность и тревогу. Ей обязательно должны быть присущи изящество, чувство юмора и ритма, оригинальность – и, безусловно, способность остро воспринимать магию нарождающегося нового творения. В этом и только в этом кроется источник смысловой наполненности музыки^[401].

Тут я могу и ошибаться. Возможно, если творения алгоритмов примут облик созданных человеком шедевров – как это произошло с музыкой ЭМИ, – мы оценим их и вложим в них свой смысл. Судя по многолетней истории фонограммы в поп-музыке, люди способны эмоционально реагировать даже на суррогат живого контакта. И возможно, когда компьютерное творчество распространится повсеместно и мы будем отдавать себе отчет в том, что автор – не человек, односторонняя связь перестанет нас отпугивать. Можно ведь установить эмоциональный контакт, скажем, с любимым плюшевым мишкой или домашним паучком без всякой надежды на взаимность.

Однако, на мой взгляд, подлинные шедевры не рождаются по случайному стечению обстоятельств. Есть границы применения алгоритмов. Предел допустимых расчетов. Я могу выудить из массивов данных и статистической информации самые невероятные, ошеломительные сведения, но ничего не найду о том, каково это – быть человеком.

Заключение

Архитектор Рахина Ибрагим, замужняя женщина (супруг ее остался по другую сторону океана), мать четверых детей, работала волонтером в больнице и, ко всему прочему, готовилась к защите диссертации в Стэнфордском университете. Мало ей было забот – она перенесла еще и экстренную гистерэктомию и, хотя уже почти поправилась после операции, пока еще не могла долго обходиться без медицинской помощи и лекарств. Тем не менее она забронировала билет на Гавайи, чтобы в январе 2005 года принять участие в 38-й Международной конференции по системным наукам и выступить с докладом перед коллегами^[402].

Утром 2 января 2005 года она вместе с дочкой приехала в аэропорт Сан-Франциско, сразу же подошла к стойке регистрации, предъявила документы и попросила предоставить ей инвалидное кресло. Ей отказали. На экране компьютера высветилось предупреждение, что ее имя включено в федеральный черный список – базу данных, составленную после 11 сентября 2001 года с целью не допустить к полетам людей, подозреваемых в терроризме.

Перепуганная дочка Рахины Ибрагим, еще подросток, оставшись одна, позвонила другу семьи и сказала, что ее маму куда-то увели в наручниках. Саму Ибрагим затолкали на заднее сиденье полицейской машины и повезли в отделение. Ее обыскали, проверив, что у нее под хиджабом, и заперли в камере без необходимых лекарств и медицинской помощи. Через два часа явился агент органов национальной безопасности с бумагами на освобождение и объявил ей, что из черного списка ее фамилию вычеркнули. Ибрагим добралась до места проведения конференции, а оттуда отправилась на родину, в Малайзию, проведать родных.

Ибрагим попала в черный список, когда агент ФБР, заполняя форму, поставил галочку не в том квадратике. Возможно, ошибка произошла из-за того, что террористическую организацию “Джемаа Исламия”, ответственную за взрывы на Бали в 2002 году, спутали с малайской организацией “Джемаа Ислам”, профессиональным объединением людей, обучающихся за границей. Ибрагим состояла во второй и никогда не имела ничего общего с первой. Как только эта ошибка закралась в автоматизированную систему, дело приобрело оттенок государственной важности, что едва ли не вешало на него гриф “без права на обжалование”. Инцидентом в аэропорту Сан-Франциско эта история не закончилась.

Спустя два месяца, на обратном пути из Малайзии в США, Ибрагим вновь задержали в аэропорту. На этот раз конфликт разрешился не так быстро. Ее визу аннулировали на основании подозрений в связях с террористами. Несмотря на то, что Ибрагим была матерью американских граждан, постоянно проживала в Сан-Франциско и занимала должность в одном из самых уважаемых университетов Америки, в Штаты ее не пустили. В конечном итоге, прежде чем ей удалось выиграть битву за свое честное имя, прошло почти десять лет. Почти десять лет Америка оставалась для нее запретной страной. И все из-за того, что человек один раз ошибся, а компьютер наделили слишком большим авторитетом.

Человек плюс машина

Никто не сомневается в том, что автоматика оказала огромное и полезное влияние на жизнь каждого из нас. Перечень успехов уже созданных на сегодняшний день алгоритмов поражает воображение. Алгоритмы помогают нам диагностировать рак груди, ловить серийных убийц и предотвращать авиакатастрофы; открывают нам свободный доступ ко всем накопленным человечеством знаниям – надо лишь пошевелить пальцами; они в одно мгновение соединяют людей по всему миру, что нашим предкам и не снилось. Но, кажется, стремясь ко всеобщей автоматизации и торопясь решить множество мировых проблем, мы вместо одной сложности создали себе другую. Эти полезные, заслуживающие всяческих похвал алгоритмы вынуждают нас распутывать плотный клубок мудреных загадок.

В любой области, какую ни возьми – в судебной системе, здравоохранении, охране порядка и даже в интернет-торговле, – возникают осложнения, связанные с вторжением в личную жизнь, предвзятостью, ошибками, безответственностью и непрозрачностью, которые так просто не обойти. Иногда алгоритмы уже одним фактом своего существования ставят перед нами острые вопросы, требующие честного и объективного анализа: какие мы, люди, каким мы хотим видеть наше общество и насколько мы способны совладать с крепнущей властью бесстрастных информационных технологий?

Но, возможно, в этом-то и загвоздка. Может быть, наша ошибка как раз в том, что мы рассматриваем алгоритмы как некую властную структуру.

Начать с того, что наше нежелание оспорить власть алгоритмов облегчило задачу тем, кто хочет на нас нажиться. Пока я искала материалы для своей книги, мне попадались мошенники всех мастей, и все они были не прочь воспользоваться каким-нибудь мифом и подзаработать на нашем простодушии. Несмотря ни на какие научно обоснованные аргументы, кто-то продает правоохранительным органам и правительству алгоритмы, якобы способные по одному только лицу распознать в человеке потенциального террориста или педофила. Есть и такие, кто утверждает, будто достаточно подредактировать с помощью их программы одну строку в сценарии, и ваш фильм станет блокбастером^[403]. Другие с полной уверенностью и без тени иронии заявляли, что их алгоритм найдет для вас настоящую любовь^[404].

Но даже добросовестные алгоритмы нередко наносят людям вред своим авторитетом. Эта книга изобилует историями о губительной деятельности алгоритмов. В Айдахо “инструмент бюджетного регулирования” оставил инвалидов без финансовой поддержки. Алгоритмы прогнозирования рецидивов преступлений присваивают темнокожим подсудимым более высокие рейтинги по шкале риска просто в силу исторических причин. Система диагностики заболеваний почек была устроена так, что миллионы людей, сами того не ведая и не давая на то своего согласия, обнародовали свои глубоко личные данные. Алгоритм, предназначенный для торговли в интернете, лишил юную девушку возможности самой сказать папе о том, что она беременна. Получив в свое распоряжение программу для отслеживания объектов наблюдения, полиция составляет “черные списки”, хотя задача алгоритма – предотвращать стрельбу. Ошибки и перекосы на каждом шагу.

Вместе с тем, когда мы говорим о слабых местах алгоритмов, может сложиться впечатление, будто существует некий идеал и надо к нему стремиться. Я долго и упорно думала и не смогла вспомнить ни одного бесспорно справедливого алгоритма. Скрытые угрозы таят в себе даже самые, казалось бы, прекрасные алгоритмы, такие как авиационные автопилоты и диагностирующие рак нейросети. Как вы уже знаете из главы “Автомобили”, человек, которого научили управлять машиной с автопилотом, рискует, оказавшись за рулем или джойстиком, попасть в крайне затруднительное положение. Высказываются даже опасения, что с виду чудесные алгоритмы для выявления опухолей, с которыми мы познакомились в главе “Медицина”, не для всех этнических групп одинаково эффективны. Но и без алгоритмов в мире не так уж много по-настоящему объективных и справедливых систем. Стоит только копнуть поглубже в любой области, и обнаружатся какие-нибудь нехорошие тенденции.

Давайте подумаем: допустим, мы смирились с тем, что идеала не существует, – что тогда? Алгоритмы будут ошибаться. Алгоритмы будут несправедливыми. Это вовсе не означает, что мы не постараемся сделать их как можно более точными и менее тенденциозными, но, возможно, признав, что алгоритмы – как и люди – несовершенны, мы несколько ослабим их власть, которой мы же их и наделили.

Представим себе, что мы не стали бросать все силы на создание алгоритмов, отвечающих самым высоким стандартам объективности, а сделали так, чтобы в случае неизбежной ошибки их работу было легко скорректировать; что те же усилия и время мы потратили на разработку таких автоматических систем, отключить которые не сложнее, чем внедрить. Наверное, логичнее было бы с самого начала разработать алгоритм, решения которого можно оспорить. Представим себе, что, по замыслу инженеров, алгоритмы не инструктируют людей, а помогают им принимать решения. Что они не просто выдают нам результат, а показывают, как и почему они пришли к тому или иному выводу.

На мой взгляд, лучшие алгоритмы – те, что на каждом этапе своей работы принимают в расчет человека. Те, что знают о нашей склонности излишне доверять решению компьютера, но в то же время учитывают собственные недостатки и не скрывают своей неуверенности.

Это одно из самых полезных свойств компьютера IBM Watson, победителя телевикторины Jeopardy. По условиям игры ответ должен быть дан однозначный, но алгоритм предлагал и несколько вариантов, которые он рассматривал по ходу дела, а также количественно оценивал свою уверенность в правильности каждого варианта. Наверное, если бы нечто в этом роде происходило при оценке вероятности рецидивизма преступности, судьям было бы проще критически отнестись к тому, что сказал компьютер. И если бы алгоритм распознавания лиц показывал не одно лицо, а несколько возможных совпадений, не возникло бы столько проблем из-за ошибок в опознании.

Этим же свойством обусловлена высокая эффективность нейросетей, сканирующих снимки опухолей молочной железы. Алгоритм не приговаривает пациенток к раку. Он выделяет в огромном множестве клеток несколько подозрительных зон, чтобы доктор их проверил. Алгоритму неведома усталость, а врач редко ошибается в диагнозе. Алгоритм и человек работают в дружном тандеме, причем каждый из них пользуется сильными сторонами партнера и принимает во внимание его слабости.

Можно привести и другие примеры – в тех же шахматах, с которых мы начали. Проиграв машине, Гарри Каспаров не рассорился с компьютерами навек. Совсем наоборот. Он стал ярым апологетом “продвинутых шахмат” (Centaur Chess) – игры двух гибридных команд, дуэтов человека и компьютера, так называемых “кентавров”. Алгоритм оценивает возможные последствия каждого хода, тем самым уменьшая вероятность серьезного просчета, но в целом за игру отвечает человек.

Вот как об этом говорит сам Каспаров: “Если пользоваться во время игры помощью компьютера, можно не тратить столько времени на расчеты, а сосредоточиться на стратегии. В таких условиях творческая энергия человека приобретает еще более важное значение”. В итоге шахматы вышли на такой высокий уровень, какого еще никогда не достигали. Безупречная тактика игры и изящная, продуманная стратегия – все лучшее от обоих миров!

Это будущее, которого я жду. Будущее, куда не попадут самонадеянные алгоритмы-диктаторы, заполонившие мою книгу. Будущее, когда искусственный интеллект станет для нас не деспотичным командиром, а таким же полезным ресурсом, как и другие технологии. Мы начнем критически осмысливать решения машин и анализировать их мотивы, станем уважать свои чувства, требовать ответа на вопрос, кто бенефициар, возлагать на алгоритмы ответственность за их ошибки и прекратим сами себя успокаивать. Думаю, это ключ к тому миру, где алгоритмы служат прогрессу общества. И очень хорошо, что эта работа целиком и полностью ляжет на наши плечи. Ибо одно можно сказать с уверенностью: никогда еще человек не был так важен, как в эпоху алгоритмов.

Благодарности

Наверное, есть на свете люди, кому написать книгу проще пареной репы. Вы понимаете, о ком я – они вскакивают ни свет ни заря, к обеду у них готова целая глава, и они забывают про ужин, потому что их подхватил поток вдохновения и они не смотрели на часы.

Я точно не из их числа.

В процессе работы я вела ежедневные битвы с той частью себя, которая предпочла бы включить сериал, усевшись на диван с чипсами, и полномасштабную войну с сокрушительными приступами беспокойства и паники, от которых, как мне казалось, я избавилась, защитив диссертацию. Я не столько писала свою книгу, сколько вытягивала ее из себя с воплями и скандалами. Бывало, что в буквальном смысле слова.

Поэтому я тем более благодарна всем, кто великодушно помогал мне от начала и до конца. Это моя потрясающая издательская команда, весь прошлый год не жалевшая для меня времени и идей: Сюзанна Уэйдсон, Куин До, Клэр Конрад, Эмма Пэрри, Джиллиан Сомерскейлс, Эмма Бёртон, Софи Кристофер, Ханна Брайт, Кэролайн Сейн, – а также сотрудники агентства Janklow & Nesbit и издательств Transworld и Norton, помогавшие мне за сценой. И еще Сью Райдер, Кэт Би и Том Копсон. Без вас я пропала бы.

Я безмерно благодарна моим собеседникам, согласившимся ответить на мои вопросы; некоторых из них я цитирую в книге, но все они помогли мне сформулировать идеи. Это Джонатан Роусон, Найджел Харви, Адам Бенфорадо, Джайлс Ньюэлл, Ричард Берк, Шина Эруин, Стив Колган, Мандип Дхами, Эдриан Уэллер, Тоби Дейвис, Роб Дженкинс, Джон Каневски, Тимандра Харкнесс, Дэн Поппл и сотрудники полиции Уэст-Мидлендса, Энди Бек, Джек Стилгоу, Кэролайн Рэнс, Пол Ньюмен, Филлис Илларми, Арман Леони, Дэвид Коуп, Эд Финн, Кейт Девлин, Шелия Хейман, Том Чатуин, Карл Гомбрих, Джонни Райан, Джон Кроукрофт и Фрэнк Келли.

Сью Уэбб и Дэбби Энрайт из Network Typing, а также Шэрон Ричардсон, Шрути Рао и Уилл Сторр оказали мне неоценимую помощь в борьбе за то, чтобы эта книга обрела нужный вид. Кроме того, когда я наконец дописала ее в первом приближении, Джеймс Фулкер, Элизабет Адлингтон, Брендан Магиннис, Иэн Хантер, Омар Миранда, Адам Деннетт, Майкл Вил, Джослин Бейли, Кэт Блэк, Трейси Фрай, Адам Резерфорд и Томас Олерон Эванс помогли мне увидеть и привести в порядок самые корявые фразы. А Джеф Даль, помимо того что оказывал мне моральную поддержку на протяжении всего рабочего процесса, еще и подал прекрасную, оригинальную идею для обложки.

Мне очень помогли мои рецензенты: Элизабет Клевердон, Бетани Дейвис, Бен Диксон, Майк Даунз, Чарли и Лора Гейлан, Кэти Хит, Миа Кази-Форнари, Фатах Иуалитен, Шивон Мейдерс, Мейбл Смоллер, Али Сейхун Сараль, Дженнифер Шелли, Эдвард Стил, Дэниел Весма и Джасс Уби – за что им огромное спасибо!

Не знаю, как выразить свою признательность моим родным за круглосуточную поддержку и неизменную доброжелательность. Фил, Трейси, Натали, Мардж и Пардж, Омар, Майк и Таня – вы были терпеливы со мной больше, чем я того порой заслуживала. (Но не поймите меня буквально – возможно, я соберусь написать еще одну книгу, и тогда мне снова понадобится ваша помощь, вы не против?)

И напоследок, но никак не в последнюю очередь, Эдит. Честно говоря, ты мне совсем не помогала, но на тебя я и не рассчитывала.

Источники иллюстраций

“Автомобиль-собака”, с разрешения Данило Васконселлоса Варгаса, Университет Кюсю, Фукуока, Япония.

“Горилла на рентгеновском снимке грудной клетки”, с разрешения Трафтона Дрю, Университет штата Юта, Солт-Лейк-Сити, США.

“Изображения Стива Талли” © Steve Talley (слева) и ФБР.

“Нил Дуглас и его двойник”, с разрешения Нила Дугласа.

“Черепаховые очки”, с разрешения Махмуда Шарифа, Университет Карнеги-Меллона, Питтсбург, США; “Мила Йовович на Каннском кинофестивале”, фото Жоржа Байя.

Примечания

1

Brian W. Kernighan and Dennis M. Ritchie. The C Programming Language (Upper Saddle River, NJ: Prentice-Hall, 1978). (Керниган Б., Ритчи Д. Язык программирования С. М.: “Вильямс”, 2017).