Власть

Гарри Каспаров прекрасно знал, как деморализовать противника. Когда ему было 34 года, его авторитет сильнейшего гроссмейстера планеты заставлял нервничать всех, кто встречался с ним за шахматной доской. Вдобавок у него в арсенале был один особенно хитрый психологический прием, который наводил на соперников благоговейный ужас. В то время как они мучительно пытались выстоять, вероятно, в самом трудном матче за всю их карьеру, русский шахматист будто бы невзначай брал свои наручные часы, лежавшие рядом с доской, и надевал их на запястье. Этот жест все понимали однозначно: Каспарову наскучило играть в игрушки. Часы показывали сопернику, что пора капитулировать. Можно, конечно, еще посопротивляться, но все равно победа останется за Каспаровым^[8].

Однако в мае 1997 года, во время исторического матча Гарри Каспарова и компьютера Deep Blue, выяснилось, что на машину эти фокусы не действуют. Все знают, чем закончился поединок, но не всем известна любопытная предыстория уверенной победы компьютера. Символичный триумф машины над человеком, со всех сторон, как ни посмотри, отметивший наступление эры алгоритмов, объяснялся не только такой примитивной причиной, как точность расчетов. Для того чтобы обыграть Каспарова, компьютер должен был понять, как мыслит не мощный процессор, способный совершать изящные шахматные ходы, а живой человек.

Инженерам IBM пришла в голову гениальная идея – создать впечатление, будто Deep Blue сомневается больше, чем на самом деле. В том знаменитом матче из шести партий компьютер периодически “задумывался”, иногда на несколько минут, прежде чем сделать уже рассчитанный ход. Его сопернику казалось, что машина испытывает какие-то трудности и пытается произвести новые вычисления. Получалось, будто бы Каспаров прав в своих предположениях: он сумел повести игру так, чтобы компьютер запутался в море возможных вариантов и не смог выбрать верную комбинацию^[9]. Однако машина точно знала, что делать, и всего лишь тянула время. Тактика жульническая, но эффективная. В первой же партии Каспаров стал гадать, на что способен компьютер, и это его отвлекало^[10].

Первую партию он выиграл, зато во второй Deep Blue уже целиком завладел его мыслями. Каспаров старался заманить машину в ловушку, чтобы она взяла некоторые фигуры, позволив ему через несколько ходов высвободить ферзя и атаковать^[11]. И сам Каспаров, и наблюдавшие за игрой специалисты полагали, что Deep Blue попадется на удочку. Но компьютер каким-то образом учуял подвох. К вящему удивлению Каспарова он разгадал гроссмейстерский маневр и заблокировал его ферзя, что лишило человека шансов на победу^[12].

Каспаров явно был шокирован. Ошибочное суждение о способностях компьютера стоило ему победы. Как он сказал в интервью через несколько дней после игры, “в какой-то момент Deep Blue вдруг заиграл как бог”^[13]. Много лет спустя, вспоминая свое тогдашнее состояние, он напишет, что ходы компьютера казались неожиданными, но очень сильными, и это была ошибка^[14]. Как бы там ни было, победил алгоритмический гений. Он угадал ход мыслей человека, увидел его слабые стороны, перехватил инициативу, и слишком уж человеческий гений потерпел поражение.

Вторую партию обескураженный Каспаров сдал без борьбы за ничью. После этого его самоуверенность потихоньку улетучилась. Третья, четвертая и пятая партии закончились вничью. К шестой Каспаров сломался. Итог матча – 3: 2 в пользу Deep Blue.

Это был непонятный проигрыш. Каспаров запросто мог бы найти выход из любой сложившейся на доске позиции, но сначала недооценил возможности машины, а затем позволил ей запугать себя. “Игра Deep Blue произвела на меня колоссальное впечатление, – писал он в 2017 году об этом матче. – Я мог думать лишь о способностях компьютера и от этого не сознавал, что мои проблемы вызваны скорее моей плохой игрой, нежели хорошей игрой машины.”^[15].

Как мы еще не раз увидим в этой книге, важно, чего мы ждем. Победа компьютера над знаменитым гроссмейстером показывает, что потенциал алгоритма не ограничивается содержанием строк программы. Чтобы оставаться у руля, мы должны понимать, где и в чем мы уязвимы, – а также знать слабые места программы.

Но если даже Гарри Каспаров не сумел справиться с этой задачей, на что остается надеяться нам, обычным людям? Далее мы увидим, как алгоритмы проникают буквально во все аспекты современной жизни, от здравоохранения и борьбы с преступностью до транспорта и политики. При этом мы умудряемся одновременно и относиться к ним с пренебрежением, и преклоняться перед их силой. В результате мы понятия не имеем, много ли власти мы им уступили и как далеко все зашло.

Назад к основам

Прежде чем мы углубимся в изучение этой темы, возможно, стоит ненадолго отвлечься и поговорить о том, что же такое алгоритм. Хотя этот термин у всех на слуху, смысл самого слова довольно туманный. Формально определение таково^[16]:

Алгоритм (сущ.): порядок действий, которые необходимо совершить для решения той или иной задачи или достижения заданной цели, особенно с помощью компьютера.

Всего-то. Алгоритм – это просто набор инструкций, которые помогают шаг за шагом дойти от исходных данных до решения задачи. В широком смысе рецепт пирога – тоже алгоритм. Под это определение подпадают и советы, которые вы даете заблудившемуся приезжему. Инструкции из IKEA, видео с YouTube, где вам показывают, что и как сделать, даже всевозможные практические руководства – теоретически алгоритмом можно считать любой перечень инструкций, в котором содержится полная информация о том, как достичь конкретной цели.

Однако область применения этого термина несколько иная. Обычно алгоритмом называют нечто более специальное. Алгоритм действительно представляет собой набор пошаговых инструкций, но при этом почти всегда речь идет о математическом объекте. Используя уравнения, арифметические и алгебраические действия, матанализ, логику и теорию вероятностей, алгоритм превращает ряд математических операций в компьютерную программу. Ему предоставляют данные из жизни, ставят задачу и запускают его, чтобы дальше он сам продирался через формулы к ответу. Именно алгоритмы делают информатику настоящей наукой, и благодаря им машины сотворили за последние десятилетия массу самых удивительных чудес.

Существует несметное множество всевозможных алгоритмов. Каждый из них имеет свое предназначение, свои отличительные особенности, свою изюминку и свои недостатки, и до сих пор неясно, как их лучше классифицировать. Но в целом удобно выделить четыре основные категории задач, которые выполняют алгоритмы^[17]:

1. Расстановка приоритетов – составление упорядоченного списка

Исходя из ранжирования результатов поиска, Google подсказывает вам, какую страницу открыть в данный момент. Netflix предлагает вам очередной фильм. Навигатор выбирает для вас кратчайший путь. Все они упорядочивают колоссальное множество вероятных опций, производя вычислительный процесс. Deep Blue, в сущности, тоже занимался приоритизацией, то есть анализировал все возможные ходы фигур на доске и находил те, что гарантировали самые высокие шансы на победу.

2. Классификация – выбор категории

Когда мой возраст приблизился к тридцати годам, Facebook завалил меня рекламой колец с бриллиантами. И как только я наконец вышла замуж, отовсюду в интернете посыпались предложения тестов на беременность. Такими маленькими неудобствами я обязана алгоритмам классификации. Любимые алгоритмы рекламщиков, руководствуясь вашим личным профилем, исподтишка записывают вас в группу лиц с определенными интересами. (Пусть даже они угадывают верно, но если во время деловой встречи на экране вашего компьютера неожиданно всплывает реклама тестов на овуляцию, это действует на нервы.)

Именно такие алгоритмы автоматически отсортировывают и удаляют посторонние ролики на YouTube, подписывают ваши отпускные фотографии и, сканируя рукопись, идентифицируют закорючки на странице как буквы.

3. Ассоциирование – выявление связей

Ассоциирование – это поиск и описание взаимосвязи между объектами. Например, сайты знакомств, вроде OkCupid, ищут связи между пользователями и подбирают пары, используя алгоритмы поиска ассоциаций. Примерно так же устроена рекомендательная система Amazon – она находит нечто общее между вашими интересами и интересами предыдущих покупателей. Вот почему пользователь сайта Reddit с ником Kerbobotat, купив на Amazon бейсбольную биту, получил интересное предложение: “Возможно, вам понравится эта балаклава”^[18].

4. Фильтрация – выделение важной информации

Алгоритмы нередко помогают изъять часть информации, чтобы обратить внимание на главное, поймать сигнал среди шумов. Иногда они делают это в буквальном смысле слова – так, в голосовых помощниках, например Siri, Alexa и Cortana, чтобы расшифровать вашу речь, алгоритмы распознавания, предварительно должны выделить из шумового фона ваш голос. Иногда это не шум как таковой, а метафора: Facebook и Twitter заполняют вашу ленту, уже зная, что вас обычно интересует, и подбирая соответствующую информацию.

Можно придумать огромное множество алгоритмов, совмещающих эти функции. Так устроен, например, сервис UberPool, который подбирает потенциальных попутчиков для совместных поездок на такси. Зная начальную и конечную точки маршрута, программа должна перебрать все возможные пути к вашему дому, найти других пользователей, которым надо ехать в ту же сторону, и определить вас в одну машину – и при этом в первую очередь предложить такие маршруты, чтобы водителю пришлось как можно меньше крутиться по улицам^[19].

Алгоритмы все это умеют. Другой вопрос: как они это делают? Опять-таки мы можем выделить суть, хотя вариантов не счесть. В общем и целом все алгоритмы делятся на два основных типа в зависимости от принципа их работы, и далее в этой книге мы познакомимся с обоими.

1. Алгоритмы, основанные на системе правил

Работа алгоритмов первого типа основана на совокупности правил. Инструкции для них, четкие и недвусмысленные, составляет человек. Такой алгоритм подобен рецепту пирога. Шаг первый: сделать то-то. Шаг второй: если то, тогда это. Алгоритм вовсе не обязательно будет простым – есть масса возможностей для создания сложнейших программ такого типа.

2. Алгоритмы машинного обучения

Принцип действия алгоритмов другого типа сродни обучению живого существа. Для аналогии представьте себе, как можно было бы научить собаку давать лапу. Нет смысла проводить с ней подробный инструктаж. Вам как дрессировщику надо самому четко понимать, чего вы хотите добиться от собаки и как вы ее поощрите, когда она выполнит команду. Надо только закрепить правильную реакцию, игнорируя ошибочную, и дать собаке потренироваться, чтобы она сама выработала нужный рефлекс. В программировании такая схема называется алгоритмом машинного обучения и подпадает под более широкое понятие искусственного интеллекта, ИИ. Вы вводите в компьютер данные, ставите цель, обеспечиваете обратную связь, если алгоритм выбирает верный путь, – и предоставляете ему самостоятельно искать оптимальное решение.

Оба варианта имеют свои плюсы и минусы. Алгоритмы, основанные на системе правил, просты для восприятия, поскольку инструкции для них пишут люди. Теоретически кто угодно может прочитать правила и аккуратно выполнить все пункты по порядку^[20]. Однако в этом преимуществе кроется их изъян. Основанные на системе правил алгоритмы решат задачу только в том случае, если люди знают, какую инструкцию для них написать.

Алгоритмы машинного обучения, как выяснилось в последнее время, напротив, отлично справляются и тогда, когда набор команд не помогает. Они могут распознать объект на картинке и слова, которые мы произносим, могут перевести текст на другой язык – сделать то, что алгоритмам с инструкциями не по зубам. Минус в том, что если предоставить машине самой искать решение, то, скорее всего, человек не поймет, каким путем она пришла к конечному результату. Даже для гениального программиста ее внутренняя логика может остаться тайной за семью – печатями.

Предположим, ставится задача распознать изображение. Не так давно группа исследователей из Японии продемонстрировала, как необычно, с точки зрения человека, видит вещи машина. Может быть, вам встречалась известная оптическая иллюзия, когда трудно с первого взгляда сказать, что вы видите – вазу или два лица (если нет, загляните в примечания, приведенные в конце книги)^[21]. Вот вам аналогичный пример из мира компьютеров. Ученые показали, что достаточно изменить один пиксель переднего колеса на изображении, приведенном ниже, чтобы алгоритм машинного обучения передумал и увидел собаку там, где прежде видел автомобиль^[22].

Кое-кто считает, что оставить алгоритм без четких инструкций – это прямой путь к катастрофе. Как же контролировать то, чего мы не понимаем? Что, если наделенная разумом машина превзойдет по интеллекту своих создателей? Можем ли мы быть уверены, что загадочный для нас ИИ, который нам не подчиняется, не превратится в нашего врага?

Все эти гипотезы заслуживают внимания, и о нависшей над нами угрозе апокалипсиса, который может устроить нам ИИ, написано уже немало книг. Простите, если обманула ваши ожидания, – моя книга о другом. Несмотря на то, что в последнее время ИИ стремительно развивается, “умным” его можно назвать лишь с большими ограничениями. Тому, с чем мы столкнулись, скорее подошло бы определение революции не в области интеллекта, а в вычислительной статистике. Я понимаю, что это не так возбуждает – если только вы не питаете особые чувства к статистике, – однако текущее положение вещей такая формулировка описывает гораздо точнее.

Пока что волноваться из-за злых козней ИИ – все равно что волноваться из-за перенаселения на Марсе^[23]. Возможно, когда-нибудь компьютерный разум окажется сильнее человеческого, но пока об этом даже речи не идет. Честно говоря, нам еще довольно далеко до создания интеллекта хотя бы уровня ежиного. И червяка-то до сих пор никому не удалось превзойти^[24].

Кроме того, вся эта шумиха из-за искусственного интеллекта отвлекает нас от куда более насущных и, по-моему, более интересных тем. Забудьте ненадолго о всемогущих умных машинах и верните свои мысли из далекого и неясного будущего в наше с вами настоящее, ибо алгоритмы, которым даны полная свобода действий и право самостоятельно принимать решения, уже существуют. Они назначают курс лечения онкологическим больным и сроки тюремного заключения, действуют в аварийной ситуации на дороге. Они уже на каждом шагу делают за нас роковой выбор.

Вопрос вот в чем: если мы делегируем алгоритмам такие полномочия, можно ли им доверять?

Слепая вера

Воскресенье 22 марта 2009 года было не самым удачным днем в жизни Роберта Джонса. Он возвращался из гостей и, когда он проезжал через живописный городок Тодморден в Уэст-Йоркшире, на панели его BMW включился индикатор бензобака. Он мог позволить себе проехать до ближайшей бензоколонки километров десять – что-то надо было срочно предпринять. К счастью, GPS-навигатор, по-видимому, нашел короткий путь – и направил Роберта по узкой, извилистой дороге, которая вела из долины наверх.

Роберт послушно следовал указаниям навигатора, однако чем дальше, тем более узкой становилась дорога и тем круче она забирала вверх. Через несколько километров шоссе превратилось в грунтовый проселок, едва ли пригодный даже для гужевого транспорта, не говоря уже об автомобиле. Впрочем, Роберта это не смущало. Он зарабатывал на жизнь, проезжая тысячи километров в неделю, и крутил баранку вполне уверенно. К тому же он думал: “С чего бы мне не доверять навигатору?”

Вскоре снизу, из долины, если задрать голову и посмотреть вверх, можно было увидеть торчащий над самой кромкой обрыва передок машины, не рухнувшей вниз с высоты в тридцать метров лишь благодаря хлипкому деревянному заборчику, в который Роберт въехал.

В итоге для того, чтобы эвакуировать автомобиль с того места, где его покинул водитель, понадобились три квадроцикла и трактор. Позднее, в том же году, представ перед судом по обвинению в опасном вождении, Роберт признался, что ему и в голову не пришло спорить с навигатором. “Он упорно называл этот проселок дорогой, – сказал он корреспонденту газеты после происшествия. – Ну я ему и поверил. Как-то не ждешь, что тебя чуть не сбросят с обрыва”^[25][26].

Да, Роберт. Разумеется, этого ты не ждал.

В этой истории есть мораль. Наверное, тогда Джонс почувствовал себя довольно глупо, но, не поверив своим глазам (при виде отвесного склона за окном машины) и приписав компьютерной программе больше ума, чем она того заслуживает, он попал в достойную компанию. В конце концов, двенадцатью годами раньше в ту же самую западню угодил Гарри Каспаров. Да и все мы порой совершаем ту же ошибку, пусть и неосознанно, в не столь критичных, но не менее важных для нас ситуациях.

Еще в 2015 году ученые задались вопросом: почему иногда информационно-поисковые системы – например, Google – способны менять наши представления о мире^[27]? Они решили выяснить, существуют ли разумные границы доверия результатам поиска или мы готовы, скажем так, беспечно шагнуть в пропасть по воле поисковика.

Эксперимент проводили на примере грядущих выборов в Индии. Исследователи во главе с психологом Робертом Эпштейном отобрали по всей стране 2150 добровольцев, которые еще не решили, за кого голосовать, и открыли им доступ к специально разработанной системе под названием Kadoodle, чтобы они могли побольше узнать о кандидатах, прежде чем сделать выбор.

Программа оказалась с подвохом. Ничего не подозревавших участников эксперимента разбили на группы, каждой из которых показывали слегка различающиеся результаты поиска, с уклоном в пользу того или иного кандидата. Когда какая-нибудь группа заходила на сайт, сначала выдавалась информация об определенном кандидате – то есть, для того чтобы увидеть хоть одну страницу, посвященную другому кандидату, надо было прокрутить ссылки одну за другой далеко вниз. В разных группах методично продвигали разных кандидатов.

Как нетрудно догадаться, участники эксперимента в основном читали материалы под верхними заголовками с первой страницы – как говорится в бородатом анекдоте из интернета, проще всего спрятать труп на второй странице результатов поиска в Google. Вряд ли кто-нибудь обратил внимание на самые нижние строки в перечне ссылок. Но даже сам Эпштейн поразился тому, в какой степени целенаправленный отбор информации повлиял на выбор добровольцев. Уже через несколько минут, проведенных на сайте, аж на 12 % больше респондентов, отвечая на вопрос, кому они отдали бы свой голос, выбирали ставленника системы Kadoodle.

В 2015 году, в интервью журналу Science, Эпштейн объяснил результаты эксперимента: “Мы ждем от поисковой системы разумного выбора. Люди рассуждают так: «Да, перекосы есть, это говорит о том, что… поисковик делает свое дело»”. При том огромном объеме информации, который мы черпаем из интернета, еще больше тревожит искренняя убежденность многих социально активных граждан в том, будто они высказывают собственное мнение. “Если люди не замечают, что ими манипулируют, им кажется, что свежие идеи пришли им в голову независимо ни от чего”, – написал Эпштейн в своей статье^[28].

Безусловно, Kadoodle – не единственная программа, которой можно вменить в вину подспудное манипулирование политическим выбором людей. В главе “Персональные данные” мы еще вернемся к этой теме, а сейчас для нас важен следующий вывод из описанного эксперимента: мы полагаем, что в большинстве случаев алгоритмы оказываются правы. Мы уже согласны с тем, что их решение всегда приоритетно^[29]. Еще чуть-чуть, и мы перестанем даже осознавать, насколько мы им доверяем.

Сплошь и рядом алгоритмы предоставляют нам удобный и авторитетный источник информации. Предлагают простой способ переложить свою ответственность на кого-то другого, и мы не задумываясь соглашаемся на кратчайшие пути. Кто станет каждый раз докапываться до дальних ссылок на второй странице в Google и критически осмысливать все предложения поисковика? Кто станет шарить по сайтам всех авиакомпаний, чтобы посмотреть, действительно ли Skyscanner нашел самые дешевые варианты? Или, вооружившись линейкой и картой, проверять, нет ли еще более короткой дороги, чем выбирает GPS? Уж точно не я.

Однако надо понимать, где проходит грань. Потому что одно дело – доверять программе, которая обычно нас не подводит. Совсем другое – довериться той, про которую мало что толком известно.

Искусственный интеллект против естественной глупости

В 2012 году, в штате Айдахо, некоторым инвалидам сообщили, что их исключили из программы бесплатного медицинского обслуживания^[30]. Несмотря на то, что все они имели право на льготы, власти без предупреждения сократили их пособие на 30 %^[31], и инвалидам пришлось самим изыскивать средства на оплату услуг по уходу. Это было вовсе не политическое решение, а результат применения нового “инструмента бюджетного регулирования”, взятого на вооружение Министерством здравоохранения и социальной помощи штата Айдахо – компьютерной программы для автоматического расчета пособий для каждого отдельно взятого гражданина^[32].

Однако рекомендации программы выглядели довольно нелогично. Человеку непосвященному показалось бы, что цифры взяты с потолка. Одним дали больше денег, чем в предыдущие годы, а другим урезали пособия на десятки тысяч долларов, и для того чтобы платить за обслуживание в лечебных учреждениях, кому-то, возможно, пришлось бы продать свой дом^[33].

Люди не могли взять в толк, почему им сократили пособия и как справиться с новыми трудностями, поэтому обратились за помощью в Американский союз защиты гражданских свобод (ACLU). В 2017 году ситуацию прокомментировал в своем блоге директор по юридическим вопросам отделения в Айдахо Ричард Эппинк: “Я тогда подумал, мы просто попросим штат объяснить, почему вдруг так сильно уменьшились суммы выплат”^[34]. В действительности же для выяснения причин произошедшего потребовалось четыре года, четыре тысячи жалоб и групповой иск о возмещении ущерба^[35].

Для начала Эппинк и его помощники попробовали разобраться в том, как именно работает алгоритм, однако люди, отвечавшие за программу медицинской помощи нуждающимся “Медикейд”, отказались пояснить расчеты. Они сослались на “коммерческую тайну” и запрет на открытый доступ к использованному программному обеспечению^[36]. К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel^[37].

По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл^[38]. Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм – если он вообще заслуживал такого названия – оказался настолько негодным, что суд признал его противоречащим Конституции^[39].

Тут надо выделить две линии неверных действий человека. Во-первых, кто-то заполнил эту бессмысленную таблицу, а во-вторых, кто-то другой наивно поверил в истинность данных. В сущности, “программа” выражала собой закодированный непрофессионализм. Но почему же люди, которые работали на государство, так рьяно защищали откровенно плохой продукт?

Вот что думает по этому поводу Эппинк:

Такая тенденция прослеживается всегда, когда дело касается результатов, полученных с помощью компьютера, – мы не подвергаем их сомнению. Если компьютер что-то рассчитывает – если есть статистик, который выводит некую формулу на основе неких данных, – мы просто верим его формуле и не спрашиваем: мол, погодите-ка, как это все работает?^[40]

Я отлично понимаю, что не все любят на досуге возиться с математическими формулами, вникая в их суть, – хотя я обожаю это занятие. Но, тем не менее, Эппинк поднимает вопрос первостепенной важности – о нашей готовности принимать выводы компьютера за чистую монету, не вникая в его тайную жизнь.

Я математик, и за годы работы с данными и программами я пришла к убеждению, что существует единственный путь объективно оценить надежность алгоритма – докопаться до принципиальных основ его работы. Мой опыт говорит, что алгоритмы во многом схожи с фокусами иллюзионистов. Сперва они и впрямь кажутся непостижимыми, но когда понимаешь, как это сделано, чары рассеиваются. Нередко за внешней сложностью скрывается что-то до смешного примитивное – или настораживающе легкомысленное. В следующих главах я постараюсь дать вам представление о невидимых глазу особенностях алгоритмов, которые мы будем обсуждать. Пусть этих знаний будет маловато для того, чтобы самостоятельно произвести расчеты, но для понимания процесса – достаточно.

Однако даже самые въедливые математики порой вынуждены верить алгоритму “на слово”. Например, потому что проверка его деятельности практически невыполнима, как в случае со Skyscanner и поисковиком Google. Или программа может оказаться “засекреченной”, как алгоритм бюджетного регулирования в Айдахо и кое-какие другие программы, которые нам встретятся. Бывает и так, что попросту невозможно проследить логические связки в алгоритме – например, в некоторых системах машинного обучения.

Иногда мы будем вынуждены передавать управление “незнакомцу”, даже зная, что алгоритм может ошибиться. Нам придется сопоставлять собственное мнение с мнением машины. И если мы решим, что следует доверять не расчетам, а нашей интуиции, нам понадобится отвага, чтобы настоять на своем.

Когда нельзя уступать

Офицер Советской армии Станислав Петров отвечал за мониторинг системы предупреждения о ракетном нападении, которая охраняла воздушное пространство СССР. В том случае, если компьютер укажет на какие-либо признаки атаки со стороны США, Петров обязан был незамедлительно доложить командованию^[41].

26 сентября 1983 года он заступил на дежурство, и вскоре после полуночи взвыли сирены. Одна только мысль о таком сигнале тревоги наводила ужас: советские спутники засекли вражескую ракету, направлявшуюся к территории СССР. Холодная война была в разгаре, поэтому удар казался вполне вероятным, однако что-то заставило Петрова повременить с докладом. Он не был уверен в безусловной правоте алгоритма. Компьютер зафиксировал всего лишь пять запусков – в столь нерешительных действиях США не было никакой логики^[42].

Петров замер в своем рабочем кресле. От него зависело, рапортовать о нападении и почти наверняка развязать мировую ядерную войну, или нарушить протокол и выждать, хотя он понимал, что с каждой секундой у руководства его страны остается все меньше времени на ответный удар.

Нам страшно повезло, потому что Петров выбрал второй вариант. Он не мог знать наверняка, что сигнал тревоги прозвучал по ошибке, но через двадцать три минуты (должно быть, они показались ему целой вечностью), когда стало ясно, что на советскую землю не упала ни одна боеголовка, он наконец убедился в своей правоте. Программа дала сбой.

Если бы система работала абсолютно автономно, не имея над собой такого контролера, как Станислав Петров, мировая история пошла бы совсем по другому сценарию. Надо думать, Москва отреагировала бы адекватно (как она полагала бы), и началась бы полномасштабная ядерная война. Из этого эпизода мы должны вывести мораль: в таких процессах ключевую роль играет человеческий фактор; избежать ошибки можно только тогда, когда человек видит указания алгоритма и может наложить вето раньше, чем будет принято решение.

Ведь только люди способны ощутить на себе весь груз ответственности за свои действия. Имей программа прямую связь с Кремлем, она ни на миг не задумалась бы о последствиях своего решения. А что же Петров? “Я понимал отлично, что меня никто не поправит”^[43].

Одна беда: на человека тоже не всегда можно положиться. Иногда люди берут власть в свои руки и правильно делают – как это сделал Станислав Петров. Но зачастую внутреннее чувство лучше подавить.

Вот вам еще один пример на тему безопасности – слава богу, в этой сфере люди редко меняют решения компьютеров, не имея оснований, и все же именно это произошло в самом большом английском парке аттракционов Alton Towers, перед той памятной страшной аварией на горках Smiler^[44].

В июле 2015 года двум инженерам поручили исправить неполадку в механизме аттракциона. Они устранили неисправность и для проверки запустили по трассе пустую вагонетку – но не обратили внимания на то, что она не вернулась назад. Почему-то она снова скатилась вниз на подъеме и застряла на полпути.

Тем временем операторы, обслуживающие посетителей, вывели дополнительную вагонетку, чтобы сократить растущую очередь, но об этом инженеры тоже не знали. Получив из операторской разрешение на пуск, сотрудники разрешили довольным пассажирам занять места, закрыли рамы безопасности и отправили первый состав по рельсам, ничего не зная о застрявшей прямо на пути вагонетке, которую ранее запустили инженеры.

По счастью, проектировщики аттракциона предусмотрели такие ситуации, и системы безопасности сработали в штатном режиме. Чтобы не произошло неминуемого столкновения, поезд остановился на вершине первого подъема, а в операционную был подан сигнал тревоги. Однако инженеры, уверенные в том, что они все починили, подумали, что автоматическая система тревоги включилась по ошибке.

Не так-то просто было переупрямить программу – чтобы вновь запустить состав, два человека должны были одновременно нажать кнопки. Они произвели необходимые действия, и полностью загруженная вагонетка покатилась вниз, прямо к другой, стоявшей на ее пути. Столкновение было кошмарным. Несколько человек получили тяжелейшие травмы, а двум совсем юным девушкам пришлось ампутировать ноги.

И трагическое происшествие в парке Alton Towers, и поступок Станислава Петрова, когда речь шла о жизни и смерти, показывают нам всю глубину проблемы выбора. За кем – или за чем – должно оставаться последнее слово в споре о власти между человеком и машиной?^[45]

Борьба за власть

Этот спор начался не сегодня и не вчера. В 1954 году профессор клинической психологии Миннесотского университета Пол Мил опубликовал работу под названием “Клинический и статистический прогнозы” и, решительно заняв крайнюю позицию, взбудоражил целое поколение людей.

В этой книге Мил провел систематическое сравнение деятельности людей и машин на примерах прогнозирования всего на свете, от успеваемости учеников до психического состояния пациентов, и пришел к выводу, что математические модели, независимо от уровня их сложности, почти наверняка дадут более точный ответ, чем люди.

С тех пор, в течение полувека, открытия Мила подтвердились множеством других исследований. Если от вас требуется рассчитать неважно что – медицинский прогноз или возможные объемы продаж, количество попыток самоубийств или степень удовлетворенности карьерным ростом – или дать оценку чему угодно, от годности к военной службе до перспектив выполнения учебного плана, смело ставьте на алгоритм^[46][47]. Машина тоже немного промахнется, но если позволить человеку отвергать ее решения, ошибки будут еще более грубыми.^[48]

Наверное, в этом нет ничего удивительного. Мы не созданы для вычислений. Мы не предполагаем, что в супермаркете отряд кассиров примется разглядывать наши покупки, пытаясь определить их стоимость. Мы позволяем простейшей программе сосчитать все за нас. И в большинстве случаев мы только выиграем, если предоставим это машине. Как шутят летчики, лучший экипаж состоит из троих членов – пилота, компьютера и собаки. Компьютер управляет самолетом, пилот кормит собаку, а собака кусает пилота, если тот попробует прикоснуться к компьютеру.

Но отношения с машинами у нас немного странные. Мы доверчивы как дети, если ничего не понимаем, и в то же время у нас есть отвратительная привычка вмешиваться в работу машины и даже полностью игнорировать ее и полагаться на собственные неверные суждения, если нам известно, что она может ошибиться. Специалисты называют это неприятием алгоритмов. К ошибкам машин люди относятся менее снисходительно, чем к своим, даже если их собственные ошибки гораздо страшнее.

Это явление не раз воспроизводилось в разных экспериментах^[49], да вы и сами заметите у себя такое же свойство. Когда приложение в телефоне утверждает, что дорога займет больше времени, чем мне кажется, я уверена, что знаю лучше – хотя, скорее всего, рискую опоздать. Все мы хоть раз да обозвали своего голосового помощника идиотом, почему-то забывая в этот момент, что устройство, которое мы держим в руке, создано благодаря фантастическому развитию современных технологий. И поначалу, маясь в пробках под руководством пока еще нового для меня навигационного приложения Waze, я не раз убеждала сама себя, что окольный путь был бы короче указанного маршрута – и почти всегда была неправа. Сейчас я пришла к выводу, что навигатору надо верить и, подобно Роберту Джонсу с его BMW, послушно поворачиваю, куда велит GPS, – но, думаю, я бы все-таки пресекла попытку загнать меня на край обрыва.

Категоричность в эпоху высоких технологий (либо алгоритмы всемогущи, либо абсолютно бесполезны) может привести к нежелательным последствиям. Если мы хотим использовать технику с наибольшей отдачей, нам придется выработать привычку к объективности. Мы должны учесть ошибку Гарри Каспарова и признать свои слабости, научиться контролировать свои спонтанные реакции и более осознанно относиться к программам, с которыми мы имеем дело. С другой стороны, нельзя смотреть на программы снизу вверх, надо анализировать их чуть более придирчиво и задумываться о том, справятся ли они с поставленной задачей. Только так можно понять, заслуживают ли они той власти, которую им дали.

К сожалению, все это легче сказать, чем сделать. Зачастую мы почти не в силах повлиять на могущество и радиус действия даже тех алгоритмов, которые непосредственно затрагивают нашу жизнь.

Особенно это касается тех программ, что оперируют самым главным в наше время товаром – данными. Повсюду в интернете нас преследуют безмолвные алгоритмы – они собирают информацию о нас, вторгаются в наше личное пространство, составляют на нас характеристики, – и ничто не мешает им незаметно влиять на наше поведение. Последствия гремучей смеси из неправомочно присвоенной власти, влияния и необоснованного доверия могут коренным образом изменить все наше общество.

Персональные данные

В 2004 году, вскоре после того, как Марк Цукерберг создал Facebook, между ним и его другом произошел такой обмен сообщениями:

Цук: так что если тебе понадобится инфа о ком-нибудь в Гарварде

Цук: только скажи

Цук: у меня больше 4000 имейлов с фотками и адресами (…)

[Имя друга скрыто]: что? откуда ты все это взял?

Цук: сами дали

Цук: не знаю, зачем

Цук: “доверяют мне”

Цук: дебилы^[50]

В свете связанного с Facebook скандала 2018 года журналисты не раз цитировали эти реплики, намекая на макиавеллиевский подход компании к принципам конфиденциальности личных данных. Лично я думаю, что хвастливые комментарии девятнадцатилетнего парня не стоит воспринимать чересчур серьезно. Но также я думаю, что Цукерберг ошибался. Люди рассказывали ему о себе не просто так. Это был обмен. За свои анкетные данные они получали доступ к программе, которая позволяла им легко и быстро переписываться с друзьями и родственниками, их объединяло общее жизненное пространство. Это была их личная сеть на бескрайних просторах Всемирной – паутины. Не знаю, как вы, а я тогда была уверена, что это честная сделка.

В этой логике есть одно “но”: мы не всегда отдаем себе отчет в том, к чему в долгосрочной перспективе может привести такой обмен. Далеко не всегда очевидно, что дает информация о нас, иначе говоря, насколько она ценна как исходный материал для умной программы. Или наоборот – насколько дешево нас купили.

Всякое лыко в строку

Одними из первых важность личных данных оценили супермаркеты. В том секторе, где компании неустанно борются за внимание клиентов – за крохотные зоны предпочтений, благодаря которым покупатели становятся более лояльными к бренду, – любое самое незначительное усовершенствование дает колоссальные преимущества. Движимый именно этим мотивом, британский ретейлер Tesco в 1993 году предпринял грандиозный эксперимент.

Розничная сеть Tesco ввела в обращение новую клубную карту – пластиковую карточку наподобие кредитной, которую покупатели должны были предъявлять при оплате товаров в кассе; программу запустили в нескольких магазинах сети, руководили проектом супруги и партнеры по бизнесу Эдвина Данн и Клайв Хамби. Договор был очень простой: при каждой покупке с использованием клубной карты клиент накапливал баллы и в будущем мог использовать их для других приобретений, а магазин вел учет покупок, записывая их на имя данного покупателя^[51].

В первом эксперименте с клубными картами информация собиралась довольно скупая. Помимо имени и адреса клиента в системе фиксировались только даты и суммы чеков без наименований попавших в корзину товаров. И тем не менее даже из столь скромных результатов Данн и Хамби извлекли чрезвычайно ценные сведения.

Они выяснили, что львиную долю продаж обеспечивает небольшая группа постоянных покупателей. Данн и Хамби просмотрели почтовые индексы и увидели, как далеко люди готовы ехать в магазин. Они вычислили благоприятные с точки зрения конкуренции округа и те районы, где Tesco – безусловный лидер. Собранная информация показала, кто заходит в магазин ежедневно, а кто откладывает покупки на выходные. Вооружившись этими знаниями, аналитики принялись за дело – начали рассылать держателям клубных карт купоны по почте, дабы подогреть их покупательский азарт. Те, кто тратил больше всех денег, получили купоны на сумму от 3 до 30 фунтов. Более экономных поощрили не так щедро – на 1–10 фунтов. Эффект превзошел все ожидания. Покупатели реализовали почти 70 % купонов, а оказавшись в магазине, наполнили свои корзинки с верхом – обладатели клубных карт в целом потратили на 4 % больше денег, чем те, у кого карт не было.

22 ноября 1994 года Клайв Хамби представил результаты эксперимента совету директоров Tesco. Он предъявил собранные данные, показатели отклика и роста продаж, а также факты, которые говорили об удовлетворенности клиентов. Руководство компании слушало его в полной тишине. Когда презентация закончилась, первым молчание нарушил глава совета директоров. “За три месяца вы узнали о моих клиентах больше, чем я за тридцать лет, вот что меня тревожит”, – сказал он^[52].

Всем покупателям в Tesco выдали по карте, сама же компания опередила своего извечного соперника Sainsbury’s и стала крупнейшей розничной сетью в Великобритании – и все благодаря клубной карте. Со временем начали собирать более детализированные данные, и направлять покупательское поведение в нужное русло стало еще проще.

С первых дней торговли в интернете магазин предложил опцию “Любимый товар” – если клиент заходил на сайт Tesco, в первую очередь ему предлагали то, что он уже покупал с использованием клубной карты. Как и сама карта, опция имела головокружительный успех. Можно было моментально найти нужные продукты и не блуждать по страницам сайта. Продажи пошли вверх, покупатели были счастливы.

Впрочем, не все. Довольно скоро после внедрения этой опции в Tesco одна дама пожаловалась в Tesco на ошибки в ее данных. Она хотела что-то купить в интернет-магазине и обнаружила среди своих “любимых товаров” презервативы. Ее муж ими не пользуется, объяснила она, поэтому вряд ли их заказывал. Аналитики Tesco проверили информацию по ее просьбе и не нашли погрешностей в перечне ее покупок. Но предпочли не инициировать семейный скандал и приняли дипломатическое решение – извинились за “ошибку в данных” и вычеркнули оскорбительный артикул из списка ее любимых товаров.

Как отметил Клайв Хамби в книге о Tesco, для компании это стало неписаным правилом. Если появляются какие-нибудь излишне откровенные сведения, компания удаляет их и приносит извинения. Примерно это имел в виду Эрик Шмидт, который в бытность свою главным исполнительным директором Google сказал, что старается соотносить данные с воображаемой “зловещей чертой”: “Google придерживается такой политики, чтобы приближаться вплотную к зловещей черте, но не перешагивать ее”^[53].

Но раздобудьте побольше данных – и кто знает, какие тайны вам откроются. Вы же потребляете не только продукты. Это очень личное. Проанализируйте покупательские привычки любого человека, и, скорее всего, узнаете о нем массу интересного. Иногда такое, что вы предпочли бы не знать – например, как в случае с презервативами. Но почти наверняка компания сумеет использовать себе во благо замаскированные в потоке данных мельчайшие обрывки ценной информации.

Целевая аудитория

В 2002 году один из крупнейших американских магазинов-дискаунтеров Target начал выискивать в своих базах какие-то особенности, выбивающиеся из общей картины^[54]. Target продает все на свете, от молока и бананов до мягких игрушек и садовой мебели, и подобно большинству розничных сетей в XXI веке стал изучать спрос, для чего разработал методики, позволявшие по результатам анкетирования и номерам банковских карт увидеть, как связаны профили покупателей с их покупками.

Американцам не надо пересказывать эту историю, прогремевшую на всю страну. В Target заметили: если женщины начинают загружать в свои корзины больше косметики без отдушек, то вскоре многие из них подписываются на специальную услугу, чтобы намекнуть родным и друзьям, каких подарков они ждут к рождению ребенка. База данных давала сигнал. Во втором триместре беременности дамы уже беспокоились, как бы не появились растяжки, и покупка увлажняющих и смягчающих средств для тела намекала на грядущие события. Достаточно было еще немного открутить список покупок назад, чтобы увидеть, что те же самые покупательницы заходили в Target за всякими витаминами и пищевыми добавками, например, содержащими кальций и цинк. Более поздние по времени данные даже позволяли предположить примерный срок родов – по закупкам больших упаковок ваты^[55].

Будущие мамочки – мечта ретейлера. Заручитесь доверием беременной женщины, и велик шанс, что она будет регулярно посещать ваш магазин еще долго после рождения ребенка. Ведь когда вы пополняете запасы на неделю с орущим голодным ребенком на руках, ваше покупательское поведение формируется очень быстро. Важность такого анализа информации трудно переоценить – возможно, именно благодаря ему сеть Target получила фору в привлечении клиентов по сравнению с другими брендами.

Все пошло как по маслу. Target запустила алгоритм, который оценивал вероятность беременности покупательниц. Если эта вероятность достигала определенного значения, магазин автоматически высылал выбранной даме купоны на приобретение всякой полезной всячины – подгузников, лосьонов, детских влажных салфеток и еще много чего.

До поры до времени проблем не возникало. Но где-то через год после запуска программы в офис магазина в Миннеаполисе ворвался разъяренный отец несовершеннолетней девушки и потребовал провести его к администратору. Его дочь получила по почте скидочные купоны на товары для беременных, и он пришел в бешенство, решив, что в Target, судя по всему, подростковая беременность считается нормой. Администратор магазина рассыпался в извинениях, а через несколько дней позвонил домой этому господину, чтобы еще раз от имени компании попросить прощения за инцидент. Но после, как писала The New York Times, отец сам был вынужден принести извинения.

– Я поговорил с дочкой, – сказал он администратору. – Оказывается, я не все знал о том, что происходит в моем доме. В августе она родит.

Не знаю, как вы, а я полагаю, что алгоритм, который сообщает родителям о беременности их дочери раньше, чем у них появится шанс узнать об этом самим, заходит далеко за зловещую черту. Однако эта неприятность не заставила Target забраковать программу в целом. “Мы выяснили: покупательница пользуется купонами до тех пор, пока не почувствует слежки за собой. Она просто думает, что всем в ее квартале приходят на электронную почту точно такие же предложения пеленок-распашонок. Если мы не спугнем ее, система будет работать”.

Таким образом, Target, как и большинство современных розничных сетей, все же развивает деятельность по прогнозированию беременности покупательниц, не афишируя этого. Единственное отличие в том, что купоны на товары, которые могут заинтересовать женщину в положении, рассылают вперемешку с другими, общего назначения, так чтобы покупательницы не заметили, что они находятся под прицелом. Детские кроватки в рекламе компенсируются бокалами для вина. А скидку на одежду для младенцев могут дополнить рекламой одеколона.

Подобные методы используются не только в Target. Истории из ваших персональных данных редко попадают в прессу, но алгоритмы всегда начеку, притаились за спинами контактного персонала корпораций. Около года назад мне довелось побеседовать с директором по обработке и анализу данных одной страховой компании. Из программы лояльности супермаркета его сотрудники узнали о покупательских привычках людей все до мельчайших подробностей. Они проанализировали информацию и поняли, что любители повозиться на своей домашней кухне с меньшей вероятностью обратятся за выплатой по страховке жилья, то есть с ними работать выгоднее. Интуитивно это можно понять. Наверное, у тех, кому не жаль времени, сил и денег на трудоемкие кулинарные изыски, мало общего с теми, кто разрешает детям играть дома в футбол. Но как страховщики узнали, кто из клиентов магазина любит готовить? Очень просто – кое-какие товары в корзине говорили о низкой вероятности страхового случая. Лучшим индикатором, поведал мне мой собеседник, выдающим в вас человека ответственного и хозяйственного, оказался свежий фенхель.

Если по покупательскому поведению людей в реальной жизни можно узнать такие подробности, то подумайте только, какие секреты вам открылись бы, имей вы доступ к более обширным данным. Представьте себе, сколько интересного вы бы выяснили о человеке, если бы у вас была вся история его похождений в интернете.

Дикий Запад

Palantir Technologies – один из самых успешных стартапов в Кремниевой долине. Его основал в 2003 году Питер Тиль, известный по PayPal, и согласно последним оценкам компания стоит ни много ни мало 20 миллиардов долларов^[56]. Сумма, сравнимая с рыночной стоимостью Twitter, хотя, возможно, вы ничего не слышали об этой фирме. Но, можете мне поверить, Palantir наверняка слышал о вас.

Это представитель нового поколения компаний, так называемых брокеров данных, которые покупают и накапливают информацию о людях, а затем перепродают ее или делятся ею с выгодой для себя. Их множество: Acxiom, Corelogic, Datalogix, eBureau – целая когорта крупных фирм; вероятно, вы лично никогда с ними не сталкивались, но, тем не менее, они непрерывно мониторят и анализируют вашу повседневную жизнь^[57].

Когда вы совершаете покупки в интернет-магазине, подписываетесь на рассылки, регистрируетесь на разных сайтах, пытаетесь что-то разузнать о новой машине, заполняете гарантийный талон, приобретаете новый дом или пытаетесь проголосовать онлайн, – когда вы раскрываете хоть какие-то сведения о себе, все до крупицы фиксируется и продается брокеру данных. Помните, как вы объясняли риелтору, какой дом или какую квартиру вы ищете? Продано брокеру данных. Вы вводили какие-то данные на сайте сравнения страховок? Проданы брокеру данных. Бывает, что вся ваша история просмотров в браузере продается оптом^[58].

Брокер должен собрать всю информацию воедино, связать перекрестными ссылками разрозненные фрагменты присвоенных данных и создать детализированный файл – профиль вашей цифровой тени. Иногда такие базы данных позволяют вам в самом прямом смысле слова открыть файл под вашим индивидуальным кодом (вы никогда его не узнаете) и обнаружить там полный набор сведений о вашей жизни. Имя, дату рождения, рост, вес и религиозную принадлежность, как вы предпочитаете отдыхать, как пользуетесь кредитной картой, сколько у вас накоплений, каких политических взглядов вы придерживаетесь, как ведете себя на бирже или в казино, чем болеете и как лечитесь, прерывали ли беременность, разведены ли ваши родители, есть ли у вас вредные привычки, подвергались ли вы насилию, что вы думаете о праве на ношение оружия, какова ваша подлинная сексуальная ориентация, а какую вы демонстрируете и легко ли вас обмануть. Тысячи и тысячи интимных подробностей буквально о каждом из нас хранятся где-то на секретных серверах в тысячах и тысячах рубрик и файлов^[59].

Как и предположения, которые были сделаны в Target о беременности покупательниц, многие из этих данных логически выводимы. Подписка на журнал Wired говорит о вашем интересе к технике, а лицензия на ношение оружия – о том, что, возможно, вы увлекаетесь охотой. Брокеры постоянно обновляют базы данных, используя умные, но простые программы. То же самое, что делают супермаркеты, только в более крупном масштабе.

Здесь открывается масса преимуществ. Зная, кто мы есть, брокеры данных не позволят мошенникам выдать себя за покупателей, которые ни сном ни духом не ведают о подлоге. С тем же успехом осведомленность о наших симпатиях и антипатиях позволяет подбирать для нас рекламу, когда мы гуляем в интернете, согласно нашим нуждам и пристрастиям. Все-таки это гораздо приятнее, чем день за днем видеть набившие оскомину объявления о страховании вкладов и услуг юристов. Кроме того, сообщения поступают непосредственно к тем, кого они могут заинтересовать, то есть снижаются общие затраты на рекламу, и мелкие производители качественной продукции могут привлечь больше клиентов, от чего выигрывают все.

Впрочем – наверняка вы уже об этом подумали, – как только нас, живых людей, начинают распределять по группам и классам, возникает целый ряд проблем. Я скоро к этому вернусь, но сначала хочу вкратце рассказать о том, какие скрытые процессы обеспечивают показ рекламы, когда вы кликаете на ссылку в интернете, и о роли брокеров данных в этих процессах.

Итак, допустим, я владелица туристической компании люксового сегмента, назовем ее Fry’s. Много лет посетители моего сайта должны были оставлять информацию о своих запросах, и у меня сохранились их электронные адреса. Если я хочу узнать своих клиентов поближе – например, отдых какого типа их привлекает, – можно отправить список их электронных адресов брокеру данных, он поищет их имена в своей системе и вернет мне файл с представляющими для меня интерес сведениями. Как будто просто добавили в таблицу еще один столбец. Теперь, когда вы вновь посетите сайт компании Fry’s, я уже буду знать, что вы питаете слабость к тропическим островам, и предложу вам слетать на Гавайи.

Это первый вариант. Рассмотрим второй: представим себе, что на сайте Fry’s осталось немножко свободного места – неплохо было бы продать его другим рекламодателям. Я опять обращаюсь к брокеру данных с информацией о моих клиентах. Брокер ищет другие фирмы, которые хотят разместить свою рекламу. Для определенности пусть это будет фирма, торгующая солнцезащитными кремами. Брокер может убедить ее, что клиенты Fry’s могут быть интересны продавцу средств от загара, а для этого выдаст вторичную информацию о них – скажем, сколько среди них рыжеволосых людей. А может, продавец солнцезащитного крема передаст ему свой список электронных адресов покупателей, и брокер данных точно подсчитает, какова область пересечения двух целевых аудиторий. Если продавца крема удастся уговорить, его реклама появится на сайте Fry’s – и мы с брокером получим свой доход.

Пока что все эти методы практически не выходят за рамки обычной работы маркетологов с целевой аудиторией. Но есть еще третий вариант, как мне кажется, уже не такой невинный. На этот раз Fry’s ищет новых клиентов. Меня интересуют мужчины и женщины старше шестидесяти пяти лет, которые любят тропические острова и располагают крупной суммой свободных денег; я надеюсь, что они захотят отправиться в роскошный круиз по Карибскому морю. Я бросаюсь за помощью к брокеру данных, чтобы он прочесал свои базы и нашел мне тех, кто подходит под мой запрос.

Теперь представьте себе, что в этом списке есть и вы. Фирме Fry’s брокер ваше имя не откроет. Но ведь он выходит и на другие сайты, которые вы регулярно посещаете. Вполне возможно, что брокер установил контакт с одним из ваших любимых ресурсов. Это может быть социальная сеть, новостной сайт или еще что-нибудь. Стоит вам беспечно открыть знакомую страницу, и брокер получит сигнал о том, что вы на месте. Он отреагирует мгновенно, а именно присвоит вашему компьютеру метку – файл cookie. По этим меткам все остальные сайты в интернете узнают, что вы – тот самый клиент, которому надо направить рекламу карибского круиза компании Fry’s^[60]. Рекламные баннеры настигнут вас повсюду в сети, хотите вы того или нет.

Вот тут мы сталкиваемся с первой проблемой. Что, если вы не хотите видеть рекламу? В самом деле, бесконечные океанские лайнеры и острова, мягко говоря, немного действуют на нервы, но иногда реклама влияет на жизнь гораздо сильнее.

Когда у Хейди Уотерхаус прервалась желанная беременность, она отписалась от всех еженедельных рассылок, оповещавших ее о развитии ребенка на сегодняшний день и о том, до размеров какого фрукта дорос плод. Она вычеркнула себя из всех списков и листов пожеланий, в которых зарегистрировалась в ожидании родов. Однако, как Хейди сообщила разработчикам программного обеспечения на конференции в 2018 году, ей так и не удалось отписаться от рекламы для беременных, преследовавшей ее по всему интернету. Ее беременность существовала в цифровом виде сама по себе, без матери и ребенка. “Никто из разработчиков этой системы не подумал о возможных последствиях”, – сказала Хейди.

То ли по чьему-то недомыслию, то ли по замыслу система оказалась весьма полезной для всякого рода эксплуататоров. С ее помощью фирмы, в которых можно перехватить денег до получки, выходят на людей с плохой кредитной историей, а букмекеры предлагают завсегдатаям сайтов азартных игр делать ставки. Надо учитывать также, что профили данных можно использовать во вред их обладателям – например, тех, кто интересуется мотоциклами, можно записать в группу риска, а любителей сладостей без добавления сахара – в диабетики, и на этом основании отказать им всем в страховке. Как показало проведенное в 2015 году исследование, женщинам, которые просматривают сайты в интернете, Google показывает рекламу с предложениями высокооплачиваемой руководящей работы гораздо реже, чем мужчинам^[61][62]. Однажды профессор Гарвардского университета, афроамериканка, обнаружила, что в ответ на ввод ее имени в поисковую строку Google всплывают рекламные ссылки, адресованные людям с криминальным прошлым (вследствие чего ей приходилось доказывать потенциальным работодателям, что у нее никогда не было конфликтов с полицией), и она принялась изучать рекламу, адресованную различным этническим группам. Оказалось, что рекламные объявления, включающие фразы со словом “арест” (вроде “вы подвергались аресту?”), намного чаще появляются после поисковых запросов с именами, распространенными среди афроамериканцев, чем с именами, характерными для белых^[63].

В использовании подобных методов можно обвинить не только брокеров данных. Google, Facebook, Instagram и Twitter работают примерно так же. Интернет-гиганты не берут плату со своих пользователей – их бизнес-модели построены на концепции микротаргетирования. Эти колоссальные механизмы для доставки рекламы делают деньги на активных реакциях миллионов пользователей: переходах по ссылкам, просмотрах продвигаемых постов, видеороликов и фотографий. Куда бы вы ни забрели во Всемирной паутине, притаившиеся в ее ячейках алгоритмы извлекают выгоду из той информации, которую вы, будь ваша воля, никогда бы им не предоставили, и вам даже невдомек, что они ею располагают. Они обращают в товар ваши самые личные и сокровенные тайны.

К сожалению, во многих странах закон плоховато вас защищает. Деятельность брокеров данных, как правило, никак не регулируется, и власти упорно игнорируют любые возможности хотя бы немного умерить их влияние, особенно в Америке. Так, в марте 2017 года Сенат США проголосовал за отмену правил, которые не позволяли брокерам данных продавать истории поиска в браузере без вашего на то прямого согласия. Раньше, в октябре 2016 года, эти правила были утверждены Федеральной комиссией по связи, но, после того как в конце года произошли перемены в правительстве, республиканское большинство в комиссии и конгрессмены-республиканцы оспорили это решение^[64].

Как все это может отразиться на вашей частной жизни? Что ж, позвольте, я расскажу вам об исследовании, которое провели немецкая журналистка Свеа Экерт и аналитик данных Андреас-Девес^[65].

Экерт со своими помощниками открыла фальшивую компанию, торгующую информацией, и через нее купила анонимные истории поиска в браузерах трех миллионов граждан Германии. (Заполучить истории действий людей в интернете было не так уж сложно. Многие компании предлагают огромные массивы данных такого рода о пользователях в Великобритании и США – только материалы для Германии пришлось добывать с некоторым трудом.) Не подозревая о слежке, люди добровольно загружали плагин для браузера Google Chrome, и тот собирал данные^[66].

В итоге получился гигантский список веб-адресов. Было зафиксировано все, чем интересовались эти люди в течение месяца. Каждый запрос, каждая страница, каждый клик. Все данные выставлены на продажу без нарушения закона.

Экерт и ее сотрудникам мешала лишь анонимность данных. Тех, чьи истории поиска в браузере поступили в продажу, это не может не радовать. Вы согласны? Надо бы пощадить их чувства. Не тут-то было. Как сообщили исследователи на международной конференции хакеров DEFCON в 2017 году, разобрать по именам огромные базы данных не составило труда.

Вот как это делалось. Некоторые имена людей были извлечены просто из адресов страниц. Например, пользователей Xing, немецкого аналога сети LinkedIn. Если кликнуть на фото профиля на Xing, вас перенаправят на страницу с адресом вида

www.xing.com/profile/Hannah_Fry?sc_omxb_p

Инкогнито уже раскрыто, а текст после имени пользователя указывает на то, что этот человек ввел пароль и в настоящее время просматривает именно свой профиль, и хозяева сайта точно знают, что сейчас он видит собственную страницу. Так же работает и Twitter. Все, кто заходит на свою страницу аналитики в Twitter, попадают в поле зрения сотрудников соцсети. Против тех, чьи данные не содержали явного идентификатора, у компании нашелся другой прием. Все, кто вбивает какие-либо слова онлайн – скажем, дает ссылку на вебсайт или общедоступный плейлист в YouTube – в сущности, все, кто оставляет открытый и связанный с собственным настоящим именем след своей “цифровой тени”, – по ходу дела невольно снимают с себя маску. С помощью несложной программы исследователи провели сравнительный поиск по обще-доступным страницам и анонимным профилям – прошлись по списку адресов, чтобы посмотреть, кто посещал упомянутые сайты в то же время и в те же дни, когда появлялись ссылки онлайн, и таким образом раскусили анонимов. В итоге они узнали полные имена всех людей из своей базы данных и получили – доступ к полной истории поиска в интернете за месяц для миллионов граждан Германии.

В эти три миллиона попали и весьма заметные лица. Один политик искал в интернете лекарства. Полицейский скопировал и загрузил в гугл-переводчик важный следственный документ, детали документа отразились в адресе URL, и экспериментаторы оказались в курсе дела. Некий судья, как выяснилось по его истории поиска, ежедневно наведывался на интересные странички. В частности, в августе 2016 года за восемь минут он отметился на нескольких порносайтах. При этом судья, каждый день заглядывая в интернет, искал также имена для новорожденных, детские коляски и роддома. Исследователи решили, что его супруга в то время ждала ребенка. Следует понимать, что в его действиях не было ничего противозаконного. По мнению многих людей, и по моему тоже, он вообще не сделал ничего дурного. Но эти сведения могли бы сыграть на руку кому-то, кто хотел бы скомпрометировать его самого и его семью.

Мы уже заходим далеко за “зловещую черту”. В ту область, где глубоко личная информация о вас, собранная у вас за спиной, может послужить средством манипуляции. Именно это и случилось с британской консалтинговой компанией Cambridge Analytica.

Cambridge Analytica

Вероятно, вы уже наслышаны об этой истории.

Еще в 1980-х психологи применяли для количественной оценки личности систему пяти факторов. Вы получаете баллы за каждое из следующих свойств характера: открытость опыту (любознательность), добросовестность, экстраверсия, доброжелательность и невротизм. В совокупности эти оценки дают удобную, унифицированную систему описания типа личности.

В 2012 году, за год до появления компании Cambridge Analytica, группа ученых из Кембриджского и Стэнфордского университетов заинтересовалась корреляцией между большой пятеркой факторов и страницами, которые “нравились” пользователям Facebook^[67][68]. Они сочинили анкету – психометрический тест – для пользователей, надеясь найти корреляцию между подлинным характером человека и его фейсбучным образом. Скачивая анкету, отвечающие абсолютно добровольно и сознательно предоставляли информацию по обеим категориям – раскрывали свою историю “лайков” в Facebook и, отвечая на вопросы, давали личностные оценки.

Нетрудно предположить, как могут соотноситься между собой “лайки” и характер человека. Как сообщали исследователи в опубликованной год спустя работе^[69], те, кому нравились Сальвадор Дали, медитация и TED-конференции, почти всегда демонстрировали высокие результаты по открытости к опыту (любознательности). В то время как любители тусовок, танцев и фанаты Снуки из телевизионного реалити-шоу “Пляж” оказались более экстравертны, чем другие. Эксперимент оказался удачным. Установив соответствие, ученые разработали алгоритм оценки личности по одним только отметкам “нравится” в соцсети.

В 2014 году были обнародованы результаты второго исследования^[70], и к тому времени его авторы уже с уверенностью утверждали, что по тремстам “лайкам” из профиля в Facebook программа способна “узнать” человека лучше, чем его муж или жена.

Перенесемся в настоящее: другой коллектив ученых, на этот раз из Центра психометрии Кембриджского университета, расширил рамки применения программы – адаптировал ее для оценки личности еще и по ленте в Twitter. У исследователей есть общедоступный сайт, где каждый может себя испытать. Поскольку мой профиль в Twitter тоже открытый, я решила проверить, как меня оценят, – выложила свою историю и для сравнения заполнила обычный опросник. Программа угадала три из пяти черт моего характера. Хотя в традиционной анкете я выглядела более экстравертной и легковозбудимой, чем можно было бы судить по моему поведению в Twitter.^[71]

Ученых вдохновляла возможная польза этого эксперимента для рекламы. Поэтому в 2017 году та же группа исследователей перешла уже к рассылке рекламных сообщений сообразно личным особенностям характера адресата. Они стали рекламировать косметические товары на платформе Facebook, причем экстраверты видели слоган “Танцуй так, словно на тебя никто не смотрит (хотя смотрят все)”, а интровертам показали улыбающуюся девушку перед зеркалом и подпись “Красоте не надо кричать”.

Одновременно самым любознательным предлагали картинку с рекламой кроссвордов и сканвордов и такие тексты: “Аристотель? Сейшелы? Дайте волю своей творческой энергии, испытайте силу своего воображения, любые кроссворды и сканворды специально для вас!” Те, кто не проявлял открытости к новому опыту, получили точно такие же предложения, но с другими призывами: “Отдыхайте за любимым развлечением! Над этими кроссвордами и сканвордами ломали голову многие поколения знатоков!” В общем и целом, исследователи выяснили, что реклама, подобранная по характеру, получает на 40 % больше кликов и дает на 50 % больше покупок, чем безликие и безадресные обращения. Впечатляющие результаты для рекламодателей.

Тем временем, пока ученые были заняты научными публикациями, другие внедряли их методы. Говорят, среди этих других была и компания Cambridge Analytica, которая тогда работала на предвыборный штаб Дональда Трампа.

Теперь давайте вернемся немного назад. Cambridge Analytica, очевидно, использовала те же методики, что и Fry’s, моя воображаемая туристическая фирма премиум-класса. Ее целью было не рассылать рекламные объявления наугад, а выявить небольшие группы предположительно отзывчивых на агитацию людей и обращаться непосредственно к ним. Например, они обнаружили довольно-таки большую область пересечения двух разных аудиторий – покупателей добротных американских “фордов” и убежденных сторонников Республиканской партии. Тогда они принялись выискивать таких поклонников марки Ford, которые не относились к электорату республиканцев – надо было проверить, нельзя ли заманить их в свой лагерь, показывая им стандартные материалы, апеллирующие к патриотизму. Если подумать, когда кандидат выбирает район, где живут не определившиеся с выбором граждане, и обходит дома, агитируя всех по очереди, он делает практически то же самое. Это отличается от предвыборных кампаний Обамы и Клинтона только тем, что все происходит онлайн. Все главные политические партии в западном мире проводят всесторонний анализ аудитории и обращаются к каждому избирателю по отдельности.

Однако, если верить снятому скрытой камерой репортажу телеканала Channel Four, Cambridge Analytica на основании личных профилей избирателей еще и применила индивидуальный подход – так, компания нашла матерей-одиночек, которые получили высокие баллы за невротизм, и, сыграв на их страхе стать жертвой грабителей в собственном доме, постаралась склонить их к поддержке оружейного лобби. Точно так же действовали магазины, рассылая рекламу товаров, да и в других политических кампаниях, по-видимому, шли в ход те же методы.

Мало того, Cambridge Analytica обвиняли еще и в маскировке политической агитации под публицистику. Как рассказал газете Guardian осведомленный собеседник, одним из самых эффективных агитационных инструментов предвыборной кампании стала интерактивная графическая публикация под заголовком “10 неудобных истин о Фонде Клинтонов”^[72][73]. Другой информатор поведал еще больше – он утверждал, что многие вбросы Cambridge Analytica были основаны на откровенной лжи^[74].

Предположим, просто для условности, что все вышеизложенное верно: ориентируясь на психологические профили пользователей Facebook, Cambridge Analytica целенаправленно рассылала им фальшивые новости, которые должны были оказать давление на их выбор. Но дало ли это эффект?

Микроманипуляция

Мы однобоко оцениваем силу воздействия политической агитации на целевую аудиторию. Сами-то мы, как нам кажется, мыслим самостоятельно и не поддаемся на происки манипуляторов, а вот другие – особенно те, кто придерживается иных политических взглядов, – наивны, как малые дети! Наверное, истина кроется где-то посередине.

Мы знаем, что посты в соцсети способны влиять на наши чувства. В 2013 году сотрудники Facebook провели спорный эксперимент: они пытались управлять эмоциями и настроением людей, а для этого подтасовывали публикации в лентах 689 003 пользователей без их ведома и согласия^[75]. Они скрыли оптимистичные посты их друзей, а затем повторили тот же фокус с публикациями, в которых преобладала минорная лексика, и стали наблюдать за реакцией ничего не подозревавших участников тайного исследования. Те, кто видел у себя в ленте меньше плохих новостей, и сами писали более радостные посты. Если же от людей прятали хорошие новости, они выбирали слова с негативным оттенком. Вывод: нам кажется, что нашими чувствами никто не может управлять, но, вероятно, мы ошибаемся.

Из описанного в главе “Власть” опыта Эпштейна мы знаем и то, что достаточно правильно расположить страницы в поисковике – и неопределившиеся избиратели отдадут голос нужному кандидату. Из результатов тех самых научных работ, откуда Cambridge Analytica позаимствовала алгоритмы, мы знаем также, что реклама, в которой учитываются индивидуальные особенности адресата, более эффективна.

Сопоставив факты, можно с уверенностью утверждать, что такими способами можно повлиять как на денежные траты людей, так и на их решение во время выборов. Но – и это важно – чтобы принять решение, вы должны еще кое-что знать.

Все, о чем мы говорили, – чистая правда, но на самом деле эффект крайне слабый. Пользователи Facebook, которых ограждали от неприятных новостей, действительно начинали писать более оптимистичные посты. Однако разница не превышала одной десятой процента.

Точно так же в примере с индивидуально ориентированной рекламой интроверты активнее приобретали косметику, если учитывались особенности их характера, но рост продаж был несущественным. Реклама общего назначения обеспечила магазину 31 покупку на тысячу переходов по ссылке. Адресная реклама привлекла 35 клиентов из тысячи человек, кликнувших на нее. Даже пятидесятипроцентный прирост продаж, о котором шла речь выше и в выделенной жирным шрифтом аннотации академической статьи, на деле означал 16 эффективных кликов из тысячи по сравнению с прежними 11.

Да, эти методы работают. Но рекламодатели не загоняют свои слоганы непосредственно в мозг пассивной аудитории. Не такая уж мы легкая добыча. Мы гораздо чаще склонны критически относиться к агитации и пропускать рекламу мимо глаз и ушей, чем хотелось бы тем, кто к нам обращается. В итоге при самой действенной и тонко настроенной рекламной кампании повлиять на целевую аудиторию удастся лишь в самой незначительной степени.

И все-таки даже столь легкие толчки могут сдвинуть равновесие сил на выборах. Если численность населения составляет десятки, а то и сотни миллионов человек, один голос из тысячи – это заметный прирост. И если вспомнить, что Трамп, как сообщил Джейми Бартлетт в английском еженедельнике Spectator, победил в Пенсильвании с перевесом в 44 000 голосов при шести миллионах избирателей, в Висконсине – в 22 000 голосов, а в Мичигане – в 11 000, пожалуй, преимущества менее чем в 1 % будет вполне достаточно^[76].

Вообще-то мы не знаем, в какой степени все это повлияло на выборы президента США. Даже если бы мы располагали информацией в полном объеме, невозможно вернуться в те дни и разобраться в сложнейших причинно-следственных связях, чтобы понять, почему тот или иной человек принял то или иное решение. Что было, то прошло. Для нас важно наше будущее.

Оцените меня

Не забывайте, что интернет в его нынешнем виде приносит пользу нам всем. Любой человек в любой точке мира легко и беспрепятственно, в режиме реального времени подключается к мировым коммуникационным сетям, в его распоряжении богатейший запас накопленных человечеством знаний, он узнает самые свежие новости обо всем, что происходит в разных уголках нашей планеты, и пользуется последними достижениями техники и новейшим программным обеспечением, разработанным частными компаниями и оплаченным за счет рекламы. Мы согласились на условия договора. Бесплатные технологии в обмен на персональные данные и возможность с их помощью влиять на наше мнение и зарабатывать на нас. Плюсы и минусы капитализма в одной бартерной сделке.

Казалось бы, мы должны быть довольны обменом. Вроде ни к чему не придерешься. Но если и так, самое главное – помнить о сопряженных со сбором данных опасностях. Надо понимать, какие риски таят в себе базы данных, даже если не брать в расчет проблемы приватности и потенциальной угрозы демократии – как будто уже одного этого мало. В этой антиутопии есть еще один острый момент. Один из вариантов применения обширных баз данных со множественными перекрестными ссылками показан в популярном сериале “Черное зеркало” на канале Netflix, однако в жизни он тоже реализован. Это система рейтинговой оценки граждан, известная под названием Sesam Credit и взятая на вооружение китайскими властями.

Представьте себе, что вся информация о вас, собранная по крупицам брокерами данных, сконцентрирована в обобщенном рейтинговом показателе. Учтено буквально все. Не только обычные сведения о вас – ваша кредитная история, номер мобильного телефона, адрес, – но и подробности повседневной жизни. Ваши публикации в соцсетях, данные из приложения поиска попутчиков, даже “выписка” с сайта знакомств. На основании досье выводится единый численный показатель от 350 до 950.

Sesame Credit не раскрывает детали расчета “суммарной” оценки, но технический директор компании Ли Инъюнь в интервью изданию пекинской медиагруппы Caixin Media рассказал, о чем, в частности, можно узнать из этих рейтингов: “Например, если кто-то по десять часов в день играет на компьютере, то, скорее всего, этот человек – бездельник. Часто покупают детские подгузники, скорее всего, родители маленьких детей, а они, должно быть, люди ответственные”^[77].

Если вы китаец, то ваш рейтинг – отнюдь не пустой звук. Если вы удостоились более чем 600 баллов, сможете получить специальную кредитную карту. Заслужили больше 666 – в награду вам повысят лимит кредитования. С рейтингом выше 650 баллов можно взять в аренду автомобиль без залога и воспользоваться услугами VIP-зала в пекинском аэропорту. С оценкой выше 750 баллов смело рассчитывайте на ускоренное оформление визы в Европу^[78].

При условии добровольного участия в программе все очень весело и увлекательно. Но к концу 2020 года рейтингование граждан станет всеобщим и обязательным, что отразится буквально на всех сторонах жизни обладателей низких оценок. В государственном документе об этой системе приведены примеры наказаний, которые может понести гражданин, признанный неблагонадежным: “Запрет на выезд за границу, ограничения при покупке… недвижимости, авиабилетов и туров, при бронировании номеров в отелях, имеющих категорию звездности-”. Предупреждается также, что в случае “действий, серьезно подрывающих доверие… коммерческим банкам рекомендуется ограничить предоставление кредитов, услуг страхования и предложение прочих банковских услуг таким гражданам”^[79]. Законопослушание одобряется и поощряется. Утрата доверия влечет за собой санкции. Как говорит Рогир Кремерс, ученый из Института Ван Волленховена Лейденского университета, специалист по китайскому праву и госуправлению, “самое подходящее сравнение для этой системы – нежеланное дитя программы – лояльности”^[80].

Не знаю, что хорошего можно сказать о Sesame Credit, но я бы не хотела, чтобы вы жили с ощущением неминуемого конца света. Всегда есть проблески надежды. Каким бы мрачным ни представлялось вам ближайшее будущее, судя по отдельным признакам, ситуация постепенно меняется. Многие аналитики данных и раньше отлично знали об эксплуатации сведений о личной жизни людей и выступали против их использования в корыстных целях. Но до шумихи с Cambridge Analytica эти вопросы не привлекали к себе столь пристального внимания мировой общественности. В начале 2018 года, когда вспыхнул скандал, люди впервые отчетливо увидели, как алгоритмы исподтишка собирают их персональные данные, и признали, что без контроля и регулирования последствия могут быть тяжелыми.

Контроль и регулирование не заставили себя ждать. Для граждан Евросоюза недавно был принят новый нормативно-правовой акт – “Общий регламент защиты данных” (General Data Protection Regulation, GDPR), – согласно которому деятельность брокеров данных во многих отношениях поставлена вне закона. Теоретически они больше не вправе собирать информацию о вас, не имея специальной цели. Не вправе обрабатывать информацию о вас без вашего согласия. И не вправе без вашего ведома собирать информацию о вас в каких-либо иных целях, кроме тех, на которые вы дали согласие. Однако отсюда не следует, что деятельность такого рода прекращается. Во-первых, мы сами, гуляя в интернете, часто игнорируем опубликованные на сайтах правила и условия, поэтому можем незаметно для себя согласиться с ними. Во-вторых, когда данные обрабатываются и передаются главным образом втихую, не так-то просто обнаружить такие действия и применить закон. Нам остается только ждать и наблюдать за ходом событий.

Повезло европейцам, но и в Америке тоже раздаются призывы к регулированию сбора данных. Еще в 2014 году Федеральная комиссия по труду опубликовала отчет о сомнительной деятельности брокеров данных и с тех пор активно выступает за права потребителей. Компания Apple встроила в браузер Safari систему “Умного предотвращения отслеживания” (Intelligent tracking prevention, ITP). То же самое сделал Firefox. Facebook разрывает отношения с брокерами данных. Внедрения обязательной защиты персональных данных добиваются в Аргентине, Бразилии, Южной Корее и многих других странах. Лидирует в этой области Европа, однако мировые тенденции складываются в нужном направлении.