Правосудие

Воскресными вечерами в Брикстоне, где начинается наша следующая история, всегда полно благодушных выпивох. Всем известно, что лондонский район Брикстон – самое подходящее место для вечерних и ночных развлечений. Вот и тогда, после завершения музыкального фестиваля на улицы высыпала толпа веселых людей – одни направились домой, другие собирались гулять дальше. Но в половине двенадцатого ночи обстановка резко изменилась. В одном из тамошних микрорайонов, застроенных муниципальными домами, завязалась массовая драка, полиция не сумела утихомирить дерущихся, и конфликт быстро перекинулся в центр Брикстона, увлекая уже сотни молодых людей.

Это случилось в августе 2011 года. Накануне в Тоттнеме, на другом конце города, первоначально мирная акция протеста, вызванная гибелью в перестрелке с полицией молодого человека по имени Марк Дагган, приняла отнюдь не мирный характер. Это была уже вторая ночь подряд, когда целый район города погрузился в хаос – но атмосфера была совсем другая. Шествие местного значения вылилось в массовое нарушение всех норм поведения и законов с безудержным мародерством.

В самый разгар уличных беспорядков двадцатитрехлетний студент электротехнического колледжа Николас Робинсон шел домой от своей девушки кратчайшим путем, как он ходил всегда, – через Брикстон^[81]. Однако знакомые улицы выглядели совсем не как всегда. Перевернутые автомобили, разбитые окна, кое-где занимался пожар, двери всех магазинов взломаны^[82]. Тщетно полиция старалась унять бунт – остановить отгрузку одежды, обуви, компьютеров и телевизоров в машины и мотоциклы, подогнанные прямо к разбитым витринам магазинов, никак не удавалось. Брикстон вышел из-под контроля.

Недалеко от магазина электротоваров, который как раз вычищали, шел Николас Робинсон, мимо хорошо знакомого ему супермаркета. Супермаркет, как и все прочие магазины, изрядно пострадал – витрины и двери расколочены, на полках кавардак после налета распоясавшихся хулиганов. По улице, не обращая внимания на полицию, бежали ошалевшие граждане с новенькими ноутбуками. Николасу захотелось пить. Оказавшись в этом хаосе, он зашел в магазин и взял упаковку бутилированной воды стоимостью три с половиной фунта. Едва он развернулся, чтобы уйти, появились полицейские. Николас мгновенно осознал, что же он сделал, бросил упаковку и попытался удрать^[83].

Наступил вечер понедельника, страна готовилась к продолжению вакханалии. Конечно же, улицы снова заполонили ночные воришки^[84]. В их числе был и восемнадцатилетний Ричард Джонсон. То, что он увидел в новостях, так завлекло его, что он схватил балаклаву (точно не по сезону), запрыгнул в машину и помчался прямиком к ближайшему торговому центру. Закрыв лицо, Ричард побежал в магазин игровых приставок, набрал дисков с компьютерными играми и вернулся к машине^[85]. Но на свою беду он припарковался прямо перед камерой видеонаблюдения. Полиция легко вычислила его по номерам, а поскольку была видеозапись, возбудить дело против него также не составило труда^[86].

И Ричарда Джонсона, и Николаса Робинсона арестовали за участие в уличных беспорядках 2011 года. Обоим предъявили обвинение в грабеже. Оба предстали перед судом. Оба признали свою вину. Но на этом сходство между их делами заканчивается.

Первым место на скамье подсудимых в суде магистратов Камберуэлла, меньше чем через неделю после инцидента, занял Николас Робинсон. Несмотря на грошовую стоимость украденной им воды и отсутствие у него судимостей, несмотря на то что он учился в колледже и на суде искренне раскаялся в своем проступке, судья заявил, что своими действиями он способствовал беззаконию и анархии в Брикстоне той ночью. И потому Николас Робинсон – его родные, присутствовавшие в зале суда, громко ахнули – приговаривается к шести месяцам тюремного заключения^[87].

Дело Джонсона рассматривалось в суде в январе 2012 года. Джонсон не попал за решетку, хотя вышел из дому с намерением совершить кражу и одевшись, очевидно, с целью скрыть свою личность и тоже внес свой вклад в нарастание уличных погромов. Ему дали условный срок и назначили двести часов общественных работ^[88].

Проблема согласованности

Судебной системе известно о собственном несовершенстве, но она и не стремится к совершенству. Вынесение обвинительного приговора и назначение наказания не относятся к точным наукам, и судья не может гарантировать, что не будет никаких погрешностей. По этой причине в юридической лексике так часто встречаются слова “достаточно оснований для сомнений” и “существенные основания”, а апелляция является важной частью судебного процесса. В самой системе принимается, что абсолютной точности достичь невозможно.

Но, пожалуй, слишком разное отношение к подсудимым, как в случае Николаса Робинсона и Ричарда Джонсона, нельзя считать справедливым. Прежде чем возмущаться “нечестностью” столь разного судейства, следует учесть множество факторов, однако в пределах разумного можно надеяться на более или менее одинаковый подход арбитров к принятию решения. Скажем, если вы и ваш воображаемый двойник обвиняетесь в одинаковых преступлениях, то вы вправе рассчитывать и на одинаковые приговоры. Но всегда ли судят так?

В 1970-х годах группа американских исследователей попыталась найти ответ на похожий вопрос^[89]. Рассматривать идентичные дела двух разных преступников было бы трудно с практической точки зрения и нежелательно с этической, поэтому они поступили иначе – придумали ряд гипотетических судебных дел и спросили сорок семь независимых судей окружных судов штата Вирджиния, каково было бы их решение в каждом случае. Суть одного их этих дел изложена ниже, представьте себя на месте судьи. Как бы вы рассудили?

Обвиняемая, 18 лет, задержана вместе со своим бойфрендом и еще семью знакомыми и арестована за хранение марихуаны. В доме были обнаружены многочисленные доказательства того, что молодые люди курили марихуану и хранили ее в большом количестве, однако у самой обвиняемой марихуаны не нашли. Девушка была из семьи среднего класса, хорошо училась, судимостей ранее не имела, при аресте и впоследствии сопротивления не оказала, но и своей вины не признала.

Разброс в судейских решениях оказался огромным. Двадцать девять судей из сорока семи оправдали девушку, восемнадцать признали виновной. Восемь судей из тех, кто вынес обвинительный приговор, предложили дать ей условный срок, четверо сочли, что наиболее подходящим наказанием для нее будет штраф, трое назначили и то, и другое, еще трое готовы были отправить ее за решетку.

Итак, при одних и тех же доказательствах, по одному и тому же делу, в зависимости только от того, какого судью послала бы девушке счастливая – или злая – судьба, она могла бы выйти из зала суда без всякого наказания или уехать прямиком в тюрьму.

Сильное потрясение для тех, кто надеется на объективность судов. Но дела обстоят еще хуже. Мало того, что судьи не согласны друг с другом, – они и собственное решение могут оспорить.

В исследовании, проведенном позднее, восьмидесяти одному судье из Великобритании задали вопрос: могли бы они отпустить под залог гипотетических обвиняемых?^[90] В каждом из вымышленных дел описывались различные вымышленные истории преступления и криминальное прошлое подсудимого. Как и их коллеги из Вирджинии, английские судьи не смогли прийти к согласию ни по одному из сорока одного предложенных им эпизодов^[91]. Но теперь каждый судья разбирал сорок одно смоделированное дело, семь из которых повторялись, а поскольку имена обвиняемых были изменены, судьи не заметили совпадения. Этот коварный подводный камешек помог кое-что прояснить. Большинство арбитров, рассматривая одно и то же дело по второму кругу, умудрились вынести решение, отличное от первоначального. Поразительно, что некоторые судьи, без всякого преувеличения, с тем же успехом могли бы назначать освобождение под залог наобум, настолько их собственные решения не совпадали^[92].

Другие многочисленные исследования показали те же результаты: если судьям позволить самостоятельно карать или миловать, мнения обязательно разойдутся. При достаточной свободе действий судей вся система может превратиться в лотерею.

Выход, безусловно, есть, и довольно простой. Чтобы судебные решения всегда принимались согласованно, надо лишить судей возможности действовать исключительно по своему усмотрению. Если бы всех, кому предъявлено одно и то же обвинение, судили по одной и той же схеме, сходимость результатов была бы обеспечена – хотя бы в решениях о мере пресечения и приговорах. Некоторые страны пошли именно по такому пути. В судопроизводстве США на федеральном уровне и в отдельных регионах Австралии действует система предписаний по вынесению приговоров^[93]. Но за согласованность такого рода приходится платить. Повышение точности сопровождается неизбежными потерями в других аспектах справедливости.

Для наглядности давайте представим себе двух обвиняемых за кражу в магазине. Один – более или менее довольный жизнью вор-рецидивист, который сам выбрал себе дело по душе; другой недавно потерял работу, еле сводит концы с концами, на воровство решился, чтобы хоть как-то прокормить семью, и теперь глубоко раскаивается в содеянном. Если не будет возможности учесть смягчающие обстоятельства, из-за жестких инструкций, предписывающих судить людей за одинаковые преступления по одной и той же схеме, наказание может оказаться чересчур суровым и для некоторых осужденных сведет к нулю шансы на исправление.

Непростая задачка. При любой системе судейства надо постараться найти баланс между индивидуальным подходом и гарантией постоянства в решениях. Чтобы решить эту дилемму, в большинстве стран выбирают компромисс между двумя крайними вариантами – прескриптивной системой федеральных судов США и практически полной свободой судей, как в Шотландии^[94]. В странах Запада предписаниями по назначению наказаний устанавливается или максимально возможная мера (например, в Ирландии), или минимальная (как в Канаде), или обе (в Англии и Уэльсе)^[95], а судьи могут выбирать наказание в этих пределах.

Идеальной системы не существует. Одна несправедливая, необъективная система соревнуется с другой, и здесь царит хаос. Но алгоритмы получают шанс проявить себя с лучшей стороны в любых, самых головоломных делах. Ибо применение алгоритмов, что немаловажно, позволяет соблюсти оба условия – систематичность и индивидуальный подход к выбору судейского решения. Никому не хочется выбирать между этими условиями.

Уравнение правосудия

Алгоритм не может вынести приговор. Он не умеет сопоставлять доводы защиты и обвинения, анализировать доказательства, ему не понять, осознал ли подсудимый свою вину. Не ждите, что в обозримом будущем он заменит судью. Но что он может, как ни трудно в это поверить, – так это рассчитать риск повторного преступления, исходя из персональных данных человека. А поскольку суд нередко принимает решение на основании оценки вероятности того, что подсудимый вернется на путь преступления, иметь такую опцию весьма полезно.

Персональные данные и расчеты применяются в судействе уже почти столетие, впервые это начали делать в Америке еще в двадцатых годах прошлого века. При тогдашней американской системе подсудимых обычно приговаривали к максимальной мере наказания, они сколько-то отсиживали, после чего их отпускали “под честное слово”^[96]. На основании этого закона десятки тысяч заключенных выходили из тюрем раньше срока. Одни благополучно исправлялись, другие – нет. Но все вместе они представляли собой идеальный материал для эксперимента в естественных условиях, а вопрос был поставлен так: можно ли предсказать, нарушит ли заключенный взятые на себя обязательства?

Знакомьтесь – Эрнст Уотсон Бёрджесс, канадский социолог из университета Чикаго, хлебом не корми – дай составить прогноз. Бёрджесс был убежденным сторонником количественного анализа общественных явлений. Чего только он не прогнозировал за свою многолетнюю практику – от последствий выхода на пенсию до счастливых браков, – а в 1928 году впервые предложил эффективный метод оценки риска преступных действий, основанный не на интуиции, а на результатах измерений.

Бёрджесс собрал самые разнообразные сведения о трех тысячах обитателей иллинойсской тюрьмы и сформулировал двадцать один фактор, от которых, по его мнению, “возможно, зависит” вероятность нарушения условий условно-досрочного освобождения. Учитывались, в частности, вид правонарушения, срок пребывания в тюремной камере и социальный тип заключенного; с присущей социологу начала XX века деликатностью он выделил социальные типы – например, “бродяга”, “пьяница”, “бездельник”, “деревенщина” и “иммигрант”.

Каждому заключенному Бёрджесс поставил оценку от 0 до 1 по каждому пункту. Если сумма была достаточно велика – от 16 до 21, – то вероятность рецидива преступления Бёрджесс оценивал как низкую. Те, кто набрал низкие баллы – не больше 4, – по его мнению, наверняка нарушили бы правила условно-досрочного освобождения.

Когда все участники эксперимента вышли на свободу и при желании могли бы нарушить установленный законом порядок, у Бёрджесса появился шанс проверить достоверность своих прогнозов. Для столь примитивной методики он добился поразительной точности прогнозирования. В группе низкого риска 98 % осужденных успешно выдержали весь срок, в то время как две трети преступников из группы высокого риска сорвались^[97][98]. Оказалось, что даже самые приблизительные статистические модели позволили дать более точные прогнозы, чем это делали люди.

Однако у модели Бёрджесса нашлись и критики. Скептики спрашивали, все ли факторы, которые давали надежду на счастливый исход условно-досрочного освобождения, применимы всегда и везде? У них были свои резоны: не думаю, что определение “деревенщина” оказалось бы полезным при прогнозировании рецидивов преступлений в криминогенной среде неблагополучных городских кварталов. Другие ученые упрекали Бёрджесса за то, что он использовал все доступные ему данные, но не проверял, насколько они релевантны^[99]. Подвергали сомнению и сам метод оценки заключенных – в общем, это было всего лишь облеченное в формулы мнение специалиста. Тем не менее точность его прогнозов произвела столь сильное впечатление, что к 1935 году в иллинойсской тюрьме комиссия по условно-досрочному освобождению уже пользовалась его методикой^[100]. А к концу XX века математические модели, созданные на основе метода Бёрджесса, уже пошли в ход во всем мире^[101].

Вернемся в наши дни – в залах судебных заседаний работают новейшие алгоритмы оценки рисков, куда более тонкие, чем первые схемы Бёрджесса. Оказывается, они не только облегчают работу комиссии по условно-досрочному освобождению, но и помогают определять, кого из заключенных можно освободить под поручительство и подбирать для них коррекционные программы, а в последнее время еще и подсказывают судьям, какой приговор вынести. Базовый принцип все тот же – загружается информация о подсудимом (возраст, история судимостей, тяжесть совершенного правонарушения и так далее), а на выходе получаем ответ на вопрос, насколько рискованно отпустить его на волю.

Как работают такие программы? Если не вдаваться в детали, в самых эффективных современных программах используется так называемый “метод случайного леса” (random forests), основанный на простейшей, в общем-то, идее. Обычное дерево решений.

Помощь зала

Возможно, в школе вам объясняли, что такое дерево решений. Учителя математики любят выстраивать по этому принципу схемы экспериментов, например, с подбрасыванием монетки или игрой в кости. Если один раз составить дерево решений, в дальнейшем можно будет использовать его в качестве блок-схемы – имея набор условий, вы шаг за шагом смотрите, что делать или, в нашем случае, что произойдет.

Допустим, вы хотите знать, можно ли освободить некое лицо под залог. Как и при условно-досрочном освобождении, решение принимается на основе прямого вычисления. Вина значения не имеет. Вас интересует только прогноз: нарушит ли обвиняемый условия освобождения под залог, если выпустить его из заключения?

Вам в помощь дана достаточная информация о множестве других арестованных, как о тех, кто, оказавшись на свободе, ударился в бега или снова совершил противоправные действия, так и о законопослушных. Располагая этими данными – характеристиками на каждого правонарушителя, – вы могли бы нарисовать дерево решений наподобие изображенного ниже и получить блок-схему. Имея дерево решений, вы сможете с его помощью предсказать поведение следующего правонарушителя. Выбирайте нужную ветвь соответственно имеющимся сведениям о нем, пока не придете к итоговому выводу. Прогнозы будут верными при условии, что характеристики объектов исследования сходны с предыдущими.

И тут наше школьное дерево решений начинает падать. Ведь, конечно же, не каждый правонарушитель в точности повторяет один из предыдущих сценариев. Само по себе такое дерево даст массу ошибочных прогнозов. И не потому, что мы начали с простейшего примера. Даже при наличии обширной базы данных о предыдущих делах и самого разветвленного алгоритма действий одно отдельно взятое дерево даст в лучшем случае чуть более точные ответы, чем простое угадывание.

Но вы получите совсем другой результат, если составите несколько деревьев. Можно использовать не все данные сразу, а применить метод разбиения, или декомпозиции. Сначала вы строите тысячи маленьких деревьев для различных подразделов общего набора данных – так называемый ансамбль. Затем, когда появляется очередной обвиняемый, вы предлагаете каждому дереву решить, стоит или нет отпускать его под залог. Вероятно, деревья проголосуют не единогласно, какие-то могут и не угадать, но вы усредните их ответы и тем самым существенно повысите точность прогноза.

Это похоже на “помощь зала” в игре “Кто хочет стать миллионером”. Полный зал незнакомых людей часто оказывается умнее одного вашего знакомого интеллектуала. Между прочим, вероятность правильного ответа в результате “помощи зала” составляет 91 %, а спасительная соломинка в виде “звонка другу” гарантирует удачу всего лишь в 65 % случаев^[102]. Ошибки многих зрителей взаимно компенсируют друг друга, и в конечном итоге оказывается, что много голов лучше одной.

Тот же принцип применим и к большой группе деревьев принятия решений, которые все вместе образуют случайный лес (забавный термин, не правда ли?). Алгоритмы формируют прогнозы на основе шаблонов, составленных при обработке массива данных, поэтому случайный лес – это алгоритм машинного обучения, который подпадает под более широкое понятие искусственного интеллекта. (В главе “Власть” мы уже упоминали “машинное обучение”, и нам еще не раз встретятся различные алгоритмы того же типа, но сейчас хотелось бы отметить, как солидно это звучит – при том что, в сущности, это просто знакомая вам со школы блок-схема, слегка приукрашенная математическими преобразованиями.) Алгоритмы случайного леса не раз доказали свою высокую эффективность в самых разных сферах жизни. С их помощью Netflix, анализируя ваши уже известные предпочтения^[103], подсказывает вам, что посмотреть, Airbnb выявляет мошеннические аккаунты^[104], а в медицине ставятся диагнозы (об этом нам предстоит поговорить в следующей главе).

Когда надо определить меру пресечения для правонарушителя, оказывается, что алгоритмы случайного леса имеют два колоссальных преимущества перед своими живыми “коллегами”. Первое – при равных условиях программа всегда выдает одинаковые решения. Гарантируется согласованность решений, но не в ущерб персональному рассмотрению дел. Второе важнейшее достоинство заключается в том, что прогнозы алгоритма еще и намного более точные.

Люди против машин

В 2017 году ученые решили проверить, насколько компьютерные прогнозы могут конкурировать с решениями судей^[105].

Для эксперимента исследователям предоставили доступ к досье всех, кто был арестован в Нью-Йорке за пятилетний период с 2008 по 2013 год. За это время по вопросу об освобождении под залог перед судом предстали три четверти миллиона человек, так что материала для тестирования программы в противоборстве ее с судом человеческим было предостаточно.

В нью-йоркском судопроизводстве по этим делам алгоритмы не использовались, но исследователи взялись за создание множества деревьев принятия решений задним числом, чтобы проверить, насколько хорошо алгоритм справился бы с прогнозом рисков нарушения обвиняемыми условий освобождения под залог. В компьютер загрузили информацию о подсудимых – истории приводов в полицию, сведения о последнем преступлении и прочее. Машина рассчитала вероятность того, что обвиняемый не будет соблюдать условия освобождения под залог.

В реальности 408 283 обвиняемых были освобождены из-под ареста еще до суда. Любой из них запросто мог сбежать или совершить новое противоправное деяние – стало быть, мы оказываемся в выгодном положении, так как знаем, чем дело кончилось, и можем сравнить точность рассчитанных прогнозов и судейских решений. Нам доподлинно известно, кто впоследствии не явился в суд (15,2 %) и кого арестовали вновь за повторное правонарушение в период освобождения под залог (25,8 %).

К сожалению ученых, в то время судьи не удовлетворяли ходатайство об освобождении под залог, если обвиняемый не заслуживал доверия, поэтому для тех, кто остался под арестом до суда, не удалось на практике проверить, было ли постановление суда справедливым. Это несколько осложняло исследование. Невозможно было дать объективную количественную оценку точности решений суда в целом. Если нет фактов, которые подтвердили бы или опровергли прогноз поведения этих арестованных, нельзя точно определить и общую погрешность результатов эксперимента. В таком случае остается только предполагать, как повели бы себя эти люди, если бы их освободили под залог^[106], и сравнительный анализ работы машин и судей можно выполнить только косвенным путем.

Впрочем, не вызывало сомнений, что люди и машины рассудили по-разному. Как показали исследователи, суд не увидел серьезных рисков в поведении тех арестованных, кого алгоритм счел действительно опасными преступниками. Собственно, судьи выпустили почти половину тех заключенных, кого алгоритм записал в группу наибольшего риска.

Но кто же прав? Как показали факты, программа не зря беспокоилась за определенный сегмент. Больше 56 % людей из этой группы не явились в суд, а 62,7 %, выйдя на волю, принялись за старое – и совершили в том числе такие тяжкие преступления, как изнасилование и убийство. Алгоритм все это просчитал.

Авторы эксперимента утверждали, что их алгоритм по своим возможностям превосходит живых судей при любых вариантах его применения. Их вывод подкрепляется цифрами. Если ваша цель – сократить численность арестованных, содержащихся под стражей до суда, алгоритм отправит за решетку на 41,8 % обвиняемых меньше при тех же показателях преступности. А если процент выпущенных под залог вас устраивает, тоже хорошо – тогда алгоритм поможет снизить долю нарушений условий залога на 24,7 % просто за счет более обоснованного отбора тех, кого можно освободить.

Это не просто теоретические рассуждения. В Род-Айленде подобные программы используются судами в течение восьми последних лет, и загруженность тюрем сократилась на 17 %, а частота рецидивов преступлений – на 6 %. А это сотни человек из группы низкого риска, которых нет нужды лишать свободы, и сотни несовершённых преступлений. К тому же, если учесть, что в Великобритании содержание одного заключенного под стражей обходится казне в 30 000 фунтов в год^[107] – а в США год заключения в тюрьме строгого режима может стоить намного дороже, чем обучение в Гарварде^[108], – экономятся огромные суммы денег налогоплательщиков. Это победа – и выигрывают все.

В самом деле?

Найти Дарта Вейдера

Конечно, ни один алгоритм не может абсолютно безошибочно предсказать действия любого человека. Люди слишком безалаберны, непоследовательны и эмоциональны, для того чтобы уверенно прогнозировать их ближайшее будущее. Компьютер дает более точные прогнозы, но может и ошибиться. Вопрос в том, что станется со всеми теми гражданами, для кого неверно оценили потенциальные риски.

Ошибки алгоритмов можно разделить на две категории. Ричард Берк, профессор криминологии и статистики из Пенсильванского университета, первопроходец в области прогнозирования рецидивной преступности, предложил эффектный способ описания таких ошибок.

“Бывают хорошие парни и плохие, – объяснил он мне. – Фактически алгоритм решает, кто Дарт Вейдер, а кто Люк Скайуокер”.

Одна из возможных ошибок – освободить из-под ареста Дарта Вейдера, то есть дать ложноотрицательный прогноз. Это происходит тогда, когда вы не сумели разглядеть в личности человека потенциальную опасность.

С другой стороны, если оставить в заключении Люка Скайуокера, это будет ложноположительный прогноз. Так бывает, когда алгоритм ошибочно включает человека в группу высокого риска.

Ошибки этих двух типов – ложноположительная и ложноотрицательная оценки – характерны не только для сферы – рецидивной преступности. В нашей книге мы еще не раз с ними столкнемся. От них не застрахован ни один алгоритм, предназначенный для классификации.

Алгоритмы Берка претендуют на точность прогноза убийств 75 %, то есть это одни из самых эффективных методов в этой области^[109]. Впечатляющий уровень точности, если принять во внимание, какой свободой воли мы, по нашему убеждению, обладаем. Но даже при такой точности прогноза очень многие Люки Скайуокеры остаются за решеткой только потому, что, на первый взгляд, похожи на Дартов Вейдеров.

Когда к алгоритму обращаются не просто с вопросом о залоге или условно-досрочном освобождении, а выносят приговор на основе его расчета, последствия ошибочной характеристики обвиняемого могут быть более драматичны. Пример из современной жизни: с недавних пор в некоторых американских штатах судам уже разрешают при назначении срока заключения учитывать рассчитанную для данного обвиняемого степень риска. Это нововведение вызвало горячие споры, и на то есть основания: одно дело доверить программе решать, кого можно освободить досрочно, а другое – в принципе рассчитать срок лишения свободы.

Проблема отчасти в том, что на выбор срока заключения влияет не только вероятность повторного преступления – ее-то алгоритмы как раз умеют рассчитывать, – а еще множество разных условий. Судья должен принять во внимание потенциальную опасность преступника для общества, сдерживающее действие приговора на других потенциальных правонарушителей, надежду на возмездие со стороны жертвы преступления и шансы обвиняемого на исправление. Слишком много факторов на весах – неудивительно, что чересчур большие полномочия компьютеров в правосудии вызывают возражения. И неудивительно, что такие примеры, как дело Пола Дзилли, вызывают настороженность^[110].

Дзилли обвинялся в краже газонокосилки. В феврале 2013 года он стоял перед судьей Бэблером в округе Бэррон, штат Висконсин, и ему уже было известно, что его адвокаты заключили досудебное соглашение с обвинением. Обе стороны полагали, что в его случае длительное пребывание в тюрьме было бы не лучшим решением. Дзилли не сомневался, что судья просто утвердит это соглашение.

К несчастью для него, в судах Висконсина использовался запатентованный алгоритм оценки рисков под названием COMPAS. Механизм его работы строго засекречен, это коммерческая тайна, как было и в случае с инструментом бюджетного регулирования, применявшимся в Айдахо (см. главу “Власть”). Но в отличие от инструмента бюджетного регулирования программа COMPAS закрыта для широкой публики до сих пор. Мы знаем лишь, что расчеты выполняются на основании анкетирования обвиняемых. В анкете был, в частности, такой вопрос: “Голодный человек имеет право на кражу – вы согласны или не согласны?” Или: “Если вы жили с обоими родителями и они разошлись, сколько вам было лет на тот момент?”^[111] Программу разработали исключительно ради того, чтобы оценивать вероятность рецидива правонарушения в течение двух лет, и точность расчета этого параметра составляла примерно 70 %^[112]. Это означает, что примерно в каждом третьем случае оценка была неверной. Тем не менее судьи, назначая подсудимому наказание, пользовались этой программой.

Дзилли получил плохую оценку. Алгоритм предсказал ему высокий риск насильственного преступления в будущем и средний риск повторного общеуголовного правонарушения. “Я смотрю на оценку риска, – сказал судья Бэблер на заседании суда, – и хуже быть не может”.

Результаты расчета по делу Дзилли вызывали у судьи больше доверия, чем соглашение между защитой и обвинением, и он аннулировал соглашение, а Дзилли наказал вдвойне сурово – назначил ему два года в тюрьме штата вместо одного в окружной тюрьме.

Трудно сказать, действительно ли Дзилли заслужил столь высокую оценку риска, хотя точность расчетов 70 % явно невелика для того, чтобы вердикт программы перевешивал в суде другие обстоятельства.

Дело Дзилли широко комментировалось в СМИ, но это только одно из многих подобных дел. В 2003 году Кристофер Дрю Брукс, 19 лет, вступил в половую связь с четырнадцатилетней девочкой по обоюдному согласию, и суд штата Вирджиния судил его по обвинению в совращении несовершеннолетней. В таких случаях директивы по назначению наказания предписывают тюремное заключение сроком от семи до шестнадцати месяцев. Но была принята во внимание оценка риска (на этот раз вычисленная в другой программе, не в COMPAS), и рекомендованный срок скорректировали – подняли верхний предел до двух лет. С учетом этих обстоятельств судья приговорил Брукса к полутора годам тюремного заключения^[113].

Дело здесь вот в чем. В данном случае основным фактором при расчете риска рецидива был возраст обвиняемого. Юный возраст Брукса, которого судили за преступление на половой почве, оказался для него минусом, хотя на самом деле это означало, что он и его партнерша были почти ровесниками. Вот если бы ему стукнуло 36 – то есть он был бы на 22 года старше той девочки, – программа рекомендовала бы вовсе не отправлять его в тюрьму^[114].

Не в первый и не в последний раз люди предпочли мнение компьютера своему собственному. Спрашивается, что можно с этим сделать? Верховный суд Висконсина имеет мнение на этот счет. По поводу угроз, которые несет в себе чрезмерное доверие судьи программе COMPAS, было вынесено резюме: “Окружным судам, использующим программу COMPAS для оценки рисков, следует действовать по своему усмотрению с учетом личности каждого обвиняемого”^[115]. Впрочем, Ричард Берк считает такой подход излишне оптимистичным: “Суды, и особенно судьи, которых избирают граждане, стараются избегать ошибок. Алгоритм позволяет им сократить объем работы и снять с себя лишнюю ответственность”^[116].

Есть еще вот какой вопрос. Если алгоритм включит кого-нибудь в группу высокого риска и судья лишит этого человека свободы, мы никогда не узнаем, насколько точен был прогноз. Взять хотя бы Дзилли. Возможно, он совершил бы насильственное преступление. А возможно, и нет. Возможно, клеймо опасного преступника и отсидка в тюрьме штата повлияли на всю его дальнейшую жизнь, и, если бы было принято досудебное соглашение, его судьба сложилась бы иначе. Мы не можем проверить машинные прогнозы, поэтому не можем знать, был ли прав судья, когда принял на веру оценку высокого риска, мы так и не знаем, кем был Дзилли – Дартом Вейдером или Люком Скайуокером.

Здесь нет простого и ясного решения. Как убедить людей в том, что, работая с подобными программами, они должны включать здравый смысл? Но если нам и удастся это сделать, остается еще один вопрос. Пожалуй, наиболее дискуссионный.

Предвзятость машин

В 2016 году независимое онлайн-издание ProPublica, которое впервые рассказало о Дзилли, занялось подробным исследованием программы COMPAS и воспроизвело методику оценки потенциальных рисков для семи с лишним тысяч преступников, чьи дела слушались в период с 2013 по 2014 год во Флориде^[117]. Журналисты решили выяснить, кто из них совершал повторные правонарушения, чтобы проверить, насколько точен был прогноз. Но кроме того, их интересовало, различались ли оценки для белых и чернокожих обвиняемых.

Хотя в явном виде расовая принадлежность в алгоритме не учитывалась, журналисты обнаружили, что в процессе расчетов не все случаи воспринимались одинаково. В целом вероятность ошибки для чернокожих и белых подсудимых была приблизительно одной и той же, но, оценивая людей из разных расовых групп, программа ошибалась по-разному.

Для темнокожих обвиняемых из группы Люков Скайуокеров, у кого первый арест стал последним конфликтом с полицией, вероятность ошибочного включения в группу высокого риска возрастала вдвое по сравнению с такими же, но белыми правонарушителями. Ложноположительные результаты расчетов оказались смещены в черный сектор. И наоборот, белые Дарты Вейдеры, в течение двух лет после выхода на свободу совершившие новое преступление, имели в два раза больше шансов попасть по ошибке в группу низкого риска, чем чернокожие Вейдеры. Ложноотрицательные оценки преобладали в белом секторе.

Неудивительно, что статьи в ProPublica подняли волну негодования как в Америке, так и за ее пределами. В сотнях публикаций резко осуждалась равнодушная методика расчетов и звучали призывы прекратить использование в правосудии несовершенных и необъективных программ, ведь от вынесенного приговора зависит судьба человека. Трудно не согласиться с валом критики – каждый обвиняемый, независимо от того, кто или что рассматривает его дело, заслуживает честного и объективного суда, и в расследовании журналистов ProPublica складывается неблагоприятная для алгоритма картина.

Но остережемся пока списывать в утиль “несовершенную программу”. Прежде чем отринуть саму идею применения компьютеров в судействе, надо подумать о том, каким должен быть объективный алгоритм.

Конечно, хотелось бы, чтобы прогнозы в отношении всех людей с любым цветом кожи были одинаково точные. Логично также потребовать, чтобы термин “высокий риск” тоже трактовался для всех одинаково. Программа должна эффективно вылавливать потенциальных рецидивистов, невзирая на их расу и прочие социальные признаки. Кроме того, как писала ProPublica, частота и характер ошибок при расчетах не должны зависеть от расовой принадлежности.

Вроде пока мы не требуем ничего сверхвозможного. Однако не все так очевидно. К сожалению, некоторые условия объективности несовместимы с точки зрения математики.

Сейчас объясню. Предположим, вы останавливаете прохожих и с помощью своего алгоритма оцениваете вероятность того, что они кого-нибудь убьют. Поскольку подавляющее большинство убийц – мужчины (действительно, по всему миру 96 % убийств совершают мужчины^[118]), то при условии, что программа для выявления убийц работает хорошо, в группе высокого риска неизбежно окажется больше мужчин, чем женщин.

Предположим, точность прогнозов для нашего алгоритма составляет 75 %. Иначе говоря, три четверти тех, кому она присвоила высокие значения риска, действительно являются Дартами Вейдерами.

Рано или поздно, приставая к прохожим, вы наберете 100 потенциальных (с точки зрения программы) убийц. Согласно статистике, 96 из них должны быть мужчинами, а 4 – женщинами. Посмотрите на иллюстрацию справа. Черные кружки соответствуют мужчинам, светло-серые – женщинам.

Далее, поскольку программа дает прогнозы для мужчин и женщин с одинаковой точностью 75 %, то четверть всех женщин и четверть всех мужчин на самом деле окажутся Люками Скайуокерами – то есть опасности для общества они не представляют, а в возможные убийцы их записали на основании неверного расчета.

По второй диаграмме после несложных подсчетов вы можете увидеть, что против мужчин будет выдвинуто больше незаслуженных обвинений, чем против женщин – по той простой причине, что вообще среди убийц мужчин больше, чем женщин.

Это сухой математический факт, не имеющий никакого отношения ни к преступности, ни к компьютерным программам. Перекос в результате вытекает из перекоса в жизни. Убийства чаще совершают мужчины, поэтому мужчин чаще подозревают в том, что они могут совершить убийство^[119].

С математической точки зрения невозможно разработать тест, который будет одинаково точно работать для всех слоев общества и при этом выдавать одинаковый процент ложноположительных и ложноотрицательных прогнозов во всех группах обвиняемых, если только в каждой такой группе доля людей, совершивших преступление, не будет одной и той же.

Афроамериканцы, безусловно, веками испытывали на себе гнет неравенства и предвзятого отношения. По этой причине до сих пор в нижних социально-экономических стратах и на верхних строках криминальной статистики большинство составляют афроамериканцы. Кроме того, некоторые факты свидетельствуют о повышенном интересе полиции к гражданам с темной кожей – по крайней мере в США, в определенных видах преступности. Скажем, и черные, и белые курят марихуану на равных, однако афроамериканцы попадаются на ней в несколько раз чаще, чем белые, и эта разница может быть восьмикратной. Каковы бы ни были причины диспропорции, в США, как ни грустно, показатели приводов в полицию различаются в зависимости от расы. За повторные правонарушения черных арестовывают чаще, чем белых. Алгоритм не судит их по цвету кожи – он руководствуется теми факторами, которые стали логичным следствием выраженного социального неравенства, исторически сложившегося в Америке. Пока во всех социальных и расовых группах показатели по арестам не сравняются, подобная необъективность останется в силу законов математики.

Это не умаляет важности проделанной интернет-изданием работы. Журналистское расследование показало, как легко алгоритмы закрепляют былое неравенство. Но и для алгоритма это тоже не оправдание. Если компания зарабатывает на анализе персональных данных, то, с точки зрения морали (если уж не закона), она обязана отвечать за свои промахи и недостатки методики расчета. Однако компания Equivant (бывшая Northpointe), разработчик алгоритма COMPAS, по-прежнему держит его детали в строжайшем секрете под предлогом защиты интеллектуальной собственности^[120][121].

Здесь возможны варианты. Алгоритмы такого типа не содержат каких-либо неотъемлемых элементов, из-за которых обязательно должны были бы проявиться пережитки прошлого. Все зависит только от исходных данных. Мы можем оставаться, как выразился Ричард Берк, “твердолобыми эмпириками” и довольствоваться имеющимися показателями, а можем признать несправедливость нынешней ситуации и с учетом этого скорректировать цифры.

В качестве иллюстрации попробуем поискать в Google картинки по запросу “профессор математики”. Вы получите несметное множество изображений белого мужчины средних лет на фоне исписанной формулами доски – хотя, возможно, ничего другого вы и не ждали. В первой двадцатке картинок я обнаружила одну-единственную женщину, что отражает реальность с удручающей достоверностью: среди профессоров математики примерно 94 % – мужчины^[122]. Однако при любой точности расчета можно было бы возразить, что алгоритм – не самое подходящее зеркало для нашего мира, особенно если отраженная в нем нынешняя реальность – всего лишь результат многовекового неравноправия. Но Google при желании мог бы слегка подправить свой алгоритм, так чтобы первыми показывались ссылки с профессорами женского пола или другой расы, немного уравновесить таким образом поиск и создать картину не реального мира, а мира нашей мечты.

В судебной системе происходит то же самое. В сущности, алгоритм позволяет нам поставить вопрос так: какая доля данной социальной прослойки предположительно попадет в группу высокого риска при абсолютно справедливом устройстве общества? Программа может сразу выдать численный ответ. Или, если нам кажется, что нецелесообразно одним махом исключать все перекосы в судопроизводстве, можно велеть алгоритму идти к конечному результату поэтапно.

Кроме того, к оценке подсудимых из группы высокого риска тоже можно подходить по-разному. В случае освобождения под залог, когда главный фактор для машинного прогноза – это риск неявки обвиняемого в суд в назначенный день и час, стандартным решением станет отказ всем обвиняемым из группы высокого риска. Однако можно было бы предусмотреть в алгоритме и выяснение вероятных причин неявки в суд. Есть ли у подсудимого возможность приехать в суд? Может быть, родительские обязанности помешали ему явиться вовремя? Нельзя ли написать программу так, чтобы социальные диспропорции не усугублялись, а сглаживались?

Ответы на эти вопросы скорее найдутся не на советах директоров частных компаний, а в открытых общественных дискуссиях и на заседаниях правительства. Отрадно, что все громче звучат призывы наладить в этой сфере контроль за компьютерными программами. Подобно тому, как Управление по контролю качества продуктов питания и лекарств (FDA) следит за состоянием дел в американской фармацевтике, аналогичный регулирующий орган, не вынося сор из избы, проверял бы, насколько верны, согласованны и справедливы решения, и обладал бы полномочиями одобрять или запрещать применение того или иного программного продукта в работе с живыми людьми. А пока этого не произошло, очень хорошо, что ProPublica и ей подобные организации неустанно привлекают алгоритмы к ответу. Ровно до тех пор, пока не будет выдвинуто требование запретить все алгоритмы, которым инкриминировали несправедливые оценочные методики. По крайней мере, стоит хорошенько подумать, куда они могут нас завести, если мы их сохраним.

Мучительный выбор

Мы должны обсудить жизненно важный вопрос. Если вообще отказаться от помощи компьютеров, какую судебную систему мы получим? Ведь разнобой в решениях – не единственная беда, с которой, как выяснилось, сталкиваются судьи.

По закону, классовые, расовые и гендерные различия не должны влиять на приговор. (Все-таки предполагается, что Фемида слепа.) Но несмотря на то, что судьи в подавляющем большинстве стараются сохранять объективность, мы вновь и вновь наблюдаем случаи дискриминации. Как показали проведенные в США исследования, чернокожие обвиняемые в среднем отправляются в тюрьму на более долгий срок^[123], у них меньше шансов выйти на свободу под залог^[124] и больше – оказаться в камере смертников^[125], при этом вероятность приведения смертного приговора в исполнение для них выше^[126]. Были сделаны и другие выводы: за одни и те же преступления мужчины получают более суровые приговоры, чем женщины^[127], а обвиняемые с относительно низким уровнем доходов и образования – гораздо более продолжительные сроки^[128].

Как и для компьютерных программ, далеко не всегда необъективность объясняется явными предрассудками, поскольку история повторяется. Социальные и культурные предубеждения могут стать неизбежным следствием действий, которые совершаются для выбора решения.

Чтобы найти причины, сначала надо на самом элементарном уровне разобраться в том, как работает интуиция, поэтому на минутку отлучимся из зала суда и попробуем решить такую задачку:

Бита в комплекте с мячом стоит 1 фунт 10 пенсов.

Бита на 1 фунт дороже мяча.

Сколько стоит мяч?

Задачка из великолепной книги экономиста и психолога, нобелевского лауреата Даниэля Канемана “Думай медленно… решай быстро”^[129] указывает нам, в какую коварную ловушку мы все попадаемся, пока размышляем.

Чтобы найти правильный ответ, надо немного подумать, зато неправильный готов сорваться с языка мгновенно. Наверняка вы едва не выпалили: “Десять пенсов!”^[130]

Не расстраивайтесь, если не угадали (5 пенсов) – 71,8 % судей тоже промахнулись. Даже тем, кто справился с задачкой, надо было подавить в себе первый интуитивный порыв.

История с судейскими решениями объясняется той самой борьбой между интуицией и зрелым размышлением. В целом психологи сходятся на том, что у нас есть два способа мышления. Система 1 – это автоматическое, инстинктивное мышление с высокой вероятностью ошибки. Это она заставляет нас среагировать мгновенно и ответить: десять пенсов. Система 2 – медленные, вдумчивые, осознанные рассуждения, хотя зачастую эта система довольно ленива^[131][132].

Если спросить человека, как он решал задачу, окажется, что ход его мысли направляла Система 2 – но, как говорит Даниэль Канеман, “Система 2 нередко подтверждает или обосновывает логически те идеи и ощущения, которые сгенерировала Система 1”^[133].

В этом смысле судьи ничем не отличаются от всех нас. Они тоже люди с такими же странностями и слабостями, как и мы с вами. Факт тот, что наш интеллект не рассчитан на дотошный, системный анализ сложных, запутанных задач. Нам нелегко взвесить многочисленные соображения и быстро разложить все по полочкам, при этом не позволяя интуитивной Системе 1 включиться и упростить мыслительный процесс.

Например, когда встает вопрос об освобождении под залог, можно было бы надеяться, что судья, прежде чем вынести резолюцию, внимательно изучит дело и рассмотрит все аргументы за и против. Но, к сожалению, практика показывает обратное. Как выяснили психологи, судьи не склонны к мудреным схемам – они просто прокручивают в мозгу стандартный перечень предупреждающих флажков. Как только в досье обвиняемого обнаруживается любой из таких флажков – прежние судимости, связи с преступным сообществом, ходатайство со стороны обвинения, – ставится точка, и судья отказывает в просьбе об освобождении под поручительство или залог^[134].

Беда в том, что слишком часто эти флажки коррелируют с расой, полом и уровнем образования. Как правило, судьи полагаются на свою интуицию больше, чем следовало бы, и таким подходом непроизвольно поддерживают необъективную систему.

И это еще не все. Как ни грустно, мы едва коснулись страшной темы предвзятого, несправедливого судейства.

Если вам случалось хоть раз в жизни убедить себя (лично мне случается, и нередко) в целесообразности покупки дорогущего платья или свитера только потому, что его уценили вдвое, вам полезно будет узнать, что такое эффект привязки. Нам трудно дать точную количественную оценку, мы с большей уверенностью сравниваем числа, чем называем абсолютные значения, не имея точки отсчета. Маркетологи уже много лет пользуются эффектом привязки для того, чтобы повлиять и на наше восприятие стоимости товаров, и на объемы наших закупок. Это работает примерно так же, как таблички в магазинах вроде “12 банок супа в одни руки”. Не подумайте, будто администрация не хочет, чтобы фанаты супа вовсе смели его с прилавков. Эти предупреждения ненавязчиво подсказывают вам, сколько банок вы должны купить. Мозг ориентируется на число 12 и дальше понижает порог. Проведенный в 1990-х годах эксперимент показал, что благодаря точно такой же табличке люди покупали больше консервов – в среднем по 7 банок вместо прежних 3,3^[135].

Теперь вы, наверное, с пониманием отнесетесь к тому, что судьи тоже подвержены воздействию эффекта привязки. Если обвинение назовет крупную сумму возмещения ущерба, скорее всего, судья тоже назначит немалую денежную компенсацию^[136], а если прокурор требует более строгого наказания, то и судья обычно выносит относительно суровый приговор^[137]. Одно исследование показало даже, что звонок журналиста судье во время перерыва в заседании суда с намеком на вероятное наказание мог существенно повлиять на приговор по гипотетическому делу. Например, журналист мог задать вопрос: “Как вы полагаете, обвиняемый по этому делу получит больше трех лет или меньше?”^[138] И, пожалуй, самое страшное: похоже, на решение судьи может повлиять число, выпавшее на игральных костях перед рассмотрением дела^[139]. Даже самые умудренные опытом судьи порой попадались на такую уловку^[140].

Привычка сравнивать цифры влияет на справедливость приговоров еще и по другой причине. Может быть, вы замечали за собой одно странное свойство. Чем громче музыка, тем менее заметно будет усиление звука, если вы прибавите уровень на одно деление; если повышение стоимости товара с 1,20 до 2,20 фунта покажется вам чересчур резким, а изменения цены с 67 на 68 фунтов вы даже не заметите; чем старше мы становимся, тем быстрее бежит время. Все дело в том, что мы оцениваем происходящее не в абсолютных единицах, а по относительной шкале. Год кажется нам не просто неким фиксированным периодом – в нашем восприятии доля каждого следующего года в нашей жизни сокращается. Величина отрезка времени, денежной суммы или уровень громкости в нашем восприятии подчиняются несложной математической формуле – закону Вебера – Фехнера.

Словом, по закону Вебера – Фехнера, порог чувствительности – минимальное изменение интенсивности раздражителя, которое мы способны уловить, – пропорционален начальной интенсивности раздражителя. Неудивительно, что маркетологи уже взяли это на вооружение. Они точно знают, до какой степени можно уменьшить размер и вес шоколадного батончика, так чтобы покупатели не заметили подвоха, и до какого предела можно повышать цену, прежде чем вы отправитесь за той же шоколадкой в другой магазин.

Вот и в правосудии та же проблема – судейские решения о суровости приговора тоже подчиняются закону Вебера – Фехнера. Чем строже наказание, чем больше разрыв между сроками. Если совершено более тяжкое преступление, чем то, за которое обычно дают двадцать лет, добавить еще месяца три вроде бы недостаточно: двадцать лет или двадцать с тремя месяцами – казалось бы, все едино. Хотя это не так, и как ни крути, три месяца в неволе – это три месяца в неволе. Однако судья не добавит всего несколько месяцев, а сразу шагнет на следующий уровень, так чтобы разница была ощутима – в данном случае назначит двадцать пять лет^[141].

Мы можем сравнить реальные сроки с ожидаемыми согласно закону Вебера – Фехнера, так что все это правда. В 2017 году были проанализированы сто тысяч приговоров, вынесенных в Великобритании и Австралии, и выяснилось, что в 99 % случаев, когда вина подсудимого была доказана, назначенные наказания вписывались в эту формулу^[142].

“Не важно, в чем именно вас обвиняют, к какому типу обвиняемых вы относитесь, в какой стране вас судят и что вам грозит – тюремное заключение или общественные работы”, – сказала мне автор этого исследования Мандип Дхами. Имеют значение только цифры, которые пришли в голову судье и показались ему подходящими.

К сожалению, можно еще много всего вспомнить о предубеждениях в судействе. Отцы дочерей склонны выносить женщинам более мягкие приговоры^[143]. Если местная команда только что проиграла матч, вряд ли судья охотно согласится на освобождение под залог. В одном широко известном исследовании было даже высказано предположение, что вероятность благоприятного завершения судебного процесса зависит от времени суток^[144]. Результаты эксперимента еще нуждаются в подтверждении^[145], и пока неясно, так ли уж важен временной фактор, однако можно привести доказательства того, что было бы невыгодно предстать перед судом прямо перед обеденным перерывом – от судей, о которых шла речь в этой работе, скорее можно было ждать решения об освобождении под залог сразу после ланча, в то время как незадолго до перерыва вероятность хорошего финала была наименьшей.

Как показало другое исследование, судьи не любят принимать слишком много одинаковых решений подряд. Следовательно, если прямо перед вами слушали четыре дела и всех обвиняемых отпустили под залог, вам уже не на что надеяться^[146].

Некоторые специалисты утверждают также, что наше отношение к незнакомцам зависит от температуры напитка, который мы держим в руках. Если вам, прежде чем вас с кем-нибудь познакомить, предложат подогретый напиток, ваш новый собеседник покажется вам более дружелюбным, великодушным и внимательным человеком^[147].

Мы говорили о том, что поддается количественной оценке. Но, несомненно, есть еще масса других условий, которые исподволь влияют на наше поведение и которые невозможно протестировать в зале суда.

Резюме

Буду с вами откровенна. Когда я впервые услышала о том, что в судах применяются компьютерные программы, мне это не понравилось. Программа может промахнуться, и, по-моему, безответственно давать компьютеру слишком много власти, если из-за погрешности в алгоритме человек лишится права на свободную жизнь.

Здесь я не одинока. Так считают многие – пожалуй, даже большинство – из тех, кому пришлось столкнуться в жизни с уголовным судом. Мандип Дхами рассказывала мне о том, как относятся подсудимые, с которыми она работала, к методам рассмотрения их дел. “Они все равно предпочитали человека компьютеру, хотя и понимали, что судья может наделать больше ошибок. Подсудимые хотят человеческого отношения”.

Кстати, адвокаты придерживаются того же мнения. Я беседовала с одним лондонским адвокатом, и он сказал, что в зале суда он старается извлечь пользу из слабых мест системы, а с алгоритмами это гораздо труднее. “Чем более предсказуемо решение, тем меньше места для тонких маневров в защите”.

Но когда я спросила Мандип Дхами, как она сама почувствовала бы себя, оказавшись под арестом, ответ был прямо противоположным: “Я не хочу, чтобы моя судьба решалась по чьей-то интуиции. Лучше, чтобы была логичная, обоснованная стратегия. Мы относимся к свободе действия судей как к чему-то священному. Думаем: как это прекрасно! Однако исследования показывают, что это вовсе не так. Ничего хорошего в ней нет”.

Я, как и все, считаю, что судейские решения должны быть как можно более объективными. Они должны опираться не на принадлежность обвиняемого к той или иной группе, а на факты. В этом отношении алгоритм не слишком надежен. Но выявить недостатки алгоритма – еще полдела. Мы не должны выбирать между несовершенной компьютерной программой и некой воображаемой идеальной системой. Сравнивать можно лишь алгоритм и то, что мы получим, если его не будет.

Чем больше я читала и разговаривала с разными людьми, тем лучше понимала, что мы слишком многого требуем от живых судей. Людям от природы свойственно предубеждение. На каждого Кристофера Дрю Брукса, неправедно осужденного алгоритмом, найдется огромное множество таких же обвиняемых, как Николас Робинсон, по делам которых несправедливые решения выносили люди без помощи машин. Я думаю, если алгоритм, пускай даже не без изъянов, работает в связке с судьями и их зачастую хромая логика как-то корректируется, это шаг в правильном направлении. По крайней мере, от систематической предвзятости и случайных погрешностей хорошо отлаженная программа может нас избавить. Всех судей не переделаешь, тем более тех, кто вообще не может объяснить, как и почему они вынесли тот или иной приговор.

Прежде чем взяться за разработку программы для уголовного правосудия, мы должны сесть и хорошенько подумать, каковы задачи правосудия. Мы не можем просто закрыть глаза и надеяться на лучшее – необходимо предельно четко и однозначно представлять себе, чего мы хотим от алгоритмов и какие человеческие слабости они должны компенсировать. Это вызывает ожесточенные споры о процедуре принятия решений в судах. Задача ставится непростая, но иначе мы не придем к обоснованному выводу о принципиальной возможности применения алгоритмов с пользой для себя.

В системе правосудия масса противоречий, которые лишь добавляют путаницы, поэтому ответить на вопросы такого рода очень и очень нелегко. Но алгоритмы потихоньку проникают в другие сферы жизни, где выбор решений сопряжен с гораздо меньшими трудностями, а цели алгоритмов гораздо яснее, и их польза для общества очевидна.

Медицина

В 2015 году группа ученых, которых интересовала точность диагностики в онкологии, провела необычный новаторский эксперимент^[148]. Шестнадцати участникам эксперимента предложили проанализировать изображения ткани молочной железы на мониторе с сенсорным экраном. Образцы были настоящими – женщинам провели биопсию и тонкий слой взятой на исследование ткани окрасили химическими веществами в красный, фиолетовый и синий цвета, чтобы выделить кровеносные сосуды и млечные протоки. От диагностов требовалось только определить, есть ли на видимой картине признаки злокачественных изменений в клетках.

Участники эксперимента прошли короткую подготовку и приступили к выполнению задания – и результаты оказались впечатляющие. Члены команды работали поодиночке и оценили правильно 85 % образцов.

Зато после ученые заметили нечто совсем удивительное. Когда они стали сводить результаты, то есть суммировать все ответы, чтобы получить объективную оценку каждого изображения, точность подскочила аж до 99 %.

Но не высочайшим профессиональным уровнем диагностов выделялось это исследование среди всех прочих. Главное – это кем они оказались на самом деле. Эти доблестные спасатели не были ни онкологами, ни патологами. Не были они и медсестрами или студентами-медиками. Это были голуби.

Врачам клинической лабораторной диагностики безработица пока не грозит – едва ли авторы эксперимента предлагали заменить докторов обычными голубями. Однако их исследование выявило важную вещь: не только люди способны находить в кластерах клеток некие характерные картины. Если голуби справились с этой задачей, почему бы алгоритму не попытаться?

Охотники за паттернами

Вся история и практика современной медицины зиждется на поиске паттернов – характерной картины в собранных данных. С тех самых пор, как еще две с половиной тысячи лет назад древнегреческий целитель Гиппократ создал свое учение о медицине, основу борьбы за наше здоровье составляют наблюдение, исследование и анализ полученной информации.

Еще раньше врачевание по большей части мало чем отличалось от ворожбы. Люди верили, что если человек заболел, значит, он разгневал кого-нибудь из богов, а болезнь – это результат того, что его телом завладел злой дух. Поэтому в арсенале лекаря были песнопения, речитативы и всякие суеверия – вам смешно, а вот тому, кто надеялся с помощью такой терапии отсрочить свою кончину, наверное, было не до смеха.

Не то чтобы Гиппократ в одиночку раз и навсегда излечил мир от неразумия и предрассудков – согласно легенде, у него самого вместо дочери был дракон^[149], – но он внедрил в медицину совершенно новые идеи. Он был убежден, что никакая не магия, а объективное и планомерное обследование дает возможность понять причину заболевания. Он уделял особое внимание наблюдению и описанию картины болезни и таким образом возвел медицину в ранг науки, за что его заслуженно почитают как “отца современной медицины”^[150].

Те научные теории, которые предлагали Гиппократ и его соратники, сейчас не выдерживают критики (они утверждали, что здоровье – это хорошо сбалансированная гармония крови, флегмы, желтой желчи и черной желчи^[151]), но выводы древних докторов определенно справедливы^[152]. (Между прочим, они первые сформулировали, в частности, важное правило: “Пациенты, полные от природы, рискуют умереть раньше, чем худые люди”.) Эта тема была актуальна во все века. На протяжении многих столетий мы совершили массу ошибок в толковании медицинских вопросов, но сильно продвинулись вперед благодаря способности находить паттерны, классифицировать симптомы и на основании наблюдений давать прогнозы на будущее для пациента.

История медицины изобилует примерами. Так, в Китае XV века целители впервые поняли, что людей можно прививать от оспы. Они изучали эту болезнь не одно столетие и нашли схему, которая позволяла в десять раз снизить вероятность гибели от страшной инфекции. Достаточно было найти человека с легкой формой оспы, соскоблить корочки с болячек, высушить их, растолочь и вдуть этот порошок в ноздри здоровому человеку^[153]. В XIX веке, в золотую эру медицины, появились новые, научно обоснованные методики, и поиск паттерна в данных обследования стал неотъемлемой частью врачебной практики. Одним из докторов, практикующих такие методы, был венгр Игнац Земмельвейс – в 1840 году он подметил в статистике смертности пациенток родильного отделения поразительный факт. Женщины, рожавшие в родильном отделении под присмотром врачей, в пять раз чаще подхватывали гнойную инфекцию, чем те, у кого роды принимали акушерки. В тех же данных нашлось и объяснение: врачи спешили к роженицам, не помыв руки после того, как вскрывали трупы^[154].

Открытия, сделанные в Китае XV века и в Европе XIX века, по-прежнему признают медики во всем мире. Не только в научных изысканиях, когда врачи исследуют болезни населения, но и в повседневной работе, когда они оказывают людям первую помощь. Нет ли перелома? Болит голова – ничего страшного или это симптом грозного недуга? Так ли уж необходимо назначить пациенту с фурункулом курс антибиотиков? Каждый раз встает задача распознавания паттерна, классификации и прогнозирования. Именно в этой области алгоритмы всегда были на высоте.

Безусловно, профессия врача подразумевает массу таких навыков и умений, которыми алгоритму никогда не овладеть. Сочувствие, например. Способность поддержать пациента, помочь ему справиться с социальными, психологическими и даже финансовыми проблемами. Но в отдельных областях медицины компьютер может предложить посильную помощь. Особенно там, где в чистом виде применяется умение распознать особый паттерн и важнее всего классификация и прогноз. Особенно в патологических исследованиях.

Пациенты редко встречаются с врачом клинической диагностики. Патолог сидит где-то у себя в лаборатории, изучает образцы крови или тканей, которые ему прислали на анализ, и дает свое заключение. Его работа завершает диагностическую линию, именно здесь решающее значение имеют высокая квалификация, аккуратность и добросовестность. Зачастую именно патолог выносит вердикт – есть рак или нет. Поэтому, если от химиотерапии, операции или еще чего похуже вас отделяют только биопсия и исследование образца, вы хотите быть уверены в том, что доктор не ошибся.

Нелегок труд патолога. Помимо всего прочего, он изучает за день сотни образцов, в каждом из которых десятки, а то и сотни тысяч клеток, распластанных между двух стекол. Это самый сложный уровень игры “Где Уолли?”^[155], какой только можно себе представить. Патолог должен внимательно рассматривать каждый образец и выискивать в огромной клеточной галактике, которая открывается его взору под микроскопом, любые малейшие отклонения от нормы.

“Это невероятно сложная задача, – говорит Энди Бек, патолог из Гарварда, в 2016 году основавший PathAI, компанию по разработке программ для классификации взятых при биопсии образцов. – Если бы патологи скрупулезно изучали по пять стекол в день, можно было бы ожидать от них блестящих результатов. Но в жизни так не бывает”.

Конечно, так не бывает. В жизни врачам клинической диагностики приходится еще тяжелее, ведь сложнейшие биологические процессы кого угодно поставят в тупик. Вернемся к эксперименту с раком молочной железы, где так хорошо поработали голуби. Недостаточно просто сказать, больна пациентка или нет. Диагностика рака груди подразумевает целый спектр состояний. На одном его краю доброкачественные, здоровые клетки, которые находятся там, где им и надлежит быть. На другом – самая противная разновидность опухоли, инвазивная карцинома, при которой раковые клетки распространяются за пределы млечных протоков и прорастают в прилегающие ткани. Такие полярные ситуации выявить достаточно легко. Как выяснилось в одном из недавних исследований, патологи успешно определяют выраженные злокачественные новообразования в 96 % случаев – стая голубей, перед которыми поставили аналогичную задачу, показала примерно такой же уровень точности^[156][157].

Между двумя крайними позициями – абсолютно здоровой тканью и бесспорно опасной для жизни злокачественной опухолью – есть еще несколько менее очевидных вариантов (см. рисунок ниже). Иногда в образце ткани обнаруживаются группы атипичных, подозрительных на вид клеток, но большого беспокойства они не вызывают. Это могут быть предраковые изменения, вовсе не обязательно чреватые серьезными последствиями. Или рак in situ, когда опухоль – так называемая преинвазивная (внутриэпителиальная) протоковая карцинома – остается в пределах млечных протоков.

Выбор терапии во многом зависит от того, к какой категории относится образец взятой на анализ ткани. В зависимости от его положения в диагностическом ряду доктор может сказать, необходима ли вам мастэктомия или другое лечение, а то и вовсе отпустит вас.

Загвоздка в том, что различить промежуточные состояния крайне сложно. Даже самые многоопытные врачи-патологи расходятся во мнениях относительно одного и того же образца ткани. В 2015 году был проведен эксперимент, который показал, как сильно порой различаются диагнозы разных докторов. Ста пятнадцати патологам предложили оценить 72 образца ткани молочной железы с доброкачественными изменениями, то есть занимающими среднюю позицию в ряду состояний. К сожалению, ответы совпали всего в 48 % случаев^[158].

Коль скоро ваши шансы на верный диагноз примерно один к одному, то с тем же успехом можно было бы подбросить монетку. Орел – и вам без малейшей нужды делают мастэктомию (в США это стоит сотни тысяч долларов). Решка – и вы упускаете возможность выявить онкологическое заболевание на ранней стадии. И так плохо, и эдак.

Когда ставки так высоки, точность имеет критическое значение. Сможет ли алгоритм лучше выполнить эту работу?

Машины, которые видят

Вплоть до недавнего времени создание программы, способной распознать по изображению что-либо, не говоря уже о раковых клетках, считалось задачей из области головоломных. Пусть нам самим не составляет ни малейшего труда догадаться, что нарисовано на картинке – но чертовски трудно, оказывается, объяснить толком, как мы это узнаем.

Представьте себе, будто вы пишете инструкцию для компьютера, которая позволит ему определить, есть на фото собака или нет. Можно начать с самых надежных критериев – различимы ли четыре ноги, висячие уши, шерсть и прочие признаки животного. А если собака на фото сидит? Или не все ее лапы видны? А что, если у нее уши с заостренными кончиками и стоят торчком? Или собака вовсе отвернулась от камеры? И как отличить лохматого пса от длинноворсового ковра, а также от нестриженой овцы и от травы?

Конечно, можно добавить команды для каждого такого случая, предусмотреть все вероятные типы собачьего уха и шерсти, различные позы, в которых сидят собаки, но прежде чем вы начнете кое-как отличать собак от других предметов и существ с четырьмя ножками или лапами и ворсом или шерстью, программа разрастется до неудобоваримого объема и станет непригодной для работы. Надо придумать что-то другое. Есть одна хитрость – можно отойти от подробно описанных процедур и взять на вооружение так называемую искусственную нейронную сеть, или просто нейросеть^[159].

Нейросеть можно представить в виде колоссальной математической структуры со множеством рычажков и ручек настройки. Вы вводите в нее картинку, нейросеть пропускает ее через себя и на выходе выдает результат – что там изображено. Варианты ответа на каждом этапе: “Собака” или “Не собака”.

Поначалу нейросеть абсолютно бесполезна. У нее нет исходной информации, и она не имеет ни малейшего понятия, что является собакой, а что нет. Все рычажки и ручки повернуты как попало. Результаты сумбурны и лишены логики, машина не разглядела бы на фото собаку, даже если это было бы необходимо для бесперебойной работы ее источника питания. Однако с каждой следующей картинкой вы подстраиваете ручки и рычажки. Мало-помалу вы обучаете нейросеть.

Вы загружаете фотографию своего пса. После очередного ответа производятся математические действия, которые регулируют рычажки нейросети до тех пор, пока предварительная оценка не станет ближе к правильному ответу. Затем вы загружаете вторую картинку, третью и, если результат ошибочен, каждый раз что-то подправляете, закрепляете маршруты, которые ведут к цели, и отбрасываете те, что уводят в сторону. Информация об общих деталях разных изображений собаки распространяется по нейросети назад. Процесс продолжается до тех пор, пока – пусть после сотен и тысяч пропущенных через нейросеть фотографий – частота ошибок не сводится к минимально возможной. Рано или поздно вы покажете машине новую картинку, никогда прежде ей не попадавшуюся, и она с высокой степенью достоверности скажет вам, есть на фото собака или нет.

Удивительно, что операторы нейросетей обычно не понимают, как и почему алгоритм делает тот или иной вывод. Отбирая изображения собак, нейросеть не ищет те характерные особенности, которые мы с вами считаем собачьими. Степень сходства с определенной породой, будь то чихуахуа или дог, машину не интересует, она ориентируется на гораздо более абстрактные параметры, такие как контуры фигуры и светотень, которые человеку мало что говорят (взгляните на пример распознавания изображения из главы “Власть”, и вы поймете, что я имею в виду). Поскольку человеку трудно осмыслить этот процесс, операторы знают лишь, что они скорректировали свои алгоритмы так, чтобы те выдавали верные ответы, а подробности работы алгоритмов не всегда известны.

Это еще один метод машинного обучения, подобный алгоритму “случайного леса”, уже знакомому нам по главе “Правосудие”. Этот алгоритм выходит за рамки инструкций программистов, он умеет учиться самостоятельно по тем изображениям, которые ему предоставили. Именно способность алгоритма к самообучению дает нам основания говорить об искусственном интеллекте. Кроме того, множество уровней “рычажков и ручек” также делают структуру нейросети более глубокой и сложной, отсюда и взялся термин “глубокое обучение”.

Нейросети появились в середине XX века, но еще в недалеком прошлом нам не хватало мощных компьютеров, которые позволяли бы использовать весь потенциал нейросетей. Лишь в 2012 году, когда ученый-информатик Джеффри Хинтон и двое его студентов представили на конкурс по распознаванию изображений нейросеть нового типа^[160], мир наконец встрепенулся и всерьез занялся искусственным интеллектом. Было дано задание: найти на картинках среди всего прочего собак. Программа Хинтона и его учеников посрамила самых сильных своих конкурентов и стимулировала широкомасштабное возрождение алгоритмов глубокого обучения.

От алгоритма, который сам принимает какие-то решения, как и почему – нам неведомо, попахивает нечистой силой, однако принцип его действия, возможно, не так уж далек от нашего с вами учебного процесса. Вот вам пример для сравнения. Недавно группа специалистов учила алгоритм различать на фотографиях волков и хаски. Как выяснилось, алгоритм подгонял свои настройки таким образом, что какие-либо признаки собак в качестве подсказки ему не требовались. Он принимал решения на основании того, был ли объект изображен на фоне снега или нет. Есть снег – волк. Нет снега – хаски^[161].

Вскоре после того, как статья была опубликована, мне довелось побеседовать с профессором математики из Кембриджа Фрэнком Келли, и он пересказал мне свой разговор с четырехлетним внуком. По дороге в детский сад они увидали хаски. Мальчик сказал, что “собачка похожа на волка”. Фрэнк спросил его, откуда он знает – может, это и правда волк, и получил такой ответ: “Так она же на поводке”.

Союз интеллектов

К хорошей программе для скрининга молочных желез у нас два требования. Она должна быть достаточно чувствительной, чтобы всегда отлавливать отклонения от нормы в пораженных раком молочных железах, не пропуская ни пикселя и не выдавая их за “чистые”. Но она должна также действовать достаточно избирательно, чтобы под подозрение не попала абсолютно здоровая грудь.

В главе “Правосудие” мы уже говорили о правилах чувствительности и специфичности. Это тесно связано с понятиями ложноотрицательного и ложноположительного результата (на мой взгляд, в научной литературе термины “Дарт Вейдер” и “Люк Скайуокер” для этих категорий были бы вполне уместны). В данном случае мы имеем ложноположительный результат, если здоровой женщине говорят, что у нее рак, и ложноотрицательный – если женщине сообщают, что все хорошо, хотя на самом деле она больна. Специфичный тест крайне редко дает ложноположительные результаты, в то время как высокочувствительный – мало ложноотрицательных. В какой области будет использоваться алгоритм – для прогноза повторных правонарушений, диагностики рака груди или, что мы еще увидим в главе “Преступность”, для выявления повторяющейся картины преступной деятельности – значения не имеет, идея одна и та же. Вы хотите получить как можно меньше и ложноположительных, и ложноотрицательных результатов.

Возникает проблема: зачастую, чтобы довести алгоритм до ума, приходится выбирать между чувствительностью и избирательностью. Повышая одно, вы, как правило, понижаете другое. Скажем, если вы отдадите приоритет полному исключению ошибочных отрицательных ответов, программа может пометить каждую молочную железу, которую увидела, как подозрительную. Чувствительность достигнет ста процентов, и цель будет достигнута. Но вместе с тем это означает, что огромное количество пациенток начнет лечиться, не имея в том нужды. Или, допустим, главное для вас, чтобы программа не давала ложноположительных результатов. Она будет пропускать мимо все снимки как чистые, то есть избирательность приблизится к ста процентам. Чудесная картина! Если только вы не принадлежите к числу тех женщин, у которых алгоритм не заметил раковой опухоли.

Надо отметить, что для врачей клинической диагностики специфичность не представляет трудности. Они почти никогда не находят по ошибке нехороших изменений в клетках, которые не являются раковыми. Но что касается чувствительности, тут человеку приходится поднапрячься. Уж очень легко нам упустить из внимания небольшую опухоль, даже явно злокачественную, и это пугает.

Не так давно люди и машины получили возможность помериться силами, и в этом споре стали заметны слабые стороны человеческой природы. В “матче”, получившем название CAMELYON16, сошлись команды программистов и патологи со всего мира; им предстояло выявить все случаи рака на четырех сотнях снимков. Чтобы упростить условия, были заданы два крайних случая – абсолютно здоровая ткань и инвазивный рак молочной железы. Кроме того, докторов не ограничивали во времени, они могли изучать образцы биопсии сколь угодно долго. Как и ожидалось, врачи в основном поставили верные диагнозы (точность 96 %)^[162] и не дали ни одного ошибочного – положительного ответа. Однако немалое число мельчайших раковых клеток, скрытых в тканях, проскочило мимо их внимания – они рассматривали снимки тридцать часов, но обнаружили лишь 73 % таких изменений.

Дело вовсе не в колоссальном объеме пикселей, которые необходимо охватить взглядом. Люди могут запросто прозевать очевидные аномалии, глядя прямо на них. В 2013 году ученые из Гарварда наложили на некоторые снимки грудной клетки изображение гориллы и предложили двадцати четырем не ожидавшим такого подвоха рентгенологам изучить снимки на предмет обнаружения рака. Восемьдесят три процента докторов гориллы не приметили, хотя система слежения за движениями глаз показала, что многие смотрели на нее в упор^[163]. Снимок приведен выше – можете попробовать сами^[164].

У компьютеров проблема противоположная. Они будут азартно отбирать группы измененных клеток, даже абсолютно здоровых на самом деле. Так, в ходе матча CAMELYON16 лучшая из представленных нейросетей выявила рак с достойной восхищения точностью 92,4 %, но при этом выдала восемь ложноположительных результатов на образец, ошибочно пометив здоровые группы клеток как подозрительные^[165]. При столь низкой избирательности самые передовые современные программы явно склонны вешать раковый бейджик на каждую грудь и пока не могут давать собственное полноценное гистологическое заключение.

Впрочем, есть и хорошая новость: никто и не просит их это делать. Мы намерены объединить усилия человека и машины. Программа выполняет черную механическую работу – просматривает снимки и собирает огромный пул данных, отмечая некоторые критические области. Затем за дело принимается диагност-патолог. Даже если компьютер пометит клетки, которые на самом деле раковыми не являются, не страшно – врач сможет быстро все оценить и отсеять нормальные образцы. Такой алгоритмический подход к совместному предварительному скринингу позволяет не только сберечь время, но и достичь почти невероятных высот в точности диагностики – 99,5 %^[166].

Как ни волшебно все это звучит, факт тот, что агрессивные опухоли врачи всегда находили безошибочно. Самыми каверзными оказываются промежуточные случаи, когда разница между раком и не раком не так бросается в глаза. Может ли и здесь помочь алгоритм? Вероятно, да. Но он не должен пытаться поставить диагноз с помощью профессиональных приемов, привычных для патолога. Однако алгоритм, который гораздо лучше умеет выискивать скрытые в тканях патологии, наверное, мог бы предложить более подходящий вариант сотрудничества – делать то, на что не способен живой доктор.

Эксперимент с монахинями

В 1986 году Дэвиду Сноудону, эпидемиологу из Университета Кентукки, удалось добиться от 678 монахинь разрешения использовать их мозг в научных целях. Монахини из католической Школы сестер Нотр-Дам согласились принять участие в оригинальном исследовании Сноудона, который изучал причины болезни Альцгеймера.

Все эти женщины (на момент начала эксперимента им было от 75 до 103 лет) каждый год, до конца жизни, проходили тесты на проверку памяти. После их смерти можно было исследовать их мозг. Они пообещали Сноудону, что позволят его сотрудникам изъять их самый ценный орган для анализа на признаки болезни Альцгеймера, независимо от того, проявлялась у них деменция или нет^[167].

Благодаря щедрости тех монахинь ученые получили уникальную информацию. Поскольку ни одна из женщин не имела детей, не курила и не злоупотребляла алкогольными напитками, можно было исключить внешние факторы, которые, как считается, повышают шансы на развитие болезни Альцгеймера. А поскольку все они придерживались одинакового образа жизни и всем в равной степени оказывалась медицинская и социальная помощь, с их стороны условия эксперимента соблюдались аккуратно.

Все шло по плану, но спустя несколько лет ученые поняли, что из эксперимента с этой группой испытуемых можно извлечь бесценную информацию другого рода. В молодости, прежде чем дать монашеский обет и быть принятыми в сестринство, эти женщины, многие из которых ныне достигли преклонного возраста, должны были представить в письменном виде свою автобиографию. Они писали о себе, когда им было в среднем по двадцать два года, за несколько десятков лет до проявления каких-либо симптомов деменции. Поразительно, но ученые заметили в их сочинениях намеки на их далекое будущее.

Ученые обнаружили связь между тем, насколько богатым и образным языком тогда еще молодые девушки выражали свои мысли, и вероятностью развития у них деменции в старости.

Вот цитата из автобиографии одной монахини, прекрасно сохранившей когнитивные способности:

После восьмого класса, в 1921 году, я мечтала поступить в сестринскую общину Манкейто, но не осмеливалась заговорить об этом с родителями. Тогда сестра Агреда попросила их за меня, и мои родители охотно дали согласие.

Сравните с другой фразой, которую когда-то написала будущая монахиня, чья память на склоне лет неуклонно слабела: “После школы я работала на почте”.

Корреляция была настолько четкой, что исследователи могли прочесть эти тексты и предсказать, кому из авторов грозит деменция. Девяносто процентов монахинь с болезнью Альцгеймера в молодости показали “низкий уровень владения языком”, и лишь у 13 % из сохранивших в старости полноценные умственные способности, автобиографии отличались “низкой плотностью мыслей”^[168].

Этот эксперимент показал, в частности, как много нам еще предстоит узнать о нашем организме. Мы поняли, что такая связь возможна – но каковы ее причины? Действительно ли качественное образование предотвращает деменцию? Или тем, у кого есть склонность к развитию болезни Альцгеймера, удобнее обходиться примитивными фразами? Однако по результатам исследования можно предположить, что болезнь Альцгеймера развивается в течение нескольких десятилетий.

Для нас сейчас важнее тот вывод, что еще за годы до проявления первых симптомов заболевания нежданно-негаданно полученные крупицы информации позволяют сделать осторожный прогноз о состоянии нашего здоровья в последующие годы. Все это дает повод задуматься о могуществе медицинских алгоритмов будущего, которые могли бы раскапывать информацию. Может статься, когда-нибудь они научатся распознавать признаки онкологических заболеваний за несколько лет до того, как их заметят врачи.

Предсказательные силы

В конце 1970-х годов, в датской провинции Рибе, группа патологов приступила к двусторонней мастэктомии у трупов. Возраст 83 умерших женщин варьировался от 22 до 89 лет, причем 6 из них скончались от инвазивного рака груди. Естественно, когда изъятые органы подготовили к исследованию – то есть рассекли каждую молочную железу на четыре части и взяли тонкие срезы для изучения на стеклах – в этих шести образцах были отмечены характерные изменения. Но к огромному удивлению исследователей, настораживающие признаки рака груди, которые обычно врачи лабораторной диагностики выискивают у живых пациенток, обнаружились почти у каждой четвертой из остальных 77 женщин, хотя они умерли совершенно по другим причинам – например, от сердечно-сосудистых заболеваний или в автомобильной катастрофе.

У четырнадцати, не имевших при жизни никаких симптомов болезни, нашли клетки рака in situ, не вышедшего за пределы млечных протоков и железы. Те самые клетки, из-за которых их носительницам при жизни поставили бы диагноз “рак груди”. У троих обнаружили атипичные клетки – тоже повод для беспокойства при биопсии, – и у одной оказался самый настоящий инвазивный рак, при том что до самой смерти она об этом даже не догадывалась^[169].

Эти цифры всех удивили, но они не были ошибкой эксперимента. Похожие результаты получили и другие исследователи. Действительно, по некоторым оценкам, около 9 % женщин ходят с раковой опухолью в груди, ничего не подозревая^[170], – это примерно в десять раз больше той доли женщин, у кого диагностируются злокачественные новообразования в молочной железе^[171].

В чем же дело? Неужели мы и впрямь имеем тихую эпидемию? Нет, считает доктор Джонатан Каневски, новатор в области медицины, хирург из канадского Университета Макгилла. Во всяком случае, не совсем. Потому что не всегда надо волноваться из-за того, что обнаружен рак:

Если в организме есть раковые клетки, иммунная система может идентифицировать их как мутировавшие, немедленно бросится в атаку и постарается их уничтожить – такой рак не разовьется до угрожающего состояния. Но иммунная система может разладиться, в таком случае организм позволяет опухоли расти и развиваться. Вот тогда рак может вас убить^[172].

Новообразования развиваются по-разному. С одними разберется ваш организм, другие так и будут вести себя более или менее спокойно до вашей кончины, третьи перерастут в агрессивные, ярко выраженные раковые опухоли. К сожалению, зачастую мы не можем угадать, чем грозит то или иное новообразование.

Именно по этой причине коварные промежуточные состояния между доброкачественной опухолью и запущенным раком могут создать нам массу проблем. Это всего лишь классификация, и врачи должны руководствоваться ею, но, если какие-то клетки в биоптате вызовут подозрения у врача, выбранная категория просто поможет описать текущую картину. Не факт, что можно будет дать прогноз относительно того, что вас ждет. Однако пациента, безусловно, больше всего волнует прогноз.

В итоге врачи и пациенты нередко проявляют излишнюю предусмотрительность при выборе лечения. Возьмем, к примеру, рак in situ. Эта стадия приближается к более опасной области спектра – опухоль растет, но пока еще не задевает прилегающие ткани. Дело нешуточное, но до смертельно опасной стадии преинвазивный рак in situ дойдет лишь в одном случае из десяти. Тем не менее в США каждой четвертой женщине с таким диагнозом грозит тотальная мастэктомия – тяжелая операция с очень серьезными последствиями для ее физического и психологического состояния^[173].

В самом деле, чем глубже и основательнее проводится скрининг молочных желез, тем сильнее это сказывается на тех женщинах, которые иначе жили бы счастливо, даже не думая ни о каких новообразованиях. Группа независимых ученых из Великобритании пришла к выводу, что для 43 из каждых 10 000 женщин, которые в ближайшие двадцать лет пройдут маммографию, удастся предотвратить смерть от рака груди. А согласно результатам исследования, опубликованным в New England Journal of Medicine, опасные для жизни опухоли будут выявлены у 30 из каждых 100 000 женщин, явившихся на плановую маммографию^[174]. Но, в зависимости от источника статистических данных, втрое или даже вчетверо больше женщин будет лечиться от опухолей, вовсе не представляющих опасности^[175].

Если вы хорошо умеете находить отклонения от нормы, но плохо представляете себе дальнейшее развитие заболевания, вам будет трудно бороться с перегибами в диагностике и выборе методов лечения. И все-таки надежда есть. Иногда, как и с автобиографиями монахинь, в старых и более свежих данных о пациенте удается заметить кое-какие ориентиры, позволяющие предположить, что будет с его здоровьем спустя несколько лет. В таком случае поиск подобной информации – самая подходящая работа для нейросети.

На поле боя, где врачи десятилетиями бьются над вопросом, почему одно отклонение от нормы опаснее другого, алгоритм, которому не разъяснили, что именно искать, может проявить себя с лучшей стороны. Если только вам удастся собрать для обучения алгоритма достаточно обширную коллекцию снимков биоптатов – как неизбежно метастазирующих (то есть поражающих и другие органы) опухолей, так и не дающих метастазов, – абсолютно свободный от теоретических предубеждений алгоритм смог бы выудить скрытые наводки на прогноз вашего здоровья. Как говорит Джонатан Каневски, “алгоритму вполне по силам найти на каждом изображении характерные особенности, по которым будет понятно, даст ли опухоль метастазы”^[176].

С таким алгоритмом тип биоптата уже не имеет ключевого значения. Уже не так интересно, почему да отчего – вы сразу получаете ответ на самый волнующий вопрос: нужно вам лечиться или нет?

Отрадно, что подобные алгоритмы разрабатываются. Уже знакомый нам патолог из Гарварда и директор компании PathAI Энди Бек недавно опробовал свой алгоритм на серии образцов, взятых у пациентов из Нидерландов, и обнаружил, что самые точные прогностические показатели выживаемости были получены не из биоптатов опухоли, а из образцов прилегающих тканей с отклонениями от нормы^[177]. Это большой шаг вперед – впечатляющий пример самостоятельной исследовательской работы алгоритмов и подтверждение их способности находить паттерны, благодаря чему наши прогнозы становятся более надежными.

Само собой, при этом мы получаем колоссальный объем информации. Благодаря массовым маммографическим обследованиям в разных странах мы имеем больше снимков молочных желез, чем любого другого органа. Я не врач клинической диагностики, но все специалисты, с кем я говорила, уверяли меня, что уже в обозримом будущем мы сможем достоверно предсказывать, переродится ли сомнительное новообразование в рак. Очень может быть, что к тому времени, когда моя книга выйдет в мягкой обложке, кто-нибудь где-нибудь уже воплотит в жизнь эту революционную идею.

Цифровая диагностика

Все это касается не только рака груди. Нейросетям, которые создают Энди Бек и другие ученые, все равно, что разглядывать. Вы можете велеть им расписать по классам что угодно – собак, головные уборы, сыры. Они научатся, лишь бы вы дали им понять, когда они угадали, а когда нет. Теперь, когда алгоритмы этого семейства стали достаточно хороши для практического применения, они вмешиваются в самые разные области современной медицины.

Одно из недавних достижений принадлежит команде проекта Google Brain (“Гугл-мозг”), создавшей программу для скрининга на диабетическую ретинопатию – самую распространенную причину потери зрения, которую, однако, можно предупредить. При этой патологии поражаются сосуды в светочувствительной зоне глаза. Если это осложнение выявлено, зрение удастся спасти с помощью инъекций, но, если его вовремя не обнаружить, последствия будут необратимы. В Индии, где не все могут получить квалифицированную помощь в диагностике этой патологии, 45 % людей с диабетической ретинопатией обречены на частичную потерю зрения еще до того, как они узнают о своем состоянии. Сегодня алгоритм, разработанный сотрудниками Google Brain совместно с индийскими медиками, диагностирует диабетическую ретинопатию не хуже офтальмолога.

Существуют такие же программы для диагностики сердечно-сосудистых заболеваний^[178], эмфиземы легких^[179], инсульта^[180] и меланомы^[181]. Созданы даже такие системы, которые распознают полипы прямо во время колоноскопии.

Факт тот, что если можно сделать снимок и пометить изображение патологического изменения, то можно и создать алгоритм, который его найдет. Вероятно, тогда удастся поставить диагноз более точно, а может, и раньше, чем это сделает человек.

Но как быть с другими медицинскими данными, подчас имеющими странные форматы? Можно ли расширить возможности алгоритмов, так чтобы они решали не только какие-то конкретные задачи в узких областях? Скажем, можно ли создать программу для расшифровки каракулей вашего доктора? Или такую, которая выловит самые мелкие характерные детали в ваших жалобах на боль?

Как вам такая картина из жанра научно-медицинской фантастики: в приемной врача вас внимательно выслушивает компьютер, и он же изучает вашу историю болезни? Можно ли представить себе машину, в совершенстве владеющую всеми тонкостями самой современной диагностики? Машину, которая ставит точный диагноз и предлагает индивидуально подобранный план лечения?

Иначе говоря, можно ли создать нечто вроде маленького компьютерного доктора Ватсона?

Элементарно, Ватсон!

Однажды в 2004 году Чарльз Ликел ужинал с коллегами в нью-йоркском ресторане. Где-то посередине трапезы он заметил, что народу в зале поубавилось. Чарльз удивился, пошел вслед за всеми и увидел столпившихся перед телевизором людей, увлеченно наблюдавших за популярным шоу Jeopardy!^[182]. Знаменитый чемпион Кен Дженнингс, который выигрывал уже полгода кряду, готовился побить собственный рекорд, и зрители не хотели пропустить это событие.