Совместимость. Как контролировать искусственный интеллект Рассел Стюарт
Чтобы сделать вывод о возможном наличии невидимой «Хонды», «Вольво» мог бы собрать подсказки, приближаясь к перекрестку: в частности, что движение в двух других рядах остановилось, хотя еще горел зеленый сигнал, что передние машины в линии не выезжают на перекресток, и у них горят тормозные огни. Это неоднозначные свидетельства существования невидимой машины, совершающей левый поворот, но однозначные и не нужны, достаточно малой вероятности, чтобы дать алгоритму подсказку сбросить скорость и более осторожно въезжать на перекресток.
Эта история учит нас, что интеллектуальные агенты, действующие в частично наблюдаемой среде, должны отслеживать даже то, чего они не могут видеть, — насколько возможно, — основываясь на имеющихся видимых подсказках.
Приведу еще один пример, личного характера. Где ваши ключи от автомобиля? Если вы не ведете машину, читая эту книгу (что не рекомендуется!) то, скорее всего, не видите их в данную минуту. В то же время вы, вероятно, знаете, где они: у вас в кармане, в сумке, на прикроватном столике, в кармане пальто, висящего на вешалке, или, скажем, на крючке в кухне. Вы знаете это, потому что положили их туда, и с тех пор они не перемещались. Это простой пример использования знания и рассуждения для отслеживания состояния мира.
Не будь у нас этой способности, мы плутали бы — иногда буквально. Скажем, сейчас, когда я это пишу, то смотрю на белую стену самого обыкновенного номера в отеле. Где я нахожусь? Если бы мне пришлось полагаться на текущую сенсорную входящую информацию, я именно потерялся бы. Я же знаю, что нахожусь в Цюрихе, потому что вчера прилетел в Цюрих и не уезжал из него. Как и люди, роботы должны знать, где находятся, чтобы успешно ориентироваться в комнатах и зданиях, на улице, в лесу и в пустыне.
В общем, состояние уверенности, а не текущий сенсорный входящий сигнал, является подходящей основой для принятия решений о дальнейших действиях. Поддержание актуальности состояния уверенности — основная деятельность любого интеллектуального агента. В случае некоторых элементов состояния уверенности это происходит автоматически. Например, я просто знаю, что нахожусь в Цюрихе, мне не приходится об этом размышлять. В отношении других элементов это делается, так сказать, по запросу. Например, если я просыпаюсь в новом городе с большим сдвигом часовых поясов посреди долгой поездки, мне иногда требуются сознательные усилия, чтобы восстановить понимание того, где я нахожусь, что должен делать и почему. Думаю, это напоминает перезагрузку ноутбука. Отслеживание не предполагает постоянного точного знания обо всем в мире. Очевидно, это невозможно. Например, я понятия не имею, кто живет в соседнем номере моего ничем не примечательного цюрихского отеля, не говоря уже о нынешнем местонахождении и занятиях большинства из 8 млрд жителей Земли. У меня нет ни малейшего представления о том, что творится в остальной Вселенной за пределами Солнечной системы. Моя неопределенность в отношении текущего положения дел является одновременно громадной и неизбежной.
Базовым методом отслеживания состояния неопределенного мира является Байесово обновление. Его алгоритмы обычно включают два шага: шаг прогнозирования, когда агент предсказывает текущее состояние мира с учетом своего самого недавнего действия, и последующий шаг обновления, когда он получает новые сенсорные входные данные и соответствующим образом обновляет свои представления. Для понимания того, как это работает, рассмотрим проблему, с которой сталкивается робот при выяснении того, где находится. На рис. 21(а) показан типичный случай. Робот находится в центре комнаты, пребывая в некоторой неопределенности относительно своего точного местоположения, и хочет выйти в дверь. Он дает своим колесам команду продвинуться на полтора метра в направлении двери. К сожалению, у него старые разболтанные колеса, и прогноз робота о том, где он закончит движение, является довольно неопределенным, как показано на рис. 21(б). Если он теперь попытается продолжить движение, то может врезаться в дверь. К счастью, у него есть эхолокатор, и он может измерить расстояние до дверного косяка. Как представлено на рис. 21(в), измерения позволяют предположить, что робот находится в 70 см от левого косяка и в 85 см от правого. Наконец, робот обновляет свое состояние уверенности, объединяя прогноз (б) с измерениями (в) и получая новое состояние уверенности, продемонстрированное на рис. 21(г).
Алгоритм отслеживания доверительного состояния может быть использован для работы с определенностью не только в отношении местоположения, но и самой карты. Так был получен метод «Одновременная локализация и картирование» (Simultaneous localization and mapping, SLAM). Этод метод — основной компонент многих ИИ-приложений, от систем дополненной реальности до автомобилей с полным автопилотом и планетоходов.
Приложение Г. Обучение на опыте
Обучение — это повышение результативности на основе опыта. Для системы зрительного восприятия это может означать обучение распознаванию большего числа категорий объектов с опорой на наблюдаемые примеры этих категорий. Для систем, основанных на опыте, само приобретение дополнительного знания является обучением, потому что означает, что система сумеет ответить на большее количество вопросов. Для прогностической системы принятия решений, такой как AlphaGo, обучение может означать повышение ее способности оценивать игровую позицию или исследовать полезные части дерева возможностей.
Обучение на примерах
Самая распространенная форма машинного обучения называется контролируемым обучением, или обучением с учителем. Алгоритм контролируемого обучения получает набор упражнений, для каждого из которых указан правильный ответ, и должен сформировать гипотезу о том, в чем состоит правило. Обычно система контролируемого обучения стремится оптимизировать соглашение между гипотезой и учебными образцами. Часто также вводится штраф за более сложную, чем это необходимо, гипотезу, в соответствии с принципом Оккама.
Проиллюстрируем это на задаче изучения допустимых ходов в го. (Если вы знаете правила го, вам будет проще следить за ходом рассуждений, если нет — легче проникнуться сочувствием к обучающейся программе.) Допустим, алгоритм начинает с гипотезы:
для всех временных шагов t и для всех местоположений l
допустимо выставить камень на местоположение l в момент времени t.
В позиции, представленной на рис. 22, ход черных. Алгоритм пробует ход А — все хорошо. Б и В тоже. Затем программа пробует совершить ход Г, поставив камень поверх уже лежащего белого камня: он недопустим. (В шахматах или нардах так можно было бы ходить, именно так «съедаются» фигуры.) Ход Д, поверх черного камня, также недопустим. (Недопустим и в шахматах, но допустим в нардах.) На этих пяти учебных примерах алгоритм может построить следующую гипотезу:
для всех временных шагов t и для всех местоположений l
если l не занято в момент времени t,
то допустимо выставить камень на местоположение l в момент времени t.
Затем программа пробует ход Е и, к своему удивлению, обнаруживает, что он недопустим. После несколько фальстартов она приходит к выводу:
для всех временных шагов t и для всех местоположений l
если l не занято в момент времени t
и l не окружено камнями противника,
то допустимо выставить камень на местоположение l в момент времени t.
(Иногда в го это правило называется запретом самоубийства.) Наконец, она проверяет ход Ж, который в этом случае оказывается допустимым. Почесав затылок и, возможно, еще немного поэкспериментировав, программа останавливается на гипотезе, что Ж годится, несмотря на то что камень окружен, потому что захватывает белый камень на Г и сразу же становится не окруженным.
Как видно из постепенного развития правил, обучение происходит через последовательность модификаций гипотезы, так чтобы она соответствовала наблюдаемым примерам. Обучающийся алгоритм делает это с легкостью. Исследователи машинного обучения разработали всевозможные остроумные алгоритмы быстрого поиска хороших гипотез. В данном случае алгоритм ведет поиск в пространстве логических выражений, представляющих правила го, но гипотезы могут являться и алгебраическими выражениями, представляющими физические законы, вероятностными Байесовыми сетями, представляющими заболевания и симптомы, или даже компьютерными программами, определяющими сложное поведение какой-то другой машины.
Второй важный момент состоит в том, что даже хорошая гипотеза может быть неверной. На самом деле, вышеприведенная гипотеза неверна, даже после внесения исправления о том, что ход Ж является допустимым. Она должна включать правило ко, или отсутствия повторов. Например, если белые только что захватили черный камень на Ж, сделав ход на Г, то черные не могут сделать перезахват, пойдя на Ж, поскольку создается та же позиция. Обратите внимание, что это правило резко отличается от того, что программа выучила к настоящему моменту, поскольку означает, что допустимость не может определяться текущей позицией, необходимо помнить и предыдущие.
Шотландский философ Дэвид Юм заметил в 1748 г., что индуктивное рассуждение — а именно от конкретного наблюдения к общим принципам, — не может гарантировать истинности вывода[360]. Современная теория статистического обучения не требует гарантий абсолютной истинности, а лишь гарантию того, что найденная гипотеза, вероятно, является приблизительно правильной[361]. Обучающемуся алгоритму может «не повезти» наткнуться на нерепрезентативную выборку, например он так и не попробует сделать ход на Ж, считая его недопустимым. Возможно также, что он не сумеет предсказать какие-нибудь редкие пограничные случаи, скажем, охватываемые какими-то более сложными и редко всплывающими разновидностями правила отсутствия повторов[362]. Однако, поскольку Вселенная проявляет определенную степень регулярности, крайне маловероятно, чтобы алгоритм выработал чрезвычайно плохую гипотезу, потому что такая гипотеза почти наверняка была бы отброшена одним из экспериментов.
Глубокое обучение — метод, вызывающий в СМИ всю эту шумиху по поводу ИИ, — является, главным образом, формой контролируемого обучения. Это одно из самых существенных достижений в сфере ИИ за последние десятилетия, поэтому полезно разобраться, как он работает. Более того, некоторые исследователи убеждены, что этот метод позволит создать ИИ-системы человеческого уровня в течение нескольких лет, так что стоит оценить, насколько это вероятно.
Проще всего понять глубокое обучение в контексте конкретной задачи, например обучения умению отличать жирафов от лам. Получив некоторое количество подписанных фотографий тех и других животных, обучающийся алгоритм должен сформировать гипотезу, позволяющую ему классифицировать неподписанные изображения. С точки зрения компьютера изображение есть не более чем большая таблица с числами, каждое из которых соответствует одному из трех RGB-значений одного пикселя изображения. Итак, вместо гипотезы го, которая принимает позицию на доске и ход как входной сигнал и решает, является ли ход допустимым, нам нужна гипотеза «жирафлама», которая брала бы таблицу чисел в качестве входа и предсказывала категорию (жираф или лама).
Возникает вопрос: что это должна быть за гипотеза? За последние 50 с лишним лет исследования компьютерного зрения было опробовано много подходов. Сегодня фаворитом является глубокая сверточная нейронная сеть. Разберем по пунктам. Она называется сетью, потому что представляет собой комплексное математическое выражение, составленное упорядоченным образом из множества меньших выражений, причем композиционная структура имеет форму сети. (Такие сети часто называют нейронными, потому что их разработчики вдохновляются сетями нейронов головного мозга.) Она называется сверточной, потому что это хитрый математический способ сказать, что структура сети повторяется согласно определенной закономерности по всему входному изображению. Наконец, она называется глубокой, потому что обычно у такой сети много слоев, к тому же это звучит впечатляюще и чуточку зловеще.
Упрощенный пример (упрощенный, потому что реальные сети могут иметь сотни слоев и миллионы узлов) представлен на рис. 23. Сеть в действительности является изображением комплексного корректируемого математического выражения. Каждый узел сети соответствует простому корректируемому выражению, как показано на рисунке. Корректировки осуществляются путем изменения веса каждого входного сигнала, о чем свидетельствует выражение «регулятор уровня». Взвешенная сумма входных сигналов затем проходит контрольную функцию, после чего достигает выходной стороны узла. Обычно контрольная функция подавляет малые значения и пропускает большие.
Сеть обучается, просто «подкручивая все ручки регулировки громкости», уменьшая ошибку прогнозирования по подписанным примерам. Все очень просто: ни магии, ни особенно хитрых алгоритмов. Выяснение того, в какую сторону крутить ручки, чтобы уменьшить ошибку, — это самый обычный случай вычисления того, как изменение каждого веса изменит ошибку в выходном слое. Это ведет к простой формуле проведения ошибки обратным ходом от выходного слоя к входному с подкручиванием ручек по пути.
Удивительно, но процесс работает! В задаче распознавания объектов на фотографиях алгоритмы глубокого обучения продемонстрировали потрясающие результаты. Первый намек на них дал конкурс 2012 г. ImageNet, участникам которого предлагались обучающие данные, состоящие из 1,2 млн подписанных изображений из 1000 категорий, на основании которых алгоритм должен был подписать категории 100 000 новых изображений[363]. Джефф Хинтон, британский специалист по вычислительной психологии, стоявший у истоков первой революции нейронных сетей в 1980-х гг., экспериментировал с очень большой глубокой сверточной сетью: 650 000 узлов и 60 млн параметров. Со своей группой в Университете Торонто он добился на ImageNet уровня ошибок в 15 % — резкое улучшение по сравнению с предыдущим рекордом — 26 %[364]. К 2015 г. десятки команд использовали методы глубокого обучения, и уровень ошибок упал до 5 %, что сопоставимо с результатами человека, потратившего несколько недель на обучение распознаванию тысяч категорий этого теста[365]. К 2017 г. уровень ошибок у машин составил 2 %.
Примерно в тот же период были достигнуты сравнимые улучшения в распознавании речи и машинном переводе на основе аналогичных методов. В совокупности это три самые важные сферы применения ИИ. Глубокое обучение сыграло важную роль и в приложениях для обучения с подкреплением, например в изучении функции ценности, с помощью которой AlphaGo оценивает желательность возможных будущих позиций, а также в освоении регуляторов сложного роботизированного поведения.
В то же время мы очень слабо понимаем, почему глубокое обучение так хорошо работает. Пожалуй, лучшее объяснение заключается в глубине глубоких сетей: поскольку они имеют много слоев, каждый слой может изучить относительно простое преобразование входного сигнала в выходной, и множество этих простых преобразований в совокупности дает сложное преобразование, необходимое для перехода от фотографии к определению категории. Кроме того, глубокие сети для распознавания визуальных образов имеют встроенную структуру, усиливающую трансляционную и масштабную инвариантность. Это означает, что собака является собакой, независимо от того, в каком месте изображения находится и насколько большой выглядит на нем.
Другим важным свойством глубоких сетей является то, что они часто находят внутренние представления, передающие элементарные признаки изображений, скажем, глаза, полосы и простые формы. Ни один из этих признаков не является встроенным. Мы знаем, что они есть, потому что можем поставить эксперимент с обученной сетью и увидеть, какие данные заставляют внутренние узлы (обычно ближние к внешнему слою) активироваться. В действительности можно запустить обучающийся алгорит по-другому, так, чтобы он скорректировал само изображение, вызывая более сильный отклик в избранных внутренних узлах. Многократное повторение этого процесса приводит к явлению, ныне известному как глубокое сновидение, или инцепционизм, как на примере из рис. 24[366]. Инцепционизм стал самостоятельным видом искусства, в котором создаются изображения, не похожие ни на какие творения человека.
При всех замечательных достижениях системы глубокого обучения, насколько мы их понимаем на сегодняшний день, далеки от того, чтобы стать основой универсальных интеллектуальных систем. Их принципиальной слабостью является то, что они представляют собой схемы; это родственники пропозиционной логики и Байесовых сетей, которые, при всех своих прекрасных свойствах, также не способны выражать комплексные формы знания последовательным образом. Это значит, что глубокие сети, функционирующие в «собственном режиме», требуют огромных схем для репрезентации относительно простых типов общего знания, что, в свою очередь, предполагает изучение огромного количества весов, следовательно, на выходе получаем непомерно много примеров — больше, чем найдется во Вселенной.
Высказывается мнение, что мозг также состоит из цепей, элементами которых являются нейроны, следовательно, цепи могут поддерживать интеллект человеческого уровня. Это верно, но лишь в том же смысле, в каком истинно утверждение, что мозг состоит из атомов. Действительно, атомы могут поддерживать интеллект человеческого уровня, но это не значит, что достаточно собрать атомы вместе, чтобы получить интеллект. Атомы должны быть определенным образом организованы. Компьютеры также состоят из цепей, как в блоках памяти, так и в обрабатывающих модулях, но эти цепи должны быть определенным образом организованы и добавлено программное обеспечение, чтобы компьютер смог поддерживать высокоуровневые языки программирования и системы логического рассуждения. В настоящее время, однако, нет признаков того, что системы глубокого обучения способны выработать эти способности самостоятельно, — и с научной точки зрения бессмысленно ждать от них этого.
Есть и другие причины считать, что глубокое обучение может выйти на плато задолго до достижения универсальной разумности, но я сейчас не ставлю перед собой задачу диагностировать все проблемы. Многие из них перечислены другими специалистами, как входящими в сообщество исследователей глубокого обучения[367], так и сторонними[368]. Дело в том, что, просто создавая все более крупные и глубокие сети, объемные комплексы данных и мощные машины, невозможно создать ИИ человеческого уровня. Мы уже познакомились (в Приложении Б) с мнением генерального директора DeepMind Демиса Хассабиса, что «высокоуровневое мышление и символическое рассуждение» принципиально важны для ИИ. Другой видный эксперт по глубокому обучению Франсуа Шолле выразил эту мысль следующим образом: «Намного большее число приложений совершенно недостижимо для сегодняшних методов глубокого обучения — даже при наличии огромного объема аннотированных человеком данных… Мы должны отходить от прямолинейного картирования „от входа к выходу“ и двигаться к рациональному рассуждению и абстракции»[369].
Обучение на основе рассуждения
Всякий раз, как вы ловите себя на обдумывании чего-либо, вы это делаете, поскольку еще не знаете ответа. Если у вас спрашивают номер только что купленного мобильного телефона, скорее всего, вы его не знаете. Вы думаете: «Итак, я не знаю номер. Как бы мне его выяснить?» Не являясь рабом сотового телефона, вы не представляете, как получить эту информацию, и спрашиваете себя: «Как бы мне установить способ, которым можно это выяснить?» На этот вопрос есть универсальный ответ: «Наверняка его написали на чем-то, что пользователям легко найти». (Это естественно!) Очевидные места — в верхней части основного экрана (не здесь), в приложении смартфона или в установках приложения. Вы набираете Settings>Phone — вот и он.
В следующий раз, когда у вас спросят номер, вы будете знать или его, или точный способ его найти. Вы помните процесс, и не только для этого телефона в данной ситуации, но для всех аналогичных телефонов во всех ситуациях, а именно — вы храните и повторно используете обобщенное решение задачи. Обобщение является обоснованным, поскольку вы понимаете, что особенности данного конкретного телефона и данной конкретной ситуации не относятся к делу. Вы были бы потрясены, если бы этот метод работал только по вторникам для телефонных номеров, оканчивающихся на 17.
Го демонстрирует прекрасный пример обучения аналогичного типа. На рис. 25(а) мы видим типичную ситуацию, когда черные угрожают захватить камень белых, окружив его. Белые пытаются вырваться из окружения, добавляя камни, соседствующие с исходным, но черные продолжают отрезать пути к бегству. Эта схема ходов образует лестницу из камней по диагонали через доску, в конце концов упирающуюся в край, когда белые больше ничего не могут сделать. Если бы вы играли белыми, то, вероятно, не захотели бы повторить эту ошибку. Вы поняли бы, что схема лестницы всегда приводит к последующему захвату при любой начальной ситуации и любом направлении, на любой стадии игры, независимо от того, играете вы белыми или черными. Единственное исключение возникает, если лестница упирается в какие-то дополнительные камни, принадлежащие убегающему. Универсальность схемы лестницы напрямую вытекает из правил го.
Примеры с забытым номером телефона и с лестницей в го иллюстрируют возможность обучения эффективным общим правилам на единственном примере — огромное отличие от миллионов примеров, необходимых для глубокого обучения. В сфере ИИ этот тип обучения называется обучением на основе объяснения: увидев пример, агент может самостоятельно объяснить, почему все обернулось подобным образом, и извлечь общий принцип, выяснив, какие факторы имеют решающее значение для объяснения.
Строго говоря, процесс как таковой не добавляет новое знание. Например, белые могли бы просто вывести существование и результат общей схемы лестницы из правил го, даже не видя пример[370]. Скорее всего, однако, белые никогда не узнали бы о понятии лестницы, если бы не увидели его пример. Таким образом, обучение на основе объяснения можно рассматривать как действенный метод сохранения результатов вычислений в генерализованном виде, без необходимости повторять один и тот же мыслительный процесс (или ту же самую ошибку, при несовершенном мыслительном процессе) в будущем.
Исследования в области когнитивных наук подчеркнули важность этого типа обучения для человеческого познания. Под названием сворачивания он является краеугольным камнем очень влиятельной теории познания, предложенной Алленом Ньюэллом[371]. (Ньюэлл был одним из участников Дартмутского семинара 1956 г. и одним из лауреатов премии Тьюринга 1975 г., которую разделил с Гербертом Саймоном.) Он объясняет, почему с практикой люди начинают легче решать когнитивные задачи — многие подзадачи, изначально требующие осмысления, становятся автоматическими. Не будь этого процесса, общение людей ограничивалось бы одно- или двухсложными ответами, а математики до сих пор считали бы на пальцах.
Благодарности
Многие люди способствовали созданию этой книги. Это, прежде всего, превосходные редакторы из издательств Viking (Пол Словак) и Penguin (Лора Стикни); мой агент Джон Брокман, подтолкнувший меня что-нибудь написать; Джил Леови и Роб Райд, щедрые на полезные комментарии; а также другие читатели первых черновых текстов, особенно Зияд Марар, Ник Хэй, Тоби Орд, Давид Дювено, Мас Тегмарк и Грейс Кэсси. Кэролайн Джинмэйр оказала громадную помощь в сортировке бесчисленных рекомендаций первых читателей, а Мартин Фукуи занимался разрешениями на публикацию изображений.
Основные идеи, освещенные в этой книге, разрабатывались совместно с членами Центра исследования совместимого с человеком ИИ в Беркли. Это в первую очередь Том Гриффитс, Анка Драган, Эндрю Критч, Дилан Хэдфилд-Менелл, Рохин Шах и Смита Милли. Центром прекрасно руководят исполнительный директор Марк Нитцберг и заместитель директора Рози Кэмпбелл при щедром финансировании Open Philanthropy Foundation.
Рамона Альварес и Карин Вердо обеспечили бесперебойную работу в течение всего проекта, а моя замечательная жена Лой и наши дети, Гордон, Люси, Джордж и Айзек, щедро одаривали автора жизненно необходимыми ему любовью, терпением и подбадриванием в доведении дела до конца, не всегда в этом порядке.
Благодарность за предоставленные графические материалы
Рис. 2: (б) © The Sun / News Licensing; публикуется с разрешения Архивов Смитсоновского института.
Рис. 4: SRI International.creativecommons.org/licenses/by/3.0/legalcode.
Рис. 5: (слева) © Berkeley AI Research Lab; (справа) Boston Dynamics.
Рис. 6: © The Saul Steinberg Foundation / Artists Rights Society (ARS), New York.
Рис. 7: (слева) © Noam Eshel, Defense Update; (справа) © Future of Life Institute / Stuart Russell.
Рис. 10: (слева) AFP; (справа) публикуется с разрешения Хенрика Соренсена.
Рис. 11: Elysium © 2013 MRC II Distribution Company L. P. All Rights Reserved. Courtesy of Columbia Pictures.
Рис. 14: © OpenStreetMap contributors. OpenStreetMap.org. creativecommons.org/licenses/by/2.0/legalcode.
Рис. 19: фото местности, DigitalGlobe via Getty Images.
Рис. 20: (справа) публикуется с разрешения управления полиции Темпе.
Рис. 24: © Jessica Mullen / Deep Dreamscope.creativecommons.org/licenses/by/2.0/legalcode.
1
Цит. в пер. Н. Брагинской. — Прим. пер.
2
В русскоязычной литературе используется название «узкое исчисление предикатов». — Прим. ред.
3
Менее двух центов на пассажиро-километр. — Прим. пер.
4
Разговорное название Королевского института международных отношений (брит.). — Прим. пер.
5
В России выходит под названием «Своя игра». — Прим. ред.
6
«Торонто Мейпл Лифс» — профессиональный хоккейный клуб. — Прим. пер.
7
Министерство государственной безопасности ГДР. — Прим. пер.
8
Англ. laws — «законы». — Прим. пер.
9
Страховая дискриминация старых или трущобных районов, часто сопутствующая расовой дискриминации. — Прим. пер.
10
Англ. Erewhon, анаграмма слова nowhere — «нигде». — Прим. пер.
11
Аллюзия на стихотворение Д. Томаса «Do not go gentle into that good night», цитировавшееся в фильме «Интерстеллар». — Прим. пер.
12
В русскоязычной традиции — «принцип Юма». — Прим. пер.
13
Замечу, что в теории принятия решений уже полвека проводятся исследования по оптимизации неизвестной или неопределенной целевой функции. Простейший пример — задачи оптимизации предпочтений ЛПР (лица, принимающего решения) в ситуации, когда эти предпочтения неизвестны и выявляются в диалоге с ЛПР. — Прим. науч. ред.
14
Люди у которых гендерная идентичность совпадает с полом. — Прим. ред.
15
Смысл существования (фр.). — Прим. пер.
16
Шесть камней огромной силы из комиксов и фильмов Marvel. Если их собрать вместе, можно менять реальность по своему желанию. — Прим. ред.
17
Аллюзия к очень популярной в США детской книге Доктора Сьюза «Зеленые яйца и ветчина», написанной в 1960 г. — Прим. ред.
18
Из трактата «Левиафан» английского философа-материалиста XVI в. Томаса Гоббса. — Прим. ред.
19
Знак 4-Way Stops — аналог российского «Движение без остановки запрещено», но устанавливается со всех четырех направлений перекрестка и работает по правилу «кто первый встал на стоп-линии, тот первый и проезжает». Если встали одновременно двое, вступает в силу правило «помеха справа». Знак широко используется в США, Канаде и ЮАР. — Прим. ред.
20
В битве при Эшдауне, остановившей захват английских королевств Великой армией датчан и спасшей Уэссекс от разграбления, младший брат короля Альфред, увидев, что противник занимает выгодную позицию на вершине холма, в нарушение приказа совершил превентивную атаку, оттянул на себя основные силы врагов и обеспечил саксам победу. — Прим. пер.
21
Храм на вершине холма Монмартр в Париже. — Прим. науч. ред.
