Жизнь 3.0. Быть человеком в эпоху искусственного интеллекта Тегмарк Макс

64

Перемножение примерно 10¹¹ нейронов, примерно 10⁴ синапсов на нейрон и одного (10⁰) возбуждения нейрона в секунду дает примерно 10¹⁵ FLOPS (1 petaFLOPS) — такого быстродействия достаточно для симуляции человеческого мозга, но здесь есть много плохо понимаемых осложнений, в том числе закон, по которому происходят возбуждения, и вопрос, надо ли отдельно симулировать небольшие части нейронов и синапсов. Специалист IBM Дхармендра Модха оценил необходимую производительность в 38 petaFLOPS (http://tinyurl.com/javln43), а нейробиолог Генри Маркрам дал другую оценку — около 1 000 petaFLOPS (http://tinyurl.com/6rpohqv). Катья Грейс и Пол Кристиано утверждают, что наиболее дорогой аспект симуляции мозга не в вычислениях, а в коммуникациях, но и это под силу современному суперкомпьютеру: http://aiimpacts.org/about

65

Эта статья содержит интересные оценки вычислительной мощности человеческого мозга: Hans Moravec. When will computer hardware match the human brain. Journal of Evolution and Technology. 1998. Vol. 1.

66

Первая механическая птица: https://www.ted.com/talks/a_robot_that_flies_like_a_bird

67

Цит. по: Ray Kurzweil, The Singularity is Near, Viking Press, 2005.

68

См.: сценарий Бена Гёрцля: https://wiki.lesswrong.com/wiki/Nanny_AI

69

Статья об отношениях людей и машин (можно ли считать машины нашими рабами): http://tinyurl.com/aislaves

70

Мысленные преступления обсуждаются Бострёмом в его книге Superintelligence и, с несколько бльшим количеством технических деталей, в статье: Nick Bostrom, Allan Dafoe & Carrick Flynn (2016) Policy Desiderata in the Development Of Machine Superintelligence, http://www.nickbostrom.com/papers/aipolicy.pdf

71

Воспоминания бывшего подполковника восточногерманских спецслужб см.: http://www.mcclatchydc.com/news/nation-world/national/article24750439.html

72

Наводящие на размышления суждения о том, что может подталкивать людей к совершению поступков с ни для кого не желательными последствиями, можно найти в: Scott Alexander, Meditations on Molloch (http://slatestarcodex.com/2014/07/30/meditations-on-moloch)

73

Интерактивная хроника настораживающих событий, которые доказывают, что ядерная война может начаться случайно: http://tinyurl.com/nukeoops

74

О компенсационных выплатах жертвам ядерных испытаний в США см.: https://www.justice.gov/sites/default/files/civil/legacy/2014/10/20/Tre_SysClaimsToDateSum.pdf

75

Доклад комиссии США об угрозе электромагнитного импульса, возникающего в результате ядерного взрыва: http://www.empcommission.org/docs/A2473-EMP_Commission-7MB.pdf

76

Независимые исследования американских и советских ученых, предупреждавших Рейгана и Горбачева об опасности ядерной зимы:

— Crutzen, P. J. & Birks, J. W. (1982) The atmosphere after a nuclear war: Twilight at noon, Ambio,11;

— Turco, R. P., Toon, O. B., Ackerman, T. P., Pollack, J. B. & Sagan, C. (1983) Nuclear winter: Global consequences of multiple nuclear explosions, Science, 222, 1283–1292;

— Aleksandrov, V. V. & Stenchikov, G. L. (1983) On the modeling of the climatic consequences of the nuclear war, Proceeding on Applied Mathematics, 21: Computing Centre of the USSR Academy of Sciences, Moscow (см. рус. вариант статьи: Александров В. В., Стенчиков Г. Л. Об одном вычислительном эксперименте, моделирующем климатические последствия ядерной войны // Ж. вычисл. матем. и матем. физ. 2014. 24:1, 140–144);

— Robock, A. (1984) Snow and ice feedbacks prolong effects of nuclearwinter, Nature, 310, 667–670.

77

Расчеты климатических изменений после ядерной войны см. в: Robock A., Oman, L. & Stenchikov, L. (2007). Nuclear winter revisited with a modern climate model and current nuclear arsenals: Still catastrophic consequences, J. Geophys. Res., 12, D13107.

78

Подборка ресурсов, посвященных сфере Дайсона, подготовленная Андерсом Зандбергом: http://tinyurl.com/dysonsph

79

Ключевая статья Фримена Дайсона о сферах, носящих его имя: Freeman Dyson (1959) Search for Artificial Stellar Sources of Infrared Radiation, Science, 131: 1667–1668.

80

Крейн и Вестморланд объясняют принцип работы двигателя на черной дыре в: http://arxiv.org/pdf/0908.1803.pdf

81

Иконографика от CERN об элементарных частицах: http://tinyurl.com/cernparticles

82

В этом ролике показан безъядерный прототип, приводимый в движение взрывами бомб и разработанный в рамках проекта «Орион». Он иллюстрирует идею ядерных взрывов в качестве ракетного двигателя: https://www.youtube.com/watch?v=E3Lxx2VAYi8

83

Учебное введение в принцип действия лазерного паруса: http://www.lunarsail.com/LightSail/rit-1.pdf

84

Джей Олсон анализирует возможности космической экспансии цивилизаций: http://arxiv.org/abs/1411.4359

85

Первый подробный анализ нашего далекого будущего: Dyson, Freeman J. (1979) Time without end: Physics and biology in an open universe, Reviews of Modern Physics, 51.3, 447, http://tinyurl.com/dysonfuture (см. рус. пер. в: Далекое будущее Вселенной. Эсхатология в космической перспективе / под ред. Дж. Эллис. М.: ББИ, 2012).

86

Упомянутая выше формула Сета Ллойда говорит нам, что выполнение вычислительной операции в течение времени требует расхода энергии в E  h/4 где h — постоянная Планка. Если вы хотите выполнить одну за другой N операций, то  = T/N, откуда следует, что, расходуя энергию Е за время Т, можно выполнить N  2ET/h операций. Таким образом, и время, и энергия — это ресурсы, которых хотелось бы иметь побольше. Если вы распределите свою энергию Е между n параллельными вычислениями, то они будут осуществляться медленнее и эффективность вырастет. Ник Бострём оценивает количество операций, требуемых на симуляцию 100 лет человеческой жизни, в 10²⁷.

87

Если вы хотите получить веский аргумент, почему возникновение жизни требует довольно редкой флуктуации, из-за чего наши ближайшие соседи оказываются за 10¹⁰⁰⁰ метров от нас, я советую посмотреть видео физика и астробиолога из Принстона Эдвина Тёрнера: https://www.youtube.com/watch?v=Bt6n6Tu1beg

88

Эссе Мартина Риса о поиске внеземных цивилизаций см.: https://www.edge.org/annual-question/2016/response/26665

89

Популярное изложение статьи Джереми Ингланда о диссипативно направленной адаптации см. в: https://www.scientificamerican.com/article/a-new-physics-theory-of-life/

Основные идеи взяты из книги: Ilya Prigogine & Isabelle Stengers (1984) Order Out of Chaos: Man’s New Dialogue with Nature, Bantam (см. рус. пер.: Пригожин И., Стенгерс И. Поряок из хаоса: Новый диалог с природой / пер. с англ. Ю. А. Данилова. М.: Прогресс, 1986. — Прим. перев.).

90

О чувствах и их физиологических причинах см.:

— William James (1890) Principles of Psychology, Henry Holt & Co.;

— Robert Ornstein (1992) Evolution of Consciousness: The Origins of the Way We Think, Simon & Schuster;

— Antnio Damsio (2005) Descartes’ Error: Emotion, Reason, and the Human Brain, Penguin;

— Antnio Damsio (2012) Self Comes to Mind: Constructing the Conscious Brain, Vintage.

91

Элиезер Юдковски обсуждал возможность приведения в соответствие с целями дружественного искусственного интеллекта не просто наших целей, а наших целей («волений»), гладко экстраполированных в будущее (coherent extrapolated volition, CEV). Образно говоря, это то, чего хотела бы идеализированная версия нас самих, если бы мы знали больше, думали быстрее и были бы в большей степени людьми, чем сами бы хотели. Юдковски начал критиковать идею CEV вскоре после предания ее гласности в 2004 году: (http://intelligence.org/files/CEV.pdf) и потому, что ее сложно применить, и потому, что неясны возможности преобразования ее во что-нибудь хорошо определенное.

92

В подходе обратного обучения с подкреплением ключевая идея состоит в том, что искусственный интеллект стремится к максимальному удовлетворению не своих целей, а целей его владельца-человека. Поэтому он должен проявлять осторожность в тех случаях, когда непонятно, чего в точности хочет владелец, и надо поначалу с этим разобраться. Тогда проблемы с выключением не возникает: оно указывает на возникшее непонимание истинных намерений владельца.

93

См. статью Стива Омохундро: http://tinyurl.com/omohundro2008

94

Глубокая и содержательная книга Ханны Аренд о том, что бывает, когда разум слепо подчиняется приказам, не обращаясь к вопросам этики: Hanna Arendt (1963), Eichmann in Jerusalem: A Report on the Banality of Evil, Penguin (есть русский перевод: Арендт Х. Банальность зла. Эйхман в Иерусалиме / пер. с англ. С. Кастальский, Н. Рудницкая. М.: Европа, 2008. — Прим. перев.). Близкая дилемма возникает в работе Эрика Дрекслера (http://www.fhi.ox.ac.uk/reports/2015-3.pdf): чтобы удерживать сверхразум под своим контролем, его расчленяют на меньшие части, каждая из которых не в состоянии понять всю картину целиком. Если такое получится, то опять же возникает мощное орудие без внутренних моральных ограничителей, способное безропотно выполнять волю своего владельца. Это напоминает расчлененную бюрократию в условиях тиранической антиутопии: одна часть контролирует создание оружия, не зная, как оно будет использоваться, другая — казнит осужденных, не зная, в чем их вина, и т. п.

95

Современный вариант этого «золотого правила» предложил Джон Ролз: гипотетическая ситуация морально приемлема, если никто не хочет ее изменить, не зная заранее, какое место в ней займет.

96

Например, IQ многих людей в ближайшем окружении Гитлера был весьма высок: http://tinyurl.com/nurembergiq

97

Словарная статья о сознании Стюарта Сазерленда довольно любопытна. См.: Macmillan Dictionary of Psychology, Macmillan, 1989.

98

Эрвин Шрёдингер, один из создателей квантовой механики, сделал это замечание в книге Mind and Matter (см.: Шрёдингер Э. Разум и материя / пер. с англ. А. В. Монаков. Ижевск: НИЦ «Регулярная и хаотическая динамика», 2000. — Прим. перев.), обсуждая прошлое: что бы произошло, если бы сознательная жизнь никогда не возникла и не заняла главенствующего места? С другой стороны, возникновение искусственного интеллекта ставит логическую проблему, связанную с тем, что теперь мы сами можем начать разыгрывать пьесу перед пустыми креслами в будущем.

101Стэнфордская философская энциклопедия приводит подробный обзор различных способов определения и использования слова «сознание». См.: http://tinyurl.com/stanfordconsciousness

99

Yuval Noah Harari (2017) Homo Deus, p. 116.

100

Прекрасное введение в теорию «Системы 1» и «Системы 2» см.: Daniel Kahneman (2011) Thinking, Fast and Slow, Farrar, Straus & Giroux.

101

См.: Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, W. H. Freeman.

102

Мы осознаем лишь незначительную часть информации (скажем, около 10–50 бит), ежесекундно проходящей через наш мозг. См.: Kpfmller, K. (1962) Nachrichtenverarbeitung im Menschen, in: Steinbuch, K. (Ed.) Taschenbuch der Nachrichtenverarbeitung, 1481–1502.

Nrretranders, T. (1991) The User Illusion: Cutting Consciousness Down to Size, Viking.

103

Michio Kaku (2014) The Future of the Mind: The Scientific Quest to Understand, Enhance, and Empower the Mind, Doubleday

— Jeff Hawkins & Sandra Blakeslee (2007) On Intelligence, Times Books;

— Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux (1998) A neuronal model of a global workspace in effortful cognitive tasks, Proceedings of the National Academy of Sciences, 95, 14529–14534.

104

Знаменитый эксперимент Пенфилда «Я чувствую запах подгоревшего тоста», см.: https://www.youtube.com/watch?v=pUOG2g4hj8s

Детали о сенсоромоторных отделах коры головного мозга см.: Elaine Marieb & Katja Hoehn (2008) Anatomy & Physiology, 3rd Ed., Pearson, p. 391–395.

105

Изучение нейронных коррелятов сознания (NCCs) стало занимать в последние годы центральное место среди интересов нейробиологического сообщества. См., например:

Geraint Rees, Gabriel Kreiman & Christof Koch (2002) Neural correlates of consciousness in humans, Nature Reviews Neuroscience, 3, 261–270, и Thomas Metzinger (2000) Neural correlates of consciousness: Empirical and conceptual questions, MIT press.

106

О том, как работает непрерывное подавление вспышек, см.:

— Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, W. H. Freeman;

— Christof Koch & Naotsugu Tsuchiya (2005) Continuous flash suppression reduces negative afterimages, Nature Neuroscience, 8, 1096–1101.

107

См.: Christof Koch, Marcello Massimini, Melanie Boly & Giulio Tononi (2016) Neural correlates of consciousness: progress and problems, Nature Reviews Neuroscience, 17, 307.

108

См. с. 250 в: Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, Op.cit, а также дальнейшее обсуждение вопроса в Стэнфордскойфилософскойэнциклопедии (http://tinyurl.com/consciousnessdelay).

109

О синхронизации осознанного восприятия см.:

— David Eagleman (2015) The Brain: The Story of You, Pantheon;

— Stanford Encyclopedia of Philosophy, http://tinyurl.com/consciousnesssync

110

См.: Benjamin Libet (2004) Mind Time — The Temporal Factor in Consciousness, Harvard University Press, Chun Siong Soon, Marcel Brass, Hans-Jochen Heinze, John-Dylan Haynes (2008) Unconscious determinants of free decisions in the human brain, Nature Neuroscience, 11, 543–545, (http://www.nature.com/neuro/journal/v11/n5/full/nn.2112.html)

111

См. примеры теоретических подходов к исследованию сознания в:

— Daniel Dennett (1992) Consciousness explained, Back Bay Books;

— Bernard Baars (2001) In the Theater of Consciousness: The Workspace of the Mind, Oxford Univ. Press;

— Christof Koch (2004) The Quest for Consciousness: A Neurobiological Approach, Roberts;

— Gerald Edelman & Giulio Tononi (2008) A Universe Of Consciousness How Matter Becomes Imagination: How Matter Becomes Imagination, Hachette;

— Antnio Damsio (2012) Self Comes to Mind: Constructing the Conscious Brain, Vintage;

— Stanislas Dehaene (2014) Consciousness and the Brain: Deciphering How the Brain Codes Our Thoughts, Viking;

— Stanislas Dehaene, Michel Kerszberg & Jean-Pierre Changeux (1998) A neuronal model of a global workspace in effortful cognitive tasks, Proceedings of the National Academy of Sciences, 95, 14529–14534;

— Stanislas Dehaene, Lucie Charles, Jean-Remi King & Sebastien Marti (2014) Toward a computational theory of conscious processing, Current opinion in neurobiology, 25, 760–84.

112

Основательное обсуждение использования термина «emergence» в физике и философии см. в статье Дэвида Чалмерса: http://cse3521.artifice.cc/Chalmers-Emergence.pdf

113

Мои работы, где я доказываю, что сознание — это то, что происходит с информацией при ее обработке определенным сложным образом:

— https://arxiv.org/abs/physics/0510188

— https://arxiv.org/abs/0704.0646

Max Tegmark (2014) Our Mathematical Universe, Random House.

Дэвид Чалмерс формулирует близкую точку зрения в своей книге 1996 года The Conscious Mind: «Переживание — это информация изнутри, физика — это информация снаружи».

114

См.: Adenauer Casali et al. (2013) A theoretically based index of consciousness independent of sensory processing and behavior, Science translational medicine, 5, 198ra105, http://tinyurl.com/zapzip

115

Теория интегральной информации (IIT) не работает в непрерывных системах. См.:

— https://arxiv.org/abs/1401.1219

— http://journal.frontiersin.org/article/10.3389/fpsyg.2014.00063/full

– https://arxiv.org/abs/1601.02626

116

Интервью с Клайвом Уэрингом, кратковременная память которого всего 30 секунд, см.: https://www.youtube.com/watch?v=WmzU47i2xgw

117

Критика IIT Скоттом Аарансоном, см.: http://www.scottaaronson.com/blog/?p=1799

118

Критика IIT Черрулло, который утверждает, что интеграция — недостаточное условие для сознания, см.: http://tinyurl.com/cerrullocritique

119

Предсказание на основе IIT, что симулированные люди будут зомби, см.: http://rstb.royalsocietypublishing.org/content/370/1668/20140167

120

Критика IIT Шанаханом, см.: http://arxiv.org/ftp/arxiv/papers/1504/1504.05696.pdf

121

О слепом пятне см.: http://tinyurl.com/blindsight-paper

122

См. сн. 105.

123

«Сознание без доступа», за и против, см.: Victor Lamme (2010), How neuroscience will change our view on consciousness, Cognitive Neuroscience, 204–20 (http://www.tandfonline.com/doi/abs/10.1080/17588921003731586)

124

См.: https://www.youtube.com/watch?v=vJG698U2Mvo

125

См. сн. 126.

126

Подробное обсуждение этих вопросов см. в книге Дэниела Деннета Consciousness explained.

127

См. сн. 103.

128

См. по поводу свободы воли в Стэнфордской философской энциклопедии: https://plato.stanford.edu/entries/freewill

129

Видео, в котором Сет Ллойд объясняет, почему искусственный интеллект должен ощущать себя обладающим свободной волей, см.: https://www.youtube.com/watch?v=Epj3DF8jDWk

130

См. Dreams of a Final Theory: The Search for the Fundamental Laws of Nature (см. рус. пер.: Вайнберг С. Мечты об окончательной теории: физика в поисках самых фундаментальных законов природы / пер. с англ. А. В. Берков. М.: УРСС, 2004. — Прим. перев.).

131

См. сн. 91.

132

За открытым письмом (http://futureoflife.org/ai-open-letter/), написанным по итогам конференции в Пуэрто-Рико, о том, что проведение исследований, направленных на достижение надежности и дружественности искусственного интеллекта, необходимо и своевременно, появился документ о приоритетах, где перечислены существующие уже сегодня конкретные исслдовательские направления, которые позволяют двигаться к этой цели: http://futureoflife.org/data/documents/research_priorities.pdf

133

Мое видеоинтервью с Илоном Маском о AI-безопасности: https://www.youtube.com/watch?v=rBw0eoZTY-g

134

Видеокомпиляция практически всех попыток посадить ракету SpaceX, включая успешную, см.:

https://www.youtube.com/watch?v=AllaFzIPaG4

135

Сообщение о нашем конкурсе по AI-безопасности Маск опубликовал в своем Twitter: https://twitter.com/elonmusk/status/555743387056226304

136

Твитт Маска о нашем открытом письме, призывающем к исследованиям по AI-безопасности: https://twitter.com/elonmusk/status/554320532133650432

137

Статья, подшучивающая над новостной бурей в прессе по поводу нашего открытого письма, см.: http://www.popsci.com/open-letter-everyone-tricked-fearing-ai

138

Твитт Маска о его большом пожертвовании в пользу нашего института и исследований по AI-безопасности: https://twitter.com/elonmusk/status/555743387056226304

139

Сайт Партнерства по созданию искусственного интеллекта на благо людей и общества (Partnership on AI to benefit people and society), см.: https://www.partnershiponai.org

140

Примеры недавних отчетов по искусственному интеллекту, см.:

— 100-летняя программа исследований искусственного интеллекта в Стэнфорде: http://tinyurl.com/stanfordai

— Отчет Белого дома о будущем искусственного интеллекта: http://tinyurl.com/obamaAIreport

— Отчет Белого дома о воздействии искусственного интеллекта на рынок труда: http://tinyurl.com/AIjobsreport

— Отчет IEEE об искусственном интеллекте и человеческом благосостоянии: http://standards.ieee.org/develop/indconn/ec/ead_v1.pdf

— Дорожная карта US Robotics: http://tinyurl.com/roboticsmap

141

Среди принципов, не попавших в итоговый документ, один из самых мной любимых был такой: «Пока нет общего согласия, мы должны избегать сильных допущений относительно возможности искусственного интеллекта обладать сознанием и чувствами или требовать их для себя». Он прошел много итераций, и на последней из них вызывавшее споры слово «сознание» было заменено на «субъективные переживания», и все равно этот принцип набрал только 88 % голосов, лишь немного недотянув до требуемых 90 %.

142

Дискуссионная панель с Илоном Маском и другими великими умами, см.: http://tinyurl.com/asilomarAI