Неизведанная территория. Как «большие данные» помогают раскрывать тайны прошлого и предсказывать будущее нашей культуры Эйден Эрец

Давайте представим, что у нас есть робот, способный прочитать каждую книгу на каждой полке всех крупных библиотек мира. Он может их прочесть невероятно быстро и запомнить каждое прочитанное слово в своей бесперебойно работающей памяти. Чему мы могли бы научиться у такого робота-историка?

Вот вам простой пример, знакомый каждому американцу. В наши дни принято говорить, что южные штаты полны (are full, множественное число) южан. Мы также говорим, что северные штаты полны (are full) северян или что штаты Новой Англии полны (are full) жителями. Однако мы говорим: the United States is full of citizens (то есть «США полон жителей», единственное число). Почему мы используем единственное число? Вопрос лежит не только в области грамматики – это, скорее, вопрос нашей национальной идентичности.

После основания Соединенных Штатов Америки основополагающий документ – Статьи Конфедерации – наделил центральное правительство слабыми полномочиями и описывал новое государство не как национальное объединение, а, скорее, как «дружеский союз» между отдельными государствами, чем-то напоминающий современный Европейский союз. Люди воспринимали себя не гражданами США, а гражданами определенного штата (государства).

И в этом смысле граждане говорили о Соединенных Штатах во множественном числе, что было вполне закономерно для союза различных и в целом независимых государств. Например, в обращении президента Джона Адамса 1799 года говорится о «Соединенных Штатах и их договорах с ее Британским Величеством» (курсив наш. – Э. Э. и Ж.-Б. М.). В наше время для президента США это совершенно немыслимо.

Когда же слова «Мы, народ…» (Конституция США, принятая в 1787 году) стали обозначать «одну нацию» (Клятва верности флагу, включенная в «Кодекс о флаге США» в 1942 году)? [1]

Если бы мы спросили об этом людей-историков, то, возможно, они бы указали нам на самый знаменитый ответ из финала знаменитой книги Джеймса Макферсона по истории гражданской войны – «Боевой клич свободы» [2]:

…Некоторые масштабные последствия войны кажутся очевидными. Были побеждены раскол и рабство, чтобы никогда не возникнуть вновь, даже через полтора столетия после Аппоматокса. Этот итог означал серьезную трансформацию американского общества и изменение государственного устройства, уточнившегося, если не сформировавшегося, в результате войны.

До 1861 года слова «Соединенные Штаты» чаще всего использовались как существительное во множественном числе: the United States are republic («Соединенные Штаты представляют собой республику»). Война привела к тому, что «Соединенные Штаты» стали в английском языке существительным в единственном числе.

Макферсон был не первым, кто выдвинул такое предположение; эта тема обсуждается уже не менее сотни лет. Стоит хотя бы вспомнить выдержку из статьи в газете Washington Post, опубликованной в 1887 году[3]:

Какое-то время, буквально несколько лет назад, о Соединенных Штатах говорилось во множественном числе. Было принято говорить: «Соединенные Штаты имеют» или «Соединенные Штаты являлись». Однако война все изменила. Вопрос грамматики был навсегда решен на линии огня от Чесапика до Сэбин-Пасс. Решение приняли не Уэллс, не Грин, не Линдли Мюррей, а сабли Шеридана, мушкеты Шермана и артиллерия Гранта… Поражение мистера Дэвиса и генерала Ли означало переход от множественного числа к единственному.

Даже через сто лет после того, как была написана эта потрясающая история о языке, артиллерии и приключениях, сложно сдержать волнение. Кто бы мог представить, что люди станут сражаться за грамматику или что «мушкеты Шермана» решат спор о тонкостях словоупотребления?

Но стоит ли этому верить?

Возможно. Джеймс Макферсон – бывший президент Американской исторической ассоциации и настоящая легенда среди историков. Его самая знаменитая работа «Боевой клич свободы» получила Пулитцеровскую премию. Более того, кто бы ни написал в 1887 году статью в Washington Post, Макферсон, вероятнее всего, сам испытал этот синтаксический переворот, и его свидетельству сложно не верить.

Тем не менее Джеймс Макферсон, каким бы великим он ни был, не непогрешим. А свидетели иногда неправильно интерпретируют факты. Можно ли с этим что-то сделать?

Возможно. Давайте предположим, что мы попросили нашего робота – гипотетического робота, прочитавшего все книги из всех библиотек, – поделиться с нами своим механистическим мнением.

Представим, что в ответ на наш вопрос услужливый робот-историк обращается к своей бездонной памяти и рисует график[4]. На нем показано, насколько часто использовалось с течением времени понятие «Соединенные Штаты» в единственном или множественном числе в книгах на английском языке, опубликованных в США. Горизонтальная ось – течение времени, год за годом. На вертикальной оси указана частота употребления двух фраз в среднем на каждый миллиард слов текста за год. К примеру, робот прочитал 313 388 047 слов в книгах, опубликованных в 1831 году. Внутри этих слов робот видит фразу the United States is (то есть единственное число) 62 759 раз. Иными словами, в этом году данное выражение встречалось 20 раз на миллиард слов, что отражено в высоте синей линии за 1831 год.

Подобный график дает четкое представление о том, когда именно люди стали упоминать Соединенные Штаты в единственном числе.

Есть только одна небольшая проблема: судя по гипотетическому графику гипотетического робота, история, которую мы вам рассказываем, неверна. Во-первых, переход от множественного числа к единственному не был мгновенным. Он был постепенным, начался в 1810-х и продолжался вплоть до 1980-х – то есть более полутора столетий.

Но еще важнее то, что во времена Гражданской войны не происходило никакого резкого перехода. В сущности, период войны не особенно сильно отличался от времени до нее или после. Хотя в послевоенный период и началось некоторое ускорение процесса, однако оно произошло не ранее чем через пять лет после сдачи в плен генерала Ли. Согласно нашему роботу, единственное число не стало общеупотребительным вплоть до 1880 года (спустя пятнадцать лет после окончания войны) [5]. И даже сейчас время от времени можно увидеть колыхание знамен лингвистической «конфедерации».

Разумеется, все это выглядит довольно умозрительно, поскольку наша история о роботе с навыками скоростного чтения, превосходящего в своей способности к анализу и свидетеля событий, и историка-лауреата, кажется совершенно надуманной.

Однако все это действительно так.

Макферсон, несмотря на всю свою гениальность, ошибался в вопросе о единственном числе. Свидетель помнил события неточно. А робот, о котором мы вам рассказывали, существует на самом деле. График, приведенный чуть выше, был действительно нарисован роботом. И своей очереди еще ждут миллиарды других графиков. В наши дни миллионы людей по всему миру видят историю совершенно по-новому – цифровыми глазами робота.

Форма света

Стоит сказать, что не впервые на наше видение мира влияет появление той или иной новой линзы.

В конце XIII века по всей Италии получило активное распространение новое изобретение – очки. Всего лишь за несколько десятилетий очки прошли путь от никому не известной вещи до экзотического, а затем и вполне привычного аксессуара. Своеобразный предшественник смартфона, очки стали незаменимой вещью для множества итальянцев, совмещая в себе моду и функциональность. Они стали одним из первых триумфальных примеров использования переносных технологий.

По мере распространения очков по Европе и всему миру оптометрия превратилась в серьезный бизнес, а технологии изготовления линз стали лучше и дешевле. Разумеется, люди начали экспериментировать и изучать, что будет при совместном использовании нескольких линз. Прошло совсем немного времени, и люди поняли, что при должной инженерной сноровке можно достичь невероятной степени увеличения. Появилась возможность изготовления составных линз, с помощью которых можно было открывать новые миры, невидимые невооруженному человеческому глазу[6].

Например, с помощью таких линз можно было увеличивать изображение самых крошечных вещей. Микроскопы позволили узнать как минимум два факта, связанных с вековой тайной жизни. Во-первых, они показали, что окружающие нас животные и растения состоят из крошечных отдельных частиц. Сделавший это открытие Роберт Гук заметил, что расположение этих частиц напоминает монастырские кельи, и назвал их «клетками» [7]. Во-вторых, микроскопы позволили нам узнать о существовании микробов[8]. Эта совершенно отдельная вселенная организмов, часто состоящих из единственной клетки, населена большей частью обитателей нашего мира. До изобретения микроскопа никто даже не представлял себе, что существование подобных форм жизни возможно.

Составные линзы использовались также и для приближения удаленных объектов. Вооружившись телескопом, дающим 30-кратное увеличение – по нынешним стандартам детская игрушка, – Галилей смог заняться разгадкой тайн космоса[9]. Куда бы он ни посмотрел, телескоп позволял ему видеть больше, чем когда-либо прежде. Направив его на Луну – которая много лет казалась идеальной сферой, – флорентийский ученый видел долины, равнины и горы (а также их тени, всегда направленные в сторону от Солнца). Исследуя яркую полосу звезд на ночном небе, известную нам под названием «Млечный Путь», Галилей обнаружил, что тот состоит из огромного количества слабо святящихся звезд – то, что мы теперь называем Галактикой. Однако самые знаменитые открытия Галилея произошли после того, как он направил свой телескоп на другие планеты. Он увидел и фазы затмения Венеры, и луны Юпитера – новые миры в совершенно буквальном смысле слова.

Наблюдения Галилея позволили окончательно опровергнуть берущее свое начало со времен Птолемея убеждение, что Земля находится в центре всего сущего. Наоборот, было найдено подтверждение гипотезы Коперника о существовании Солнечной системы – то есть Солнца, окруженного вращающимися планетами. В умелых руках Галилея оптическая линза – всего лишь проявление игры света – не только послужила толчком для научной революции, но и изменила роль религии в жизни западного мира. Это было не просто рождение современной астрономии. Это было рождение современного мира[10].

Даже в наши дни, спустя пять веков, микроскоп и телескоп играют важнейшую роль в научном познании. Разумеется, сами устройства изменились. Традиционные системы оптического изображения значительно усложнились, а работа некоторых современных микроскопов и телескопов основана на совершенно иных научных принципах. Например, сканирующий туннельный микроскоп опирается на достижения квантовой механики XX века. Тем не менее до сих пор многие области знаний – столь различные, как астрономия, биология, химия и физика, – своим развитием во многом обязаны лучшим из имеющихся у нас микроскопов и телескопов.

В 2005 году оба автора, будучи еще молодыми учеными, работавшими над диссертациями, довольно много размышляли о том, к каким видам «скопов» имеют доступ современные исследователи и каким образом они могли бы способствовать развитию науки. Нас заинтересовала идея, казавшаяся многим довольно странной. В течение длительного периода времени мы увлекались изучением истории. Особенно нас заинтересовал вопрос о том, как меняется со временем человеческая культура. Некоторые из этих изменений революционны, однако часто они оказываются совершенно незаметными для человеческого разума. Как было бы здорово, подумали мы, если бы в нашем распоряжении был какой-нибудь микроскоп для измерения человеческой культуры, выявления и отслеживания мельчайших изменений, совершенно незаметных обычному наблюдателю? Или же телескоп, позволяющий наблюдать с огромного расстояния – на других континентах или много столетий назад? Словом, возможно ли создать некий «скоп», помогающий наблюдать за историческими изменениями, а не физическими объектами?

Разумеется, это не идет ни в какое сравнение с масштабами сделанного Галилеем. Современный мир уже существует; Солнце уже находится в центре Солнечной системы, и так далее, и тому подобное. Все уже знают, что «скопы» – это хорошо. Но, как мы тогда подумали, этот новый вид «скопа» может оказаться достаточно интересным для того, чтобы Гарвард позволил нам наконец защититься. А по сути, это единственное, на что вы можете надеяться, будучи таким же голодным, бедным и слишком образованным, как и типичный соискатель научной степени в Гарварде.

Пока мы размышляли над столь отвлеченными материями, вокруг нас разворачивалась революция, в которую мы смогли сполна погрузиться и даже оказаться в авангарде миллионов людей, разделяющих наше странное увлечение. В основе своей эта революция больших данных связана с тем, каким образом мы, люди, создаем и сохраняем историческую память о своей деятельности. Эта революция изменит то, как мы видим самих себя. Мы сможем создавать новые «скопы», благодаря которым наше общество станет еще эффективнее исследовать свою природу. Большие данные изменят гуманитарные науки, преобразуют общественные науки и заставят пересмотреть природу связей между миром коммерции и «башней из слоновой кости». Чтобы лучше понимать, как это стало возможным, давайте внимательнее взглянем на исторические данные – от скромных истоков до вездесущего настоящего.

Как считать овец

Десять тысяч лет назад доисторические пастухи время от времени теряли своих овец. Воспользовавшись советом других доисторических людей, страдавших от бессонницы, пастухи принялись их считать. Эти первые в истории счетоводы использовали для пересчета овец камни, по аналогии с тем, как нынешние игроки в покер используют фишки для подсчета своего выигрыша.

И это отлично сработало. На протяжении следующих четырех тысяч лет, по мере того как люди обладали все большим количеством различных товаров, они использовали простой инструмент под названием «резец», чтобы вырезать определенные изображения на камнях. Эти значки изображали различные типы объектов, требующих подсчета. Со временем, в IV тысячелетии до н. э., кто-то решил, что иметь дело с огромным количеством камней – аналогом денежной мелочи в каменном веке – крайне неудобно. Куда проще казалось взять один по-настоящему большой камень и использовать резец для того, чтобы покрыть его особыми орнаментами с каждой стороны. Так зародилась письменность[11].

Теперь может показаться удивительным, что такая обыденная вещь, как желание считать овец, стала стимулом для развития такой фундаментальной вещи, как письменный язык. Однако стремление пользоваться письменными данными всегда шло рука об руку с экономической деятельностью, поскольку сделки не имеют смысла, если вы не можете четко проследить, что кому принадлежит. Как таковая, ранняя человеческая письменность направляется заключением сделок (dealing) и созданием колеса (wheeling) – ставками в спорах, расписками и контрактами. Задолго до того, как у нас появились писания пророков (prophets), люди делали записи о прибылях (profits). По сути, многие цивилизации так никогда и не дошли до настоящей письменности и не оставили после себя ту литературу, которую мы часто связываем с историей культуры. В лучшем случае от этих древних обществ до нас дошли кучи расписок. И если бы не те коммерческие предприятия, которые создали эти данные, мы бы знали куда меньше о культурах, в которых они существовали. Теперь такое положение дел представляется вполне закономерным. В отличие от своих предшественников, многие из коммерческих предприятий в наши дни создают данные не просто как побочный продукт своего бизнеса. Компании типа Google, Facebook и Amazon создают инструменты, позволяющие пользователям представлять себя и взаимодействовать с другими в Интернете. Работа этих инструментов позволяет создавать цифровые, личные и исторические данные.

Основной бизнес таких компаний как раз и заключается в записи человеческой культуры.

И дело касается не только фиксации информации, предназначенной для общего потребления, типа веб-страниц, блогов и онлайн-новостей. Все чаще в Сети происходит и наше частное общение – посредством электронных писем, Skype или систем текстовых сообщений. Значительная их доля сохраняется (можно считать, что и вечно), причем иногда в нескольких копиях. Идет ли речь о Twitter или LinkedIn, наши личные и деловые отношения управляются Сетью и фиксируются в ней. Каждый раз, «плюсуя», «лайкая» тексты или отправляя электронные открытки, мы оставляем цифровые «отпечатки пальцев». Google будет помнить каждое слово написанного нами гневного электронного письма даже тогда, когда мы сами забудем имя человека, которому его отправляли. Фотографии в Facebook напомнят нам о подробностях вечера, проведенного накануне в баре, даже если мы ничего не помним из-за похмелья и жуткой головной боли. Если мы пишем книгу, Google сканирует ее; если мы делаем фотографию, она хранится на Flickr; а если мы снимаем видео, YouTube позволяет желающим его посмотреть.

Проживая современную жизнь, все активнее проводя время в Интернете, мы оставляем все более заметный след из цифровых «хлебных крошек» – личные исторические данные потрясающей глубины и значительного масштаба.

Большие данные

О каком масштабе идет речь?

В компьютерных науках принято считать единицей измерения информации бит (сокращение от binary digit – двоичное число). Бит можно представить себе в виде ответа на вопрос «да или нет», где 1 – это «да», а 0 – это «нет». Группа из восьми битов называется «байт» [12].

В настоящее время цифровой след обычного человека – то есть годовой объем данных, создаваемых в мире на душу населения, – составляет немногим менее одного терабайта. Это можно сравнить примерно с 8 триллионами ответов на вопрос «да или нет». В совокупности человечество создает каждый год 5 зеттабайт данных: 40 000 000 000 000 000 000 000 (сорок секстиллионов) бит[13].

Такие огромные цифры сложно себе представить, поэтому давайте их как-то конкретизировать. Если бы вы записали вручную всю информацию, содержащуюся в одном мегабайте, то ваша строка из 1 и 0 превысила бы по высоте гору Эверест[14]. Последовательность 1 и 0, составляющая 1 гигабайт, записанная вручную, соответствует длине земного экватора. А длина записанной последовательности цифр, составляющих один терабайт, равна расстоянию от Земли до Сатурна, пройденному туда и обратно 25 раз. Длина последовательности в один петабайт, записанной вручную, равна расстоянию туда и обратно до космического аппарата «Вояджер-1» (самого удаленного от Земли аппарата, созданного человечеством). Длина последовательности в один экзабайт равна расстоянию до альфы Центавра. Длина последовательности в 5 зеттабайт, создаваемых людьми каждый год, равна расстоянию до галактического центра Млечного Пути. Если бы вместо отправки электронных писем и трансляции видео эти пять зеттабайт использовались для той же цели, что и у древних пастухов – то есть для подсчета овец, – то их стадо полностью заполнило бы всю Вселенную, не оставив свободного пространства[15].

Вот почему люди дали всей этой информации название «большие данные». И большие данные сегодняшнего дня – это лишь верхушка айсберга. Полный цифровой след, оставляемый хомо сапиенс, удваивается каждые два года[16], по мере совершенствования технологий хранения данных, повышения скорости обмена информацией и постепенного перемещения нашей жизни в Интернет. Большие данные становятся все больше, больше и больше.

Цифровая линза

Пожалуй, самое значительное различие между культурными записями в наше время и в прошедшие эпохи состоит в том, что большие данные сегодняшнего дня существуют в цифровой форме. Подобно оптической линзе, позволяющей с должной степенью надежности трансформировать свет и манипулировать им, цифровые средства передачи позволяют делать то же самое с информацией. При наличии достаточного объема цифровых данных и вычислительных мощностей на человеческую культуру можно взглянуть по-новому, благодаря чему меняется то, как мы понимаем мир и свое место в нем.

Стоит задуматься вот над чем. Что лучше поможет вам понять современное человеческое общество: неограниченный контакт с факультетом социологии ведущего университета, где работают эксперты в области функционирования обществ, или неограниченный доступ к данным Facebook, компании, цель которой направлена на помощь в организации социального взаимодействия людей в Сети?

С одной стороны, работники социологического факультета имеют определенные преимущества, связанные с глубоким знанием и пониманием процессов, протекающих в обществе (вследствие того, что они посвящают десятки лет своей жизни обучению и исследованию этих вопросов). С другой стороны, Facebook представляет собой часть повседневной социальной жизни миллиарда людей. Он знает, где они живут и работают, где и с кем играют, что им нравится, когда они болеют и о чем разговаривают с друзьями. Поэтому мы отдали бы предпочтение Facebook. И это мы еще не учли того, что произойдет в мире через 20 лет, когда Facebook или любой другой сайт подобного рода будет хранить в десять тысяч раз больше информации о каждом жителе планеты? [17]

Подобные размышления уже вынуждают разных ученых заниматься совершенно непривычными вещами – вылезать из своих «башен из слоновой кости» и начинать сотрудничать с крупными компаниями. Несмотря на радикальные отличия в мировоззрении и источниках вдохновения, эти странные люди проводят исследования, которые вряд ли могли представить себе их предшественники, и используют массивы данных, масштаб которых еще не имел прецедентов в истории научной мысли.

Йон Левин, экономист из Стэнфорда, объединился с компанией eBay для изучения принципов ценообразования на рынках реального мира[18]. Левин воспользовался тем, что продавцы на eBay часто проводят массу мелких экспериментов, чтобы понять, какую цену выставлять за свои товары. Изучив сотни тысяч таких экспериментов, Левин со своими коллегами смог пролить новый свет на теорию цен – хорошо изученный, но во многом теоретический подраздел экономической науки. Левин показал, что в уже имеющейся на эту тему литературе не только содержатся реальные факты, но есть и немало значительных ошибок. Его работа оказала огромное влияние и даже помогла исследователю получить медаль Джона Бейтса Кларка – самую престижную награду для экономистов в возрасте до 40 лет, которая часто предшествует Нобелевской премии.

Группа исследователей во главе с Джеймсом Фаулером из Калифорнийского университета в Сан-Диего договорилась с Facebook о проведении эксперимента, в котором должен был участвовать 61 миллион его пользователей[19]. Эксперимент показал, что человек охотнее участвует в голосовании, если знает, что это уже сделал его близкий друг. Чем теснее люди общаются, тем большее влияние они могут оказывать друг на друга. Данный эксперимент – рассказ о котором был вынесен на обложку престижного научного журнала Nature – не просто привел к поразительным выводам; благодаря ему в 2010 году на выборы явилось на 300 тысяч людей больше. Этого хватило для того, чтобы повлиять на их итоги.

Альберт-Ласло Барабаши, физик из Северо-Западного университета, вместе с несколькими крупными телефонными компаниями работал над проектом по отслеживанию перемещения миллионов людей с помощью анализа цифрового следа, оставленного их мобильными телефонами[20]. В результате возник совершенно новый метод математического анализа обычного человеческого движения, оцененного в масштабе целых городов. Барабаши и его команда смогли настолько хорошо проанализировать историю движения, что со временем даже стали предсказывать, куда человек направится в будущем.

Сотрудники компании Google под руководством программиста Джереми Гинсбурга обратили внимание, что люди значительно чаще ищут информацию о симптомах гриппа, его осложнениях и методах лечения во время эпидемии[21]. Они воспользовались этим вполне очевидным фактом для решения более важной задачи – создания системы, изучающей в режиме реального времени, что ищут через Google жители определенного региона, и позволяющей предсказать возникновение эпидемии гриппа. Эта система раннего предупреждения смогла выявлять новые эпидемии значительно быстрее, чем Центры по контролю и профилактике заболеваний США (несмотря на тот факт, что у этих центров имеется разветвленная и дорогостоящая инфраструктура для решения именно этой задачи).

Радж Четти, экономист из Гарварда, обратился к налоговой службе США[22]. Он убедил их поделиться информацией о миллионах учащихся, посещавших учебное заведение в определенном городском районе. Вместе со своими соратниками он сопоставил эту информацию с данными из базы школьного совета (в которой фиксировалась информация о школьных заданиях). Таким образом, команда Четти знала, кто учится у тех или иных учителей. На основании всей полученной информации был проведен ряд интереснейших исследований долгосрочного влияния со стороны хороших учителей, а также политических нововведений. Они обнаружили, что работа хорошего учителя сказывается на желании учащихся продолжить учебу в колледже, на величине их дохода через много лет после окончания школы и даже на том, какова вероятность, что они поселятся в том или ином престижном районе. Затем на основании полученных выводов исследователи сформулировали рекомендации по повышению эффективности работы педагогов. В 2013 году Четти также получил медаль Джона Бейтса Кларка.

А один из основателей знаменитого блога Five Thirty Eight, бывший бейсбольный аналитик по имени Нейт Сильвер, решил выяснить, можно ли применить подход на основе больших данных для предсказания победителей национальных выборов[23]. Сильвер собрал данные, связанные с голосованием, из множества источников: Gallup, Rasmussen, RAND, Mellman, CNN и других. Используя эти данные, он совершенно точно предсказал, что Обама выиграет выборы 2008 года, а также точно спрогнозировал результаты голосования в коллегиях выборщиков 49 штатов и округа Колумбия. Единственным штатом, с которым он ошибся, была Индиана. Улучшать в системе было особенно нечего, однако ему все равно удалось это сделать. Утром в день голосования в 2012 году Сильвер объявил, что Обама с вероятностью 90,9% выиграет у Ромни, и точно предсказал победителя выборов в округе Колумбия и каждом из штатов (включая, конечно же, Индиану).

Этот список можно продолжать до бесконечности. Используя большие данные, исследователи в наши дни проводят эксперименты, о которых их предшественники не могли и мечтать.

Библиотека всего

В настоящей книге описывается история одного из таких экспериментов.

Объектом наших наблюдений были не люди, лягушки, молекулы или атомы. Эксперимент был связан с одним из самых потрясающих массивов данных в истории самой истории – цифровой библиотекой, цель которой (если верить ее создателям) состоит в том, чтобы включить все когда-либо написанные книги[24].

Как же возникла эта замечательная библиотека?

В 1996 году два старшекурсника из Стэнфорда, изучавших компьютерные технологии, работали над приостановленным ныне проектом, известным как Stanford Digital Library Technologies Project[25]. Цель проекта состояла в разработке прототипа библиотеки будущего, способной интегрировать мир книг с миром глобальной Сети. Студенты работали над инструментом, дающим пользователям возможность изучать библиотечные коллекции, перемещаясь от книги к книге в киберпространстве. Однако сделать это на практике было практически невозможно, поскольку в цифровом виде имелось довольно мало книг. Поэтому двое студентов применили свои идеи и навыки для перехода от одного текста к другому (по следу больших данных во Всемирной паутине), а затем превратили свою работу в небольшую поисковую машину, которую назвали Google.

К 2004 году проект, о котором заявляла компания Google – по «упорядочиванию всей имеющейся в мире информации», – уже реализовывался вполне успешно, благодаря чему у основателя компании Ларри Пейджа нашлось достаточно свободного времени, чтобы вернуться к своей первой любви – библиотекам. Как ни печально, но и к тому моменту количество книг, доступных в цифровой форме, оставалось незначительным. Однако изменилось другое – теперь Пейдж стал миллиардером. Поэтому он решил, что Google стоит заняться бизнесом по сканированию и оцифровке книг. И Пейдж подумал, что Google вполне по силам оцифровать все книги в мире.

Слишком смело? Несомненно. Однако компания Google лихо принялась за дело. Через девять лет после публичного заявления о начале проекта Google оцифровала более 30 миллионов книг[26]. Это примерно каждая четвертая когда-либо опубликованная книга. Коллекция Google превышает по своему размеру коллекцию Гарвардского университета (17 миллионов томов), Стэнфорда (9 миллионов), оксфордской Бодлианской библиотеки (11 миллионов) или любой другой университетской библиотеки. В ней больше книг, чем в Российской государственной библиотеке (15 миллионов), Национальной библиотеке Китая (26 миллионов) и Национальной библиотеке Германии (25 миллионов). На момент написания этой книги единственной библиотекой, в которой хранилось еще больше книг, была Библиотека Конгресса США (33 миллиона). Не исключено, что к тому моменту, как вы прочтете эти строки, Google удастся обогнать и ее.

Длинные данные

О начале работы проекта Google Books мы, как и все остальные, узнали из новостей. Однако лишь через два года, в 2006 году, влияние Google стало ощущаться в реальной жизни. В то время мы завершали научное исследование по английской грамматике. Для нее мы оцифровали вручную несколько учебников по грамматике староанглийского.

Самые нужные нам книги таились в дальних углах гарвардской Вайднеровской библиотеки. Вот как их можно найти. Сначала вам нужно подняться на второй этаж восточного крыла библиотеки. Затем пройти мимо «Рузвельтовской коллекции» и раздела, посвященного языкам американских индейцев. Там вы увидите проход с номерами каталога от 8900 и далее. Наши книги располагались на второй полке сверху.

На протяжении ряда лет, работая над своим исследованием, мы туда регулярно приходили. Мы были единственными, кто вытаскивал эти книги с полок за много лет, а то и десятилетий. Никого, кроме нас, не интересовала эта полка.

В один прекрасный день мы заметили, что книга, которой мы регулярно пользовались в своих исследованиях, появилась в Интернете как часть проекта Google Books. Заинтересовавшись, мы начали искать там и другие книги с нашей полки. Оказалось, что и они там уже есть. И дело вовсе не в том, что корпорацию Google так сильно заботит средневековая английская грамматика. В сущности, почти у каждой из проверенных нами книг, вне зависимости от полки, теперь появился цифровой близнец[27]. За то время, которое нам потребовалось для изучения нескольких книг, Google успела оцифровать содержимое нескольких зданий.

Усилия компании Google позволяли получить совершенно новый тип больших данных и даже изменить то, как люди оценивают свое прошлое. В основном большие данные являются большими, но «короткими» – это недавние записи, фиксирующие недавние события. Это связано с тем, что создание данных катализируется Интернетом, сравнительно недавним изобретением. Наша цель состояла в изучении культурных изменений, которые могут охватывать длительные периоды времени по мере того, как целые поколения людей живут и умирают. Когда речь заходит об изучении изменений в историческом масштабе, короткие данные, вне зависимости от степени своей обширности, нам мало чем помогут.

Google Books как база данных по своему масштабу не превышает любую другую базу в нашу эпоху цифровых средств передачи и хранения информации. Однако значительная часть того, что оцифровывает Google, не связана с современностью – в отличие от электронной почты, RSS-фидов и онлайновых игр, книги уходят в глубину веков. Поэтому данные проекта Google Books – это не просто большие, а еще и длинные данные[28].

Поскольку в книгах содержатся длинные данные, оцифрованные книги не ограничиваются описанием современной жизни, в отличие от большинства других больших массивов данных. Книги могут показать нам, как менялась наша цивилизация на протяжении довольно больших периодов времени – превышающих не только человеческую жизнь, но и жизни целых государств.

Книги представляют собой отличный массив данных еще и вот почему. Они охватывают широкий круг тем и демонстрируют различные точки зрения.

Об изучении масштабной коллекции книг можно думать как об изучении большого количества людей, многие из которых к моменту изучения уже мертвы. В исследованиях по истории и литературе книги, относящиеся к определенному времени и месту, становятся чуть ли не самыми важными источниками информации об этом времени и месте.

Это заставило нас предположить, что, изучив через цифровую линзу книги проекта Google, мы сможем создать новый «скоп» для изучения человеческой истории. И мы знали – сколько бы времени ни потребовалось, мы сможем изучить эти данные.

Больше данных – больше проблем

С большими данными появляются не только новые возможности для понимания окружающего мира, но и новые научные проблемы[29].

Первая серьезная проблема заключается в том, что большие данные и данные, которыми оперируют ученые, структурированы совершенно по-разному. Ученые предпочитают отвечать на тщательно сформулированные вопросы с помощью элегантных экспериментов, дающих воспроизводимые и точные результаты. Однако большие данные часто сопровождаются неразберихой. Типичный массив больших данных представляет собой смесь фактов и измерений, сделанных без какой-либо научной цели и с использованием далеко не универсальных процедур. Он изобилует ошибками и огромным количеством пугающих пробелов – например, недостающими элементами информации, важными для любого разумного ученого. Такие ошибки и упущения часто непоследовательны, даже в рамках единого массива данных. Это связано с тем, что большие массивы данных часто создаются путем объединения большого количества более мелких массивов данных. Очевидно, что некоторые из компонентов массивов данных более надежны, чем другие, и у каждого из них есть свои особенности. Хорошим примером может служить социальная сеть Facebook. Добавление людей «в друзья» может означать совершенно разное для разных людей. Кто-то делает это довольно свободно. Кто-то более осторожен. Некоторые добавляют в друзья коллег, другие этого не делают. Отчасти работа с большими данными как раз и требует, чтобы их хорошо понимали и учитывали все подобные особенности. Но настолько хорошо можно быть знакомым с петабайтом данных?

Вторая серьезная сложность заключается в том, что большие данные не всегда вписываются в концепцию того, что мы привыкли понимать под научным методом. Ученые любят подтверждать конкретные гипотезы и постепенно собирать свои выводы сначала в связные, а затем и математически верные теории. Стоит покопаться в любом достаточно интересном большом наборе данных, и вы неминуемо сделаете открытие – к примеру, найдете корреляцию между активизацией морского пиратства и изменением температуры в атмосфере. Такой вид исследований иногда называется «исследованием без гипотез», поскольку вы никогда не знаете в начале работы, что найдете в процессе. Тем не менее большие данные вам помогут куда меньше, если нужно объяснить такую корреляцию с точки зрения причинно-следственной связи. Вызывают ли действия пиратов глобальное потепление? Заставляет ли повышение температуры на улице заниматься пиратством? А если эти два показателя не связаны между собой, то почему они оба так сильно растут в последние годы? Большие данные часто заставляются нас теряться в догадках.

Поскольку мы продолжаем накапливать необъясненные и недостаточно объясненные факты, появилось мнение, что причинно-следственная связь как основа научного познания рискует уступить свое место корреляции. Некоторым даже кажется, что дальнейшее развитие больших данных приведет к смерти теории. Однако с такой точкой зрения вряд ли можно согласиться. Мы можем отнести к подлинным триумфам современной науки такие теории, как теория общей относительности Эйнштейна или теория естественного отбора Дарвина, объясняющие причины сложных явлений с помощью небольшого набора основополагающих принципов. Если поиск таких теорий уйдет в прошлое, то мы рискуем потерять саму суть того, что называется наукой. Какой смысл делать миллионы открытий, если мы не можем объяснить сути ни одного из них? Это не значит, что мы должны отказываться от объяснений природы вещей. Это значит лишь, что мы должны изменить принципы своей работы.

И последняя значительная проблема связана с тем, где теперь живут данные. Мы как ученые привыкли получать данные, экспериментируя в своих лабораториях или выбираясь в мир природы и фиксируя свои наблюдения. Ученый в некотором смысле контролирует получение данных. Однако в мире больших данных привратниками самых обширных массивов оказываются крупные корпорации и даже правительства. А людям, гражданам стран и клиентам компаний, далеко не безразлично, как используются эти данные. Мало кто хочет, чтобы налоговая служба США делилась данными личных налоговых деклараций с исследователями (пусть и руководствующихся самыми добрыми намерениями). Продавцы на eBay не хотят, чтобы полная информация о произведенных ими сделках становилась общедоступной или передавалась каким-то студентам-недоучкам. Лог-файлы поисковых машин и электронные письма должны по умолчанию обладать определенной степенью интимности и конфиденциальности. Авторы книг и блогов защищены законами об авторских правах. А коммерческие компании распространяют право собственности на контролируемые ими данные. Они могут анализировать эти данные с намерением получить больше от вложений в рекламу, но вряд ли согласятся поделиться своими конкурентными преимуществами с чужаками, особенно исследователями и учеными, которые вряд ли поспособствуют повышению прибыльности бизнеса.

По всем названным причинам некоторые из самых важных ресурсов в истории знания людей о самих себе остаются во многом неиспользуемыми. Несмотря на то, что изучение социальных сетей проводится уже на протяжении десятилетий, мало что делалось в масштабах всей социальной сети Facebook, поскольку компании незачем делиться своими данными. Несмотря на то, что теория рынка существует уже несколько столетий, подробности сделок на основных онлайновых торговых площадках остаются в целом недоступными для экономистов (проведенное Левиным исследование eBay было исключением из правил). И, несмотря на тот факт, что люди потратили тысячелетия, чтобы придумать географические карты, изображения, созданные компаниями типа DigitalGlobe (снявшей поверхность Земли со спутников с разрешением 50 см), никогда не подвергались систематическому анализу. Если вдуматься, то такое несоответствие нашему обычно ненасытному желанию учиться и изучать шокирует. Для сравнения представьте себе ситуацию, при которой несколько поколений астрономов изучали бы далекие звезды, но не имели юридических прав смотреть на Солнце.

Тем не менее, зная, что на небе есть Солнце, мы не сможем побороть желание посмотреть на него. И поэтому в наши дни по всему миру происходит странный брачный танец. Исследователи и ученые обращаются к программистам, продукт-менеджерам и даже руководителям высшего звена корпораций за доступом к их данным. Бывает, первый этап переговоров проходит хорошо. Участники начинают встречаться за кофе. Так, слово за слово, через год на сцене появляется совершенно новый участник. И, к сожалению, чаще всего он оказывается юристом[30].

В попытках проанализировать имеющуюся у Google библиотеку всего мы были вынуждены найти способ для решения каждой из этих проблем. И должны признаться, что препятствия, связанные с цифровыми книгами, совсем не уникальны; по сути, они представляют собой всего лишь микрокосм, отражающий состояние больших данных в наши дни.

Культуромика

В настоящей книге мы расскажем вам о своей семилетней работе по количественной оценке исторических изменений. В результате мы создали новый вид «скопа» и предложили необычный, привлекательный и притягательный подход к языку, культуре и истории, который мы называем культуромикой[31].

Мы опишем множество наблюдений, которые стали результатом культуромического подхода. Мы поговорим о том, что показали нам обработанные данные в отношении изменений в английской грамматике, как в словарях возникают ошибки, как люди становятся знаменитыми, как правительства подавляют идеи, как общества учатся и забывают и как – совсем чуть-чуть – наша культура может вести себя детерминистическим образом, что дает возможность предсказать те или иные аспекты нашего общего будущего.

И, разумеется, мы представим вам наш новый «скоп» – инструмент, созданный нами вместе с Google и названный – по причинам, о которых мы расскажем в главе 3, – Ngram Viewer[32]. Выпущенный в 2010 году, Ngram Viewer позволяет создавать графики временных изменений частотности слов и идей. Этот «скоп» – и многочисленные расчеты, благодаря которым он возник, – представляет собой описанного во вступлении робота-историка. Вы можете поработать с ним самостоятельно прямо сейчас, зайдя на страницу http://books.google.com/ngrams. Результат наших трудов – это усердный робот, который круглосуточно используют миллионы людей всех возрастов по всему миру. Они стремятся понять историю по-новому – познавая непознанное.

Если коротко, то эта книга посвящена истории, которую рассказывают роботы, – истории о том, как выглядит человеческое прошлое под цифровой линзой. И хотя сегодня Ngram Viewer может показаться чем-то удивительным или небывалым, сама по себе цифровая линза пользуется огромным успехом, почти так же, как оптическая линза многие столетия назад. Из-за постоянно растущего цифрового следа каждый день появляются новые «скопы», открывающие прежде незаметные аспекты истории, географии, эпидемиологии, социологии, лингвистики, антропологии и даже биологии с физикой. Мир меняется. Меняется и то, как мы смотрим на мир и как воспринимаем все эти изменения.

Скольких слов стоит картинка?

В 1911 году Артур Брисбейн, редактор одной американской газеты, в разговоре со специалистами по маркетингу произнес свою знаменитую фразу о том, что изображение «стоит тысячи слов». Не исключено, что он заявлял о «десятках тысяч слов». А может быть, речь шла о «миллионе слов»? В любом случае за несколько десятилетий это выражение приобрело популярность и – к возможному огорчению Брисбейна – теперь почему-то считается японской поговоркой (возможно, потому, что его слушатели отлично разбирались в маркетинге) [33].

Так что же сказал Брисбейн на самом деле? К сожалению, наш новый «скоп» вряд ли сможет найти первоисточник этого выражения. И на эту тему есть еще одна японская поговорка:

По сравнению со всеми произнесенными словами

Все отсканированные Google книги

Скромны, как хайку.

Тем не менее видно, как постепенно оформлялся брисбейновский принцип работы с изображениями в экономике.

Судя по всему, все три варианта – «тысяча слов», «десяток тысяч слов» и «миллион слов» – возникли практически одновременно после того, как Брисбейн произнес эту фразу. На протяжении следующих двух десятилетий они конкурировали между собой. Вариант «десяток тысяч» быстро вырвался в лидеры. Однако затем наступили 1930-е. Может быть, «десять тысяч» и «миллион» показались во времена Великой депрессии слишком заоблачными? Какова бы ни была причина, частота употребления варианта «картинка стоит тысячи слов» стала постепенно расти и в какой-то момент оставила конкурентов далеко позади.

beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, beautiful, – beautiful. beautiful. beautiful. beautiful… beautiful…

– Legendary, Lexical, Loquacious Love[34] —

В 1996 году концептуальная художница Карен Реймер опубликовала книгу Legendary, Lexical, Loquacious Love («Легендарная, лексическая, болтливая любовь»). И вот как она ее написала – она взяла полный текст любовного романа и расставила все его слова по алфавиту. Если слово встречалось в произведении несколько раз, то оно появлялось такое же количество раз в ее книге.

В книге отсутствуют синтаксис и предложения. По сути, это 345-страничный список слов, расположенных в алфавитном порядке. Она не похожа на связное повествование. Собственно говоря, когда вы ее читаете, она кажется полной бессмыслицей.

Мы редко читаем любовные романы, однако работа Реймер стала исключением. Она заставила нас пролистать ее целиком, поразив с первой страницы до последней, с драматического начала:

Глава 1

A

A A A A A A A A A A A A A A A A

A A A A A A[35]

И до потрясающего конца:

Глава 25

Z

zealous[36]

Двадцать пять глав, а не двадцать шесть: для буквы X главы не нашлось, поскольку в книге не было ни одного слова, начинавшегося с нее. В любовных романах встречаются откровенные элементы (то, что принято обозначать аббревиатурой XXX), но вот слова на эту букву встречаются в них крайне редко.

И хотя эта книга мало чем примечательна, она тем не менее позволяет нам многое узнать о жанре любовного романа как таковом. Например, очевидно, что эта книга написана для «нее» – слово her («ее») занимает восемь полных страниц (с. 130–138), his («его») – две с половиной (с. 141–144). В книге можно найти полстраницы «глаз» (eyes) и треть страницы «грудей» (breasts), а вот «ягодицы» (buttocks) упоминаются в ней всего лишь один раз. Книгу можно назвать довольно динамичной – на одной лишь с. 62 слово «кульминация» (climax) встречается три раза.

Иногда книга может показаться не слишком интеллектуальной. Например, слово «прекрасный» (beautiful) встречается в ней 29 раз, «умный» (Intelligent) – всего однажды. Однако бывает и так, что мы ощущаем напряжение исходной книги, – взять хотя бы леденящий душу пассаж на с. 187: Murderers murderers, murdering murdering murdering murdering murdering murdering murdering, murderous murderous. murders murders, murky murmur murmured («Убийцы убийцы, убивая убивая убивая убивая убивая убивая убивая убивая, убийственный убийственный, убийства убийства мутный шум пробормотал»).

На протяжении нескольких лет мы обращались к этой книге снова и снова, каждый раз обнаруживая нечто новое и интересное.

Все это кажется поначалу странным. Можно было бы предположить, что, превращая любовный роман в алфавитный список и тем самым уничтожая его изначальный смысл, Реймер могла бы заодно уничтожить все то, что делало текст интересным. И в какой-то степени это правда. Однако в результате алфавитной реорганизации текста нам открывается невидимый прежде мир частотности слов – лексических атомов, из которых состоит текст. Эта частотность – и истории, которые она рассказывает, – как раз и превращает результат работы Реймер в столь увлекательное повествование.

Трудный ребенок

На момент нашего знакомства в 2005 году тема больших данных была еще неактуальной[37]. Идея чтения миллионов книг за долю секунды пока что не приходила нам в голову. Мы были всего лишь молодыми студентами-старшекурсниками, которых интересовала масса вопросов.

Для того чтобы найти, чем заинтересоваться, нужна соответствующая среда. Мы встретились на гарвардской программе Evolutionary Dynamics[38] – в настоящей гавани творчества и науки, организованной харизматичным математиком и биологом Мартином Новаком. Программа «Эволюционная динамика» представляла собой площадку, на которой математики, лингвисты, онкологи, религиоведы, психологи и физики собирались вместе и размышляли о новых способах изучения мира. Новак призывал нас искать решения любых проблем, интересовавших нас, вне зависимости от того, к какой области знания они относились.

Что делает проблему увлекательной? На эту тему можно вести множество споров. Нам казалось, что увлекательный вопрос – это вопрос, который может задать маленький ребенок, ответ на который неизвестен, и при поиске этого ответа (занимающем порой несколько лет научных исследований) можно достичь вполне заметного прогресса. Именно такие вопросы казались интересными и нам. Дети – отличный источник идей для исследований. Их вопросы вроде «Куда уходит солнце по вечерам?» [39] и «Почему небо синее?» [40] заставляют пытливые умы погрузиться в глубины астрономии и физики. А вопросы вроде «Может ли дерево вырасти и стать выше горы?» [41] или «Могли бы мы жить вечно, если бы изо всех сил старались избегать всевозможных опасностей?» заставляют обратиться к изучению некоторых актуальных тем в современной биологии. Привычный для любых родителей вопрос «Но почему я должен идти спать прямо сейчас?» [42] – не дает заснуть множеству неврологов.

Однако из всех этих вопросов нас увлек один: «Почему мы говорим drove, а не drived?» [43]

Вопрос показался нам интересным, поскольку представлял собой простой пример довольно важной для всего человечества темы. Почему мы, как культура, используем одни слова или идеи, а не другие? Почему мы соблюдаем одни правила и игнорируем все прочие?

Для поиска решений таких вопросов возможны два подхода. Первый состоит в том, чтобы сконцентрироваться на нынешних обстоятельствах, которые и приводят к тому, что мы ведем себя определенным образом. Например: «Мой милый сын, ты говоришь drove, потому что все остальные тоже говорят drove, а если бы ты сказал drived, то наши соседи подумали бы, что мы, твои родители, не озаботились тем, чтобы научить тебя правильному английскому языку». Это отличный ответ, заставляющий задуматься о природе социальных норм. Философы занимались осмыслением таких вопросов на протяжении столетий. Однако порой ученый может прийти к гораздо более неожиданным открытиям, изучая явления в исторической перспективе.

Пожалуй, самым впечатляющим примером перспективного подхода во всей истории науки могут считаться работы Чарльза Дарвина. Более 150 лет назад Дарвин отправился в путешествие на корабле и столкнулся со множеством странных живых существ. Особенно сильно его заинтересовали некоторые птицы, которых он увидел на Галапагосах: почему клювы вьюрков имели такую странную форму? И вообще, почему животные выглядят так, как они выглядят?

А затем Дарвин сделал крайне проницательное заключение. Вместо того чтобы сконцентрироваться исключительно на настоящем, он посмотрел в далекое прошлое. Дарвин задался вопросом – как получилось, что со временем те или иные организмы обрели нынешнюю форму? Если мы хотим понять мир в его нынешнем виде, полагал он, мы должны понять и суть процесса изменений, который привел нас в это состояние. И этот процесс изменений – важнейшее открытие Дарвина – представляет собой комбинацию воспроизводства, мутации и естественного отбора, и эта комбинация (или, иными словами, теория эволюции) способна объяснить все примечательное разнообразие живого мира.

Перспективный подход превращает вопрос о том, почему мы говорим drove, а не drived, в научный поиск тех сил, которые определяют эволюцию человеческой культуры. В течение длительного периода времени мы совершенно не представляли себе, как подступиться к этим силам. Все, что у нас было, это «детский» вопрос.

Охотники на динозавров

Мы как ученые должны заниматься сбором данных – холодных, четких фактов и точных результатов измерений. Мы должны формулировать однозначные гипотезы, а затем пытаться изменить или скорректировать их с помощью точных экспериментов и анализа. С этой точки зрения культура – вещь, которую сложно определить и еще сложнее измерить, – может оказаться довольно твердым орешком. Именно это и делает столь непростой научную работу в областях вроде антропологии. Отчасти именно по этой причине в 2010 году Американская антропологическая ассоциация приняла довольно противоречивое решение об исключении слова «наука» из формулировки своей задачи (стоит отметить, что позднее это слово было вновь возвращено в текст) [44].

Мы решили начать с достаточно узкого аспекта культуры, который довольно просто определить и измерить, – языка. Язык представляет собой своеобразный микрокосм для изучения культуры в целом. Это – основное средство распространения человеческой культуры. Он меняется, и это легко заметит любой человек, читающий пьесы Шекспира. И наконец, язык часто имеет письменную форму и именно в этой форме превращается в массив данных, удобный для научного анализа. В конечном счете письменный язык может считаться одним из самых ранних предшественников больших данных.

Каким же образом следует подходить к вопросу изучения эволюции языка? Если взять биологию, то лучший способ понять пути развития эволюции состоит в изучении окаменелостей. Однако находить ископаемые довольно сложно. Для этого требуется сочетать тщательное планирование и хорошую стратегию. С точки зрения успешного поиска окаменелостей мало кто может сравниться с Натаном Мирвольдом, возможно, величайшим охотником на динозавров в своем поколении (этот человек множества талантов также стал одним из основателей Microsoft Research и написал книгу о современной кухне) [45]. И дело вовсе не в том, что Мирвольду везет больше, чем другим, и что каждый беловатый камень, который он в своих экспедициях берет в руки, оказывается черепом динозавра Tyrannosaurus rex. Мирвольд и его команда используют подробные геологические карты, спутниковые фотографии и свою собственную программу экологического анализа. Все это помогает им понять, где заниматься поисками и где белые камни действительно имеют шансы оказаться окаменелостями. В результате, начиная с 1999 года, им удалось обнаружить десять скелетов тираннозавров – при том что за 90 предшествовавших лет было найдено всего 18 таких скелетов. Выражаясь словами самого Мирвольда, «мы господствуем на рынке T. rex».

Мы решили господствовать на рынке лингвистических окаменелостей. Подобно тому, как окаменелости эпохи динозавров рассказывают нам о биологической эволюции, лингвистические окаменелости помогают нам понять, как развивается язык. Однако для того, чтобы повысить шансы на успех в поиске таких окаменелостей, нам был необходим некий руководящий принцип, помогающий понять, где именно копать. И оказалось, что нужный нам инструмент был создан 80 лет назад человеком, который, как и мы сами, искренне любил считать.

1937: Одиссея данных

Джордж Кингсли Ципф работал в Гарварде в 1930-е и 1940-е годы, возглавляя отделение германской литературы. У него имелась комбинация довольно редких навыков – с одной стороны, он был гуманитарием, а с другой – разбирался в количественных измерениях.

Будучи филологом, Ципф проводил кучу времени в размышлениях о словах. Ему казалось вполне очевидным, что не все слова созданы равными. Определенный артикль the используется в английском языке постоянно, но мы редко слышим слово quiescence («неподвижность»). Ципф счел этот дисбаланс довольно странным и захотел понять, в чем дело.

Понять суть проблемы можно вот как. Представьте себе, что английский язык – это страна, в которой каждое слово является гражданином. А еще представьте, что высота каждого слова-гражданина пропорциональна частоте его употребления – the будет гигантом, а quiescence – карликом[46]. Каково было бы жить среди людей со столь странным ростом? Именно такой «детский» вопрос и заинтересовал Ципфа.

Чтобы представить такой мир наглядно, Ципфу пришлось бы провести перепись всех слов и посчитать, сколько раз использовалось каждое из них. В наши дни это легко и просто сделать с помощью компьютера (программы из одной строки) [47]. Именно поэтому для написания концептуальной книги Legendary, Lexical, Loquacious Love не требовались десятилетия. Но в 1937 году таких возможностей не было. Современные компьютеры просто не существовали, а словом computer («компьютер») обозначался человек, занимавшийся арифметическими вычислениями[48].

Для подсчета слов Ципфу пришлось бы пойти проверенным путем – вручную записывать каждый случай появления того или иного слова в тексте. Разумеется, это была бы невероятно скучная работа.

Думается, что он испытал восторг, узнав о работе Майлса Л. Хенли[49]. Хенли, большой поклонник «Улисса», опубликовал результат кропотливой и героической работы, которой дал довольно скучное название Word Index to James Joyce’s Ulysses («Индекс слов в книге Джеймса Джойса „Улисс“»). Эта книга (представлявшая собой то, что ученые называют «конкорданс») предлагала исследователям «Улисса» и прочим энтузиастам список всех слов книги. Мало какая другая книга вызвала бы у Ципфа больший интерес. Теперь для того, чтобы разобраться со своей первоначальной задачей, ему нужно было взять индекс Хенли и посчитать, какова длина каждой из статей[50]. Работа стала на порядок проще.

Обратите внимание, что Ципф намного опередил свое время в понимании того, что только начинают понимать ученые наших дней, – как логически анализировать информацию. Ципф умело переформулировал важные для себя вопросы в свете доступных ему данных. Вместо того чтобы заняться неразрешимой проблемой подсчета всех слов, он сфокусировался на вполне решаемой проблеме подсчета слов в книге «Улисс». И если бы он был жив в наши дни, то оказался бы у дверей Google в тот же самый момент, когда компания объявила о своем проекте по оцифровке книг.

Вооружившись индексом Хенли, Ципф проранжировал слова в «Улиссе» по частоте употребления[51]. Первое место занял определенный артикль the, использованный 14 877 раз – то есть он представлял собой каждое восемнадцатое слово. Десятым по частоте оказалось слово I («я») с 2653 случаями употреблений. Слово say, встречавшееся в книге 265 раз, оказалось на сотой позиции. Слово step с 26 случаями употреблений заняло в рейтинге Ципфа тысячное место. А чтобы оказаться на десятитысячной позиции, слову indisputable («бесспорный») было достаточно появиться в тексте всего два раза.

Изучая получившийся список, Ципф заметил кое-что любопытное – а именно обратную связь между позицией слова и частотой его использования. Если номер позиции слова был в 10 раз выше – пятисотое место вместо пятидесятого, – то оно встречалось в 10 раз реже. Таким образом his («его»), оказавшееся на восьмом месте с 3326 упоминаниями, встречается в 10 раз чаще, чем слово eyes («глаза») (восьмидесятая позиция, 330 случаев употреблений). Иными словами, можно было сказать, что редких слов гораздо больше, чем можно было ожидать. В «Улиссе» лишь 100 слов используется более 2653 раз. Однако в книге есть сто слов, использующихся более 265 раз, тысяча слов, использующихся более 26 раз, и так далее.

Кроме того, как вскоре обнаружил Ципф, это было характерно не только для слов в «Улиссе» Джойса. Такая же закономерность проявлялась в словах из газет, текстов, написанных на китайском языке и латыни, и практически во всех остальных информационных источниках, к которым он обращался. Это открытие, называемое в наши дни законом Ципфа, оказалось универсальным организующим принципом для всех известных языков[52].

Мир глазами Ципфа

До Ципфа ученые полагали, что большинство вещей, поддающихся измерению, ведут себя подобно человеческому росту.

Рост человека не очень сильно варьируется. Рост 90% жителей США составляет от 155 см до 185 см. Разумеется, рост некоторых особенно высоких баскетболистов достигает 220 см и выше, а рост самого низкого взрослого человека в мире составляет менее 62 см. Однако подобные случаи встречаются крайне редко. Но даже с учетом этих крайностей самые высокие люди всего в 4–5 раз выше самых низкорослых[53]. У математиков имеется особый термин для описания распределения такого рода, при котором значения настолько тесно группируются вокруг среднего значения. Подобное часто встречающееся распределение называется «нормальным». До Ципфа люди считали, что мы живем в нормальном мире, где нормальным оказывалось бы все окружающее.

Однако, как мы уже видели, мир слов далек от нормального – распределение в нем соответствует вполне определенному, но кажущемуся на первый взгляд странным математическому принципу. В наши дни ученые называют такое поведение степенными законами[54]. Удивительно, но как только Ципф обнаружил свой первый степенной закон в языке, то начал тут же находить и другие его проявления.

Например, Ципф обнаружил, что степенным законам следуют показатели богатства и доходов. Если бы ваш рост был пропорционален величине вашего банковского счета, а среднее американское домохозяйство имело рост около 170 см, то рост Билла Гейтса оказался бы больше, чем расстояние от Земли до Луны[55]. Величина статей в Encyclopedia Britannica также следует степенному закону, как и тираж газет. Ученые, следовавшие по стопам Ципфа, обнаружили тысячи других примеров: размер городов, частотность определенных фамилий, количество жертв в ходе военных действий, продолжительность аплодисментов после спектакля, популярность людей в Facebook и Twitter, объем пищи, потребляемой животными, трафик на веб-сайтах, доля белков в наших клетках, количество клеток различных типов в наших телах, распространенность тех или иных биологических видов в наших экосистемах и даже размер дырок в швейцарском сыре. Степенному закону следует даже продолжительность отключений электричества (хотя в данном случае, возможно, нам стоит назвать это «законом отсутствия энергии»).

Хотя работа Ципфа была настоящим прорывом, причины выявленного им закона остаются тайной. Сам Ципф верил, что такая закономерность объясняется практической эффективностью подобного распределения. Другие исследователи указывали на то, что большому объекту несложно стать еще больше. Этот процесс можно описать формулой «богатым проще богатеть». С математической точки зрения было показано, что процесс, описываемый словами «богатым проще богатеть», может проявляться в огромной массе степенных законов. Например, знакомство с одними людьми помогает знакомиться с новыми, поэтому изначально популярные люди, следуя выявленной Ципфом закономерности, становятся еще более популярными. Города, уже ставшие крупными, могут показаться привлекательными для тех, кто подумывает о переезде, что демонстрирует степенной закон размера города. Вот вам еще один пример – доказано, что обезьяны, печатающие на компьютере случайным образом, могут создавать «слова» (символы, разделенные пробелами) и количество этих слов также следует степенному закону[56].

Существует немало конкурирующих между собой объяснений любого конкретного распределения, следующего степенному закону. К сожалению, не исключено, что это изобилие объяснений отражает тот факт, что ученые не знают, что происходит на самом деле.

Тем не менее вне зависимости от причины возникновения степенные законы четко описывают огромный диапазон природных и социальных явлений. Ципф, преподаватель немецкого языка, воспользовавшись невероятной любовью Хенли к «Улиссу», начал революцию, последствия которой в значительной мере трансформировали измерения в социальных науках и щупальца которой дотянулись до биологии, физики и даже математики. Теперь нормально то, что выявил Ципф.

Не слишком ли много Ципфа

Закон Ципфа был всего лишь пробным камнем, необходимым нам для начала поиска языковых окаменелостей. Почти все в языке следует закону Ципфа – существительные, глаголы, прилагательные, наречия, начинающиеся на букву m, слова для описания профессий, слова, рифмующиеся со словом «рифма», и так далее. Так что если вы натыкаетесь на что-то, не соответствующее универсальному принципу Ципфа, можно смело считать, что что-то тут не то. Подобно куску белого камня, который находят в ходе экспедиции на особенно многообещающем месте, языковое явление, не следующее степенному закону, может оказаться настоящей окаменелостью в эволюции нашего языка.

Именно здесь нужно снова задать тот «детский» вопрос, который в свое время привлек наше внимание: «Почему мы говорим drove, а не drived?»

Drove – одно из английских слов, называемых неправильными глаголами[57]. Эти неправильные глаголы – очень странная вещь. Если бы они следовали закону Ципфа, как и все остальные классы слов, то можно было бы ожидать, что они редки. На практике же почти все неправильные глаголы встречаются довольно часто. Хотя к неправильным относится лишь около 3% глаголов, на практике именно они используются чаще других. Проще говоря, неправильные глаголы представляют собой явное и серьезное отклонение от закона Ципфа. Именно их мы и искали, как будто рядом со скелетом тираннозавра кто-то поставил статистические указатели.

Что же представляют собой эти так называемые неправильные глаголы, что они сделали с законом Ципфа и что это значит с точки зрения эволюции языка?

Избранные, гордые и сильные

На первый взгляд, в спряжении английских глаголов нет ничего сложного. Все, что требуется вам для образования прошедшего времени английского глагола, – это добавить к нему – ed: глагол jump («прыгать») превращается в jumped («прыгал»). Этому простому правилу следуют сотни тысяч глаголов. И даже если в языке появляется новый глагол, он будет спрягаться так же. Может быть, я никогда не слышал о действии, называемом flamboozing («алкоголеподжигание»), но я знаю, что если вы решили flambooze («алкоголеподжигать») вчера, то вчера вы flamboozed («алкоголеподжигали»).

Исключением – к немалому огорчению людей, изучающих английский, – выступают неправильные глаголы типа know («знать»). Даже не прочитав это предложение, вы уже знали (knew), что мы не скажем knowed. К этим тремстам неправильным глаголам – которые лингвисты иногда называют «сильными», – относятся десять наиболее часто встречающихся глаголов в английском языке: be/was («быть, был»), have/had («иметь/имел»), do/did («делать/делал»), say/said («говорить/сказал»), go/went («идти/пошел»), get/got («получить/получил»), make/ made («делать/сделал»), know/knew («знать/знал»), see/saw («видеть/видел»), think/thought («думать/думал»). Они встречаются настолько часто, что глагол, который вы собираетесь употребить, с вероятностью 50% будет неправильным.

Откуда возникли неправильные глаголы? Это длинная история. Примерно от 6 до 15 тысяч лет назад активно использовался язык, известный современным ученым как праиндоевропейский. Из этого языка произошли многие современные языки, в том числе английский, французский, испанский, итальянский, немецкий, греческий, чешский, персидский, санскрит, урду, хинди и сотни других. В праиндоевропейском языке было явление, известное ученым как аблаут, при котором одно слово превращалось в другое, близкое, с помощью замены гласных по определенным правилам[58]. В современном английском языке аблаут можно заметить как раз среди неправильных глаголов.

Вот вам пример: сегодня я пою (sing), вчера я пел (sang), песня была спета (sung). Аналогичным образом: сегодня я звоню (ring), вчера я звонил (rang), телефон прозвонил (rung). И еще один: сегодня я застреваю (stick), вчера я застревал (stuck). Сегодня я копаю (dig), вчера я копал (dug). Отмирая, правила спряжения оставляют после себя окаменелости, которые мы называем неправильными глаголами.

Но если это так, то какой же грамматический астероид уничтожил эти древние правила, оставив нам лишь высохшие кости неправильных глаголов?

Этим астероидом был так называемый дентальный суффикс, имеющий в современном английском языке форму – ed[59]. Применение – ed для обозначения прошедшего времени началось еще в прагерманском языке, на котором говорили в Скандинавии в 500–250 гг. до н. э. Прагерманский был предком всех современных германских языков, включая английский, немецкий, голландский и множество других. Будучи наследником праиндоевропейского языка[60], прагерманский унаследовал у него старую схему для спряжения глаголов на основе аблаута. И чаще всего с ее применением не возникало никаких проблем. Однако время от времени в языке появлялись новые глаголы, и некоторые из них просто не укладывались в старую схему аблаута. Поэтому люди, говорившие на прагерманском, изобрели кое-что новое – теперь образовывать прошедшее время этих молодых, не склонных к конформизму глаголов можно было, добавляя к ним в конце – ed. В прагерманском языке правильные глаголы были скорее исключениями.

Но так было недолго. Использование дентального суффикса для обозначения прошедшего времени оказалось невероятно успешным изобретением, которое получило широкое распространение. Подобно любой другой революционной технологии, новое правило стало понемногу распространяться и применяться лишь в отношении отдельных забавно звучащих глаголов, с которыми не мог справиться аблаут. Однако раз начавшись, этот процесс уже не остановился. Простой и запоминающийся дентальный суффикс начал привлекать все больше приверженцев, поскольку все чаще изменения касались глаголов, прежде использовавших аблаут.

Таким образом, к моменту создания классического староанглийского текста «Беовульф» (примерно 1200 лет назад) более трех четвертей английских глаголов изменялись по новому правилу. После того как у старого аблаута иссякли силы, новое правило с суффиксом – ed стало его повсюду вытеснять. В течение следующей тысячи лет исчезло огромное количество неправильных форм глаголов. Тысячу лет назад я мог бы holp (от глагола help – «помогать») вам. А вот вчера моя помощь вам описывалась бы словом helped.

Сегодняшние лингвисты, глядя на этот процесс в исторической ретроспективе, объясняют его термином «выравнивание». Нужно отметить, что процесс продолжается и сейчас. Рассмотрим глагол thrive («процветать»). Около 80 лет назад заголовок в газете New York Times гласил: Gambling Halls Throve in Billy Busteed’s Day («Игровые залы процветали в день Билли Бастида»). А в 2009 году в разделе «Наука» той же газеты была опубликована статья под заголовком Some Mollusks Thrived After Mass Extinction («Некоторые моллюски процветают после массового уничтожения»). Форма глагола throve (в отличие от этих удачливых моллюсков) пала жертвой массового истребления аблаутов. И пути назад нет. Став правильными, глаголы почти никогда не превращаются в неправильные[61].

Подобно тремстам спартанцам в Фермопилах, английские неправильные глаголы – эти триста смелых – решительно устояли в безжалостной борьбе, начавшейся против них в 500 г. до н. э. Они вели бой каждый день, в каждом большом и малом городе, на каждой улице, где говорят по-английски. Они отрабатывали навыки выживания в течение 2500 лет. И поэтому они – это не просто исключения. Их можно считать оставшимися в живых счастливчиками.

И процесс, благодаря которому они выжили, мы как раз и намеревались изучить – процесс эволюции языка.

2005: Еще одна одиссея данных

Почему же некоторые неправильные глаголы умерли, а другим удалось выжить? Почему глаголу throve (от глагола thrive – «процветать») не удалось выжить, а глаголу drove (от глагола drive – «ехать») – удалось? [62]

У лингвистов уже есть несколько отличных идей относительно того, почему неправильные глаголы имеют столь высокую частотность. Они предположили, что чем меньше мы сталкиваемся с неправильным глаголом, тем сложнее его запомнить и тем проще забыть[63]. Вследствие чего редкие неправильные глаголы вроде throve исчезают быстрее, чем частые, вроде drove. Со временем неправильные глаголы с низкой частотой употребления полностью исчезали, а неправильные глаголы как группа становились более частыми.

Эта гипотеза показалась нам в высшей степени интересной, поскольку предполагала, что неправильные глаголы проходят через определенный процесс, аналогичный эволюции, путем естественного отбора[64]. Почему неправильные глаголы встречаются настолько часто, когда, в полном соответствии с законом Ципфа, во всех остальных лексических классах доминируют редкие слова? Потому что естественный отбор, в форме ненасытного правила – ed, обеспечивает простым неправильным глаголам эволюционное преимущество. Чем чаще глагол используется, тем выше его шансы на выживание.

Созданный Ципфом «компас» был на тот момент самым идеальным примером естественного отбора, действующего в человеческой культуре, с которым нам только доводилось сталкиваться. Компас Ципфа указал нам на увлекательную проблему: может ли сформироваться лингвистическое чутье при столь тщательном изучении материала? Это могло бы стать простой, но доходчивой иллюстрацией того, что человеческая культура способна развиваться путем естественного отбора. Теперь нам, как и Ципфу, требовалось лишь найти подтверждение.

Для помощи в поисках мы привлекли к работе двух невероятно талантливых старшекурсников Гарвардского колледжа, Джо Джексона и Тину Тан. В идеале мы надеялись, что Джо и Тина смогут прочитать все источники, когда-либо опубликованные на английском языке, и записать каждый пример неправильного глагола, с которым они сталкивались. Однако оба они сказали нам, что все же хотели бы поработать над своими дипломами (для нас как аспирантов это уже был пройденный и забытый этап). Для решения задачи нам пришлось импровизировать.

К счастью, Джо и Тина учли историю Ципфа, поэтому предложили альтернативный подход. Вместо того чтобы читать абсолютно все, почему бы не ограничиться учебниками по истории английской грамматики? Грамматические тексты, относящиеся, скажем, к средневековому английскому языку, наверняка касались бы вопроса неправильных глаголов и упоминали бы многие из них. Не исключено, что где-то можно было найти и список таких глаголов. Изучив в библиотеке каждый учебник, посвященный истории английского языка различных периодов, мы могли получить довольно точную картину того, какие глаголы считались неправильными и когда[65]. Учебники могли бы дать нам то же самое, что дало Ципфу проведенное Хенли исследование «Улисса».

Разумеется, сказать проще, чем сделать. Джо и Тина посвятили несколько месяцев кропотливой работе, читая учебники древнеанглийского языка (языка «Беовульфа», на котором говорили примерно в 800 г. н. э.) и средневекового английского (языка Чосера, на котором говорили начиная примерно с XII столетия). Они нашли 177 староанглийских неправильных глаголов, развитие каждого из которых они смогли проследить на протяжении тысячи и более лет. Получив такую картину, мы наконец увидели, как менялся язык.

В древнеанглийском языке все 177 глаголов изначально были неправильными. К началу Средневековья, через четыре столетия, выжило лишь 145 неправильных форм; остальные 32 были приведены в соответствие с новыми нормами. В современном английском языке неправильными остались лишь 98. Остальные 79 глаголов до сих пор присутствуют в языке, однако, подобно глаголу melt («таять»), они изменили форму. При этом был заметен довольно примечательный дисбаланс. Из 12 наиболее часто встречающихся глаголов в нашем списке ни один не стал правильным – им удалось на протяжении 12 столетий сопротивляться давлению со стороны правила – ed. Нарушение пропорций шло и с другой стороны. Из 12 наименее часто использовавшихся глаголов в списке 11 стали правильными, в том числе bide («пребывать») и wreak («причинять»). Единственным выжившим неправильным глаголом с низкой частотой оказался slink («красться») – глагол, который как раз четко описывает этот тихий процесс исчезновения[66].

Данные показали: на человеческую культуру влияло нечто похожее на естественный отбор, оставляя следы в мире глаголов. Частота употребления была серьезнейшим фактором выживания глаголов – именно она приводила к тому, что некоторые прежние формы глаголов умирали и мы начинали их оплакивать (mourn – mourned), а другие приспособились (fit – fit) выживать.

Выживание наиболее приспособленных

В биологии проще показать сам факт естественного отбора, чем измерить степень родства между определенными признаками и степенью эволюционной приспособленности (легко сказать, что на улице ветрено, но куда сложнее определить, насколько сильно дует ветер). Не имея возможности рассчитать степень приспосабливаемости, мы можем лишь предположить, какие изменения будут успешными с точки зрения эволюции, но мы совершенно не представляем себе, сколько времени потребуется, чтобы эти изменения произошли.

Однако случай неправильных глаголов не очень характерен для биологической эволюции. В биологии для определения степени приспосабливаемости отдельного организма принимаются во внимание тысячи или даже миллионы признаков. Что же касается неправильных глаголов, было ясно, что их выживаемость в значительной степени определяется единственным признаком – частотой употребления. И это значительно упростило работу. Это значило, что мы сможем с довольно большой долей точности рассчитать, насколько быстро исчезнут неправильные формы глаголов.

Однако перед тем как заняться этим вопросом более основательно, позвольте напомнить о самом известном в науке примере исчезновения. Мы имеем в виду теорию радиоактивного излучения.

Радиоактивные материалы используются в массе устройств – от энергетических реакторов до медицинских сканирующих систем и бомб. Эти материалы постоянно находятся в процессе исчезновения, поскольку с течением времени атомы радиоактивного вещества превращаются в стабильные нерадиоактивные атомы. Этот распад высвобождает энергию, часто в форме радиоволн.

Именно поэтому радиоактивные вещества и получили свое название.

Самое важное свойство радиоактивного элемента – это его период полураспада, то есть период времени, в среднем требующийся для распада половины атомов в образце элемента[67]. Предположим, что у вас имеется вещество, период полураспада которого составляет один год. Если сначала у вас есть миллиард атомов этого вещества, то через год останется лишь половина миллиарда – другая половина миллиарда распадется на что-то другое. После двух лет у вас останется лишь четверть миллиарда атомов (половина от половины). Через три года останется одна восьмая и так далее.

В процессе изучения трансформации неправильных глаголов в правильные мы обнаружили, что если мы примем во внимание частоту употребления, то процесс выравнивания будет неотличим с математической точки зрения от процесса распада радиоактивного атома. Более того, зная частоту употребления неправильного глагола, мы могли создать формулу для расчета периода его полураспада. Это было замечательно, поскольку в случае радиоактивных атомов период полураспада определяется экспериментальным путем; его обычно невозможно рассчитать. В этом смысле математика радиоактивности лучше подходит неправильным глаголам, а не радиоактивным атомам.