Дополненная реальность. Все, что вы хотели узнать о технологии будущего Папагианнис Хелен

Звук позволяет нам существовать как в окружающей среде, так и перенестись в какое-то другое место. Слушая, мы можем создать «театр разума», где, используя свое воображение, можно создавать визуальные образы или даже путешествовать во времени. Уже сейчас в нашей жизни встречаются многочисленные примеры звукового дополнения нашей среды: например, человек, едущий в набитом поезде, который не слышит окружающий его шум благодаря шумоподавляющим наушникам, или женщина, которая слушает свою любимую рок-музыку в самолете во время взлета и посадки. В будущем дополненный звук позволит нам блокировать «шум» повседневной жизни и обеспечит более сильные ощущения от звуковых эффектов.

«Когда люди говорят о технологии дополненной реальности, они обычно считают, что речь идет только о визуальных эффектах, которые накладываются камерой на изображение. Это всегда касается визуального ряда. Но не многие знают, что то же самое можно делать и со звуком», – сказал Майкл Брейденбрюкер, соучредитель Last.fm и основатель RjDj (Reality Jockey Ltd.). Заблуждение о том, что AR – это только визуальные эффекты, сохраняется и по сей день, несмотря на то, что звук не менее гибок и транспортабелен и зачастую не требует визуального дополнения.

Звуковые эффекты могут быть использованы как вместе с другими дополненными ощущениями, так и самостоятельно. Звук может помочь вам лучше ориентироваться в пространстве и быстрее находить необходимую информацию, испытывать яркие ощущения, раскрывать воображение, изменять окружающую среду. В этой главе рассматривается каждая из областей применения дополненного звука и приводятся примеры различных аудиогарнитур, завоевавших популярность на растущем рынке носимых устройств. В дополнение к получению данных из уха о здоровье и активности пользователя, аудиогарнитура позволяет создавать новые формы взаимодействия и общения, включая цифровую умную поддержку, реагирующую на голосовые команды в режиме реального времени.

Дополненный звук с привязкой к местности

Навигация на местности, информационный тур по музею или управляемая медитация – все это примеры того, как записанный или воспроизводимый в прямом эфире голос становится вашим проводником в своеобразном путешествии. Звук может сделать ваше окружение ярче, дополнив его аудиоэффектами или музыкой, сфокусировав ваше внимание на деталях, которые вы не заметили бы самостоятельно. Дополненный звук может открыть новые грани и качества этого мира.

Джанет Кардифф из Канады известна во всем мире своими запоминающимися аудиопрогулками, которые она записывает с 1991 года. Кардифф так говорит о своей работе[51]:

Аудиопрогулки похожи по своему формату на аудиогид. Вы берете CD-плеер или iPod и встаете или садитесь в определенном месте и нажимаете на кнопку воспроизведения. На CD вы слышите мой голос, дающий указания, например, «поверните налево» или «войдите в эту дверь», накладываемые на фоновый звуковой ряд: звук шагов, машин, птиц или другие звуковые эффекты. Это важная часть записи. Виртуальный записанный звуковой фон должен соответствовать характеристикам реального мира, чтобы создаваемое новое пространство воспринималось как «бесшовное сочетание» реального и дополненного. В своих записях я не только направляю слушателей, но и делюсь своими мыслями и информацией, которая побуждает дослушать лекцию до конца.

Кардифф создает смешанную реальность со звуком в качестве основного элемента, ведя адресованное лично вам повествование в людном месте и делая это место для вас более индивидуализированным. Она также говорит[52], что ее прогулки можно назвать одной из форм «путешествий во времени». Работа Кардифф служит отличным примером прообраза дополненной звуковой реальности, ставшей доступной с использованием современных технологий.

Эндрю Мэйсон является основателем и генеральным директором Detour[53], стартапа из Сан-Франциско, предлагающего коллекцию аудиопрогулок дополненной реальности под названием Detours. Мэйсон отмечает, что работа Кардифф, наряду с проектами других создателей, произвела огромное впечатление на него. «Первое, что я сделал, когда начал изучать эту идею, – это стал путешествовать по всему миру, чтобы тестировать разные аудиофайлы, привязанные к местоположению», – объясняет он. Среди них были: «Прогулка с Кардифф по Центральному парку»[54], «Аудиопрогулка по Бруклину» и «Необычные прогулки по Лондону»[55], созданные Фран Панеттой. «Эти работы побудили меня создать звуковую реальность, привязанную к местоположению, для создания кинематографического эффекта в реальной жизни, переноса слушателей в другой мир и максимального погружения их в ощущения и опыт других людей», – отмечает Мэйсон.

При включенном приложении Detour, голос местного рассказчика автоматически сопровождает вас в наушниках по ходу движения. Мэйсон отмечает, что Detour отличается от других приложений аудиотуров тем, что при его использовании нет необходимости постоянно брать в руки телефон или щелкать по значкам на карте для воспроизведения аудио. «Мы хотели создать такое приложение, которое позволило бы людям почувствовать, будто их сопровождает кто-то из местных, а технологическая подоплека отошла бы на второй план», – говорит Мэйсон[56]. Когда аудиосопровождение само по себе становится интерфейсом, а смартфон лежит в вашем кармане с выключенным экраном и вам не нужно постоянно на него смотреть, вы можете сосредоточиться на том, что вас окружает, и на рассказе вашего гида.

Detour отличается от обычных аудиогидов тем, что эта технология знает ваше местоположение на протяжении всего времени работы, делая возможным динамичное использование, адаптируемое под ваш темп ходьбы, время суток и даже погоду. Нет необходимости нажимать кнопку «Воспроизведение» каждый раз, когда вы достигаете следующего пункта своего маршрута: программа анализирует ваши движения и автоматически определяет, что вы уже там. Для этого Detour использует GPS, iBeacon и другие датчики в вашем смартфоне, определяя точное местоположение. iBeacon – это разработка компании Apple, работающая на базе энергоэффективной беспроводной технологии Bluetooth Low Energy (BLE) для предоставления информации и услуг на основе вашего местоположения. Ее можно использовать при неуверенном приеме сигнала GPS. Сами маяки[57] – это недорогие Bluetooth-передатчики, которые работают как датчики определения расстояния. Приложения на iOS получают сигнал этих маяков и реагируют, когда ваш телефон или планшет попадает в зону охвата сигнала. iBeacon используются в работе приложения Detour, чтобы автоматически запускать конкретную аудиозапись при приближении к определенной геопозиции. В дополнение к iBeacon, Detour использует акселерометр вашего телефона, фиксирующий ваши движения и шаги, и магнитометр для определения направления, в котором вы смотрите.

Дополненный звук для сочувствия и понимания

Detour был создан для того, чтобы «помочь людям заглянуть за обычно непроницаемую перегородку и открыть для себя то или иное место по-новому», – говорит представитель компании Харис Батт[58]. Detour позволяет вам посетить уникальные места, как, например, Тендерлойн, один из самых необычных и быстро меняющихся районов Сан-Франциско, чтобы увидеть ту его часть, которую немногие могут увидеть, а большинство не замечает. В ходе аудиопрогулки вы не только слушаете рассказы о людях, которые здесь жили и работали, но и можете зайти в церковь, которую они посещали, или в хостел, где они останавливались. «Когда вы повторяете те же движения, которые когда-то совершал кто-то другой, в этом есть нечто, что помогает лучше понять чувства, испытываемые другими людьми», – говорит Марианна Маккьюн, разработчик Detour.

Маккьюн 15 лет проработала репортером на радио. Она начинала с молодежной радиопередачи на общественном радио Нью-Йорка под названием Radio Rookies[59], в которой подростки, живущие в неблагополучных районах, рассказывали истории о себе и своей жизни. Маккьюн описывает одну из задач этой программы следующим образом: «Они рассказывают истории о том, что, по их мнению, важно для аудитории, имеющей с ними мало общего, чтобы более образованные и обеспеченные радиослушатели могли лучше понять, как они живут». Она приводит в качестве примера рассказ одной из девушек-подростков, Ширли Диас, по прозвищу Звезда, выступавшей на Radio Rookies. Она говорила на темы, обычно замалчиваемые широкой аудиторией. «Но когда вы слушаете ее, вы чувствуете, что погружаетесь в ее жизнь и начинаете понимать ее точку зрения, – говорит Маккьюн. – Она ведет вас по своему миру так, что вы можете увидеть этот мир ее глазами. Поэтому вы не отстраняетесь, как если бы наблюдали за ее жизнью со стороны, а смотрите на все с ее точки зрения».

«Я думаю, что у Detour есть потенциал, чтобы добавить еще один уровень, позволяющий увидеть мир глазами других людей: это даст вам возможность буквально почувствовать то, что испытал кто-то другой», – говорит Маккьюн. Она приводит в пример письмо, которое она получила от человека, попробовавшего аудиопрогулку Detour по Тендерлойну[60]. «Я и несколько моих коллег заинтересовались этой аудиопрогулкой, потому что наши офисы находятся рядом с Тендерлойном, но мы мало что знали об этом районе, – говорится в письме. – Самым ярким моментом единения с программой было, когда когда мы зашли в церковь Святого Бонифация и увидели всех этих бездомных, спящих на церковных скамьях. Мы пожертвовали им кое-какие лекарства и поболтали с одним из волонтеров, который оказался бывшим наркоманом, самостоятельно излечившимся от зависимости». В результате этой прогулки завязалась оказавшая на нас большое влияние беседа, которая, скорее всего, не произошла бы при обычных обстоятельствах. Письмо заканчивалось так: «Странно, как нечто такое простое, как небольшое пожертвование и общение с этим человеком, может полностью изменить ваше отношение к целому району». Маккьюн комментирует это следующим образом: «Я думаю, что сочетание звукового сопровождение и физическое присутствие в описываемом месте побуждают людей выходить за привычные рамки».

Дополненный звук обладает способностью преодолевать определенные психологические барьеры и способствовать лучшему пониманию окружающих и сопереживанию. Это помогает вам не только увидеть мир чужими глазами, но и физически ощутить себя на месте другого человека. Это может вдохновить вас на определенные действия и даже изменить всю вашу жизнь, даже если толчком для этого будет простой разговор с кем-то, с кем при обычных обстоятельствах вы бы никогда не встретились.

В виртуальной реальности также используются технологии, прокладывающие дорогу разработкам, связанным с сопереживанием. «Облака над Сидрой» (2014) – VR-фильм, снятый режиссером Крисом Милком при поддержке Организации Объединенных Наций. В фильме рассказывается история 12-летней девочки по имени Сидра, живущей в сирийском лагере беженцев в Иордании. Фильм был показан на Всемирном экономическом форуме в Давосе в январе 2015 года группе лидеров, решения которых влияют на жизнь миллионов людей. Как отмечает Милк, эти люди, возможно, никогда бы не испытали тех чувств, которые испытывают живущие в палатках беженцы.

Когда вы используете гарнитуру VR и смотрите с ее помощью «Облака над Сидрой», вы наблюдаете за миром маленькой девочки, видя его на 360 градусов во всех направлениях. Вы не смотрите на Сидру через телевизионный экран, а сидите прямо в ее комнате, слышите ее голос, как будто вы находитесь рядом. Ее мир становится и вашим миром тоже. Когда вы смотрите вниз, вы видите, что вы сидите на той же земле, что и она. «Из-за этого, – говорит Милк[61], – вы лучше понимаете ее ощущения. Вы сопереживаете ей сильнее».

Хотя технология VR специально предназначена для того, чтобы переносить вас в места или среды, не доступные вам физически, с помощью AR можно еще сильнее увеличить степень сопереживания, как это было сделано в Detour, побуждая вас взаимодействовать с вашей средой, когда это возможно. Одна из целей Мэйсона в использовании Detour – это заставить людей выйти из своей зоны комфорта и начать исследовать окружающий их мир. «Во многих компаниях, похоже, считают наивысшей ступенью развития создать такую возможность, при которой вы будете постоянно сидеть на своем диване в гостиной, куда вам будут доставлять еду, привозить и забирать вашу одежду и где вы сможете общаться с вашими друзьями с помощью VR-гарнитуры Oculus Rift, – говорит Мэйсон[62]. – Возможно, я покажусь вам ретроградом, но я люблю жизнь в ее привычном понимании. Я хочу, чтобы Detour стала компанией, которая поможет людям получать больше позитивных эмоций».

Большинство туров являются журналистскими по своему типу, так как в них рассказывается об истории, людях и окрестностях, но в Detour с его дополненными аудиопрогулками, есть, например, проект, в котором рассказывается о войне с мусором в Сан-Франциско. План развития города называется «Нулевые отходы» и его цель – перестать направлять на свалку или сжигание все отходы к 2020 году. Это означает повторное использование или переработку всего, что выбрасывается в Сан-Франциско. Вместо того, чтобы просто показывать вам груду мусора и свалку, данный проект помогает вам задуматься о том, сколько мусора ежедневно производится, показывая вам различные стороны повседневной жизни в Сан-Франциско. Detour изменяет ваше привычное видение мира, благодаря аудиосоставляющей, и вдохновляет на перемены, которые продолжаются еще долго после завершения тура.

Помощь людям с ослабленным зрением при перемещении по городу

Дополненные аудиопрогулки, такие как Detour и Cardiff, позволяют вам глубже погрузиться в ваше физическое окружение, открывая новый мир, с которым вы, возможно, ранее не сталкивались. Но как насчет людей, которым, возможно, придется полагаться на такую технологию, чтобы просто ориентироваться в повседневной жизни? Cities Unlocked от Microsoft – это новая аудиотехнология, разработанная для незрячих людей, чтобы помочь им перемещаться по городскому пространству.

«Я был вдохновлен на создание этого проекта, когда родилась моя дочь и у нее были выявлены проблемы со зрением, – говорит[63] Амос Миллер из Microsoft, у которого также ослаблено зрение. – Я хотел вывести ее прогуляться или пойти с ней в кино и подумал: «Как сделать так, чтобы можно было заниматься подобными вещами без колебания?» Он рассказывает, как система навигации «рисует картину мира с помощью звука, подобно тому, как маяк указывает направление при помощи света» и как эта система снимает страх у людей перед новыми путешествиями.

При ношении специальной аудиогарнитуры, использующей костную проводимость и подключенной к вашему смартфону, вы слышите голос, направляющий вас и описывающий место, в котором вы находитесь. Такая гарнитура надевается над челюстной костью и при помощи вибраций передает звук через челюстную кость к внутреннему уху. Это позволяет слышать окружающие звуки, не надевая наушники. Маленькая коробочка, расположенная на задней панели гарнитуры, содержит акселерометр, гироскоп, компас и микросхему GPS для отслеживания вашей позиции. Система подключена к вашему смартфону с данными о местоположении и навигации с GPS и Microsoft Bing Maps[64], чтобы направлять вас, а также ориентируется на сеть радиомаяков с поддержкой Bluetooth (так же, как и в Detour), размещенных в различных районах города.

Направляющая аудиотехнология используется для создания трехмерного звукового ландшафта, указывая направление движения и описывая ориентиры по мере продвижения. Если интересующее вас место находится в 10 метрах впереди и справа, голос, уведомляющий вас об этом, будет звучать так, как будто исходит именно оттуда. В дополнение к пошаговым направлениям голосом звуковые сигналы сопровождают вас во время передвижения, например особый сигнал будет указывать на то, что вы придерживаетесь правильного курса, а другой звук предупредит вас о приближении к обочине. Вы также можете запросить у системы дополнительную информацию о местных достопримечательностях, например часы работы, и получить эту информацию из базы данных Bing с помощью голосового или механического запроса. Кроме того, Microsoft разработала интегрированное приложение под названием CityScribe, позволяющее людям помечать в своем городе препятствия, которые не отмечены на большинстве интерактивных карт, такие, как, например, скамейки в парке, низкие выступающие углы, мусорные баки или уличная мебель.

Кейт Риддл – одна из тех, кто тестирует гарнитуру Microsoft. Будучи человеком с сильно ослабленным зрением, она отмечает, что эта технология помогает ей посещать новые места и не волноваться, если что-то выйдет из-под контроля, в то время как раньше ей приходилось несколько раз пройти по одному и тому же пути, прежде чем запомнить его особенности. «Благодаря этой технологии я не испытываю больше такого сильного стресса, когда оказываюсь в новом месте, – говорит[65] она. – Это сильно расширяет мои возможности и делает путешествие приятным, а не сложным. Вместо того чтобы выходить в новое место, «потому что нужно», теперь я делаю это «потому что могу»». Для таких людей, как Риддл, эта технология действительно меняет жизнь.

Технология Cities Unlocked может получить и более широкое применение. В видеоролике[66] Microsoft рассказывается о том, что нетрудно представить, как в ближайшем будущем эта технология будет использоваться для решения всех видов повседневных задач, таких как поиск ближайшего туалета в большом торговом центре или изучение нового города, когда вы не говорите на местном языке. Эта технология может не только направить вас в интересующее место, но и придать уверенности, позволяя лучше ориентироваться в окружающем пространстве и теснее взаимодействовать с миром.

Создание полезных технологий для всех

Звук является одним из элементов технологии Cities Unlocked. Первооткрыватель в области взаимодействия человека и машины и главный научный сотрудник Microsoft Билл Бакстон заявляет, что его любимая часть проекта – это не технология, а момент, когда ощущение присутствия технологии исчезает. «Самая лучшая технология – это та, которую ты не замечаешь. Она просто становится частью нашей жизни, – говорит Бакстон[67]. – Правильно взаимодействуя с технологией, пользователь должен чувствовать себя не оператором оборудования, но просто человеком. Идя по улице, вы должны думать о том, что хотите попасть на работу или просто подышать свежим воздухом, или позаниматься спортом, а не о том, что вы управляете при этом какой-то технологией».

Ключ к совершенной разработке для Бакстона прост и заключается в следующем: если вы понимаете потребности ограниченного круга пользователей и делаете для него продукт, то в итоге можете сделать нечто полезное для всех. Он приводит следующее объяснение:

Я как конструктор интерактивных технологий основное внимание всегда уделяю качеству человеческого опыта. Я очень рано понял, что, если вы хотите что-то понять, нужно, прежде всего, разобраться с экстремальными проявлениями и попытаться понять тех, кто находится на самом краю. Практически всегда то, чему вы научитесь у этих людей, будет справедливо и для всех остальных.

Я обратилась к Бакстону[68] с просьбой подробно остановиться на идее разработки «крайних случаев» в интересах всех. Он ответил: «Cities Unlocked – пример такой разработки, нацеленной на узкую аудиторию, которая затем подтолкнула вперед развитие технологии дополненного звука в целом». Бакстон указал мне на его «любимую ссылку» в статье Фрэнка Боуи 1987 года «Создание компьютеров, доступных для людей с ограниченными возможностями»[69].

Боуи писал: «Если бы опции, необходимые разным пользователям, были интегрированы во все компьютеры, качество жизни миллионов людей с ограниченными возможностями могло бы быть значительно выше». Он приводит дизайн зданий как наиболее частый пример концепции всеобщей доступности, ссылаясь на архитектуру и форму автоматических дверей и одноуровневых поверхностей при входе. «Эти особенности архитектуры кажутся нам естественными: они не выглядят так, как будто они были созданы специально для людей с ограниченными возможностями», – отметил Боуи. Он привел в качестве примера пандус, наблюдая за тем, как на каждого человека в инвалидной коляске приходится десять человек без ограничений в возможностях, которые также его используют: родители с детскими колясками, велосипедисты, грузчики и просто пешеходы, которым удобнее подниматься по рампе, чем по лестнице.

Боуи приводит примеры, которые подтверждают, что технология, разработанная для удовлетворения особых потребностей пользователей-инвалидов, оказалась применима для всех. Он отметил также компьютеры, которые разрабатывались для понимания и распознавания человеческой речи (в 1987 году), оказавшиеся полезными для таких людей, как руководители, неохотно использующие клавиатуру, или сотрудники, руки которых заняты для выполнения других задач, как, например, у инспекторов качества на заводских сборочных линиях. Я спросила Бакстона, думал ли он, что принципы разработки новых технологий изменились с тех пор, как статья была написана три десятилетия назад. Его ответ был следующим: «В процессе разработки решений, предназначенных для широких масс, создаваемые новые технологии могут помочь и людям с ограниченными возможностями, и наоборот». Это важный момент, поскольку мы разрабатываем будущие технологии дополненной реальности и хотим, чтобы они стали доступными и полезными для как можно большего количества людей.

Окружая вас звуком

Звук используется в VR для усиления реалистичности виртуальных мест, чтобы они ощущались как настоящие. Мы увидим, что звук применяется в AR в большей степени для увеличения чувства погружения, начиная от звуковых эффектов и заканчивая голосовыми взаимодействиями. Принцип работы проектов Cardiff, Detour и Cities Unlocked заключается в наложении на реальный мир дополнительной виртуальной составляющей, обеспечивая возможность перемещаться в голосовом сопровождении соответствующей программы. В дополнение к навигации звуковое сопровождение позволяет усилить повествовательный и развлекательный эффект дополненной реальности.

Джоэл Сьюзэл, директор по VR и AR компании Dolby, говорит[70]: «Аудио в виртуальной реальности – это не роскошь, это необходимость». Он указывает, что в реальной жизни нет границ, мы ощущаем мир вокруг нас во всех направлениях. В VR мы должны стремиться к тому же. В отличие от традиционных фильмов, в которых наше внимание может быть обращено на определенные точки на экране, создание трехмерной среды требует больше, чем просто визуальных стимулов. «Положение ваших ушей изменяется в зависимости от положения головы», – по мнению Сьюзэл, поэтому так важна направленность звука. Звук добавляет степень погружения в среду VR, позволяя кинематографистам сделать вас частью описываемой истории. В Cities Unlocked используются пространственные звуковые сигналы, чтобы направлять пользователя, имитируя звук, исходящий из определенного места. Этот же эффект может применяться в VR и AR, чтобы помочь привлечь внимание пользователя в повествовании или в игре.

При ношении очков AR, таких как HoloLens[71] от Microsoft (оснащенных двумя маленькими динамиками, расположенными рядом с ушами), когда вы отворачиваете голову и тело от предметов, издающих звуки, звук передается так, будто его источник находится позади вас, и наоборот – если вы поворачиваетесь к источнику звука. Аналогично, когда вы приближаетесь к виртуальному объекту, звук становится громче. Это помогает сделать виртуальные объекты более реальными. Например, во время игры в AR вы сможете услышать, как виртуальный дракон приближается к вам и ревет в ваше левое ухо.

Аудиотехника компании HyperSound[72] обеспечивает еще один способ создания эффекта погружения. Подобно тому, как фонарик направляет луч света, Hypersound направляет звук в виде узкого пучка, используя ультразвуковые волны и концентрируя его в определенном месте для создания точной звуковой зоны. Люди, находящиеся вне области звука, не слышат его, тогда как для людей внутри звуковой зоны, эффект напоминает звук в наушниках. Можно создать частную зону прослушивания в общественном месте или направить звуковой пучок в целевое местоположение. Например, McDonald’s использует HyperSound в экспериментальной программе, чтобы направлять звук телевизора на определенные столы в своих ресторанах, позволяя определенным посетителям слышать звук телевизора и не нарушая покой остальных. Данная технология находит самое широкое применение: от дисплеев в магазинах[73] и музейных интерактивных платформ до игр[74].

Йорг Мюллер[75], доцент информатики Орхусского университета (Дания) разработал уникальный прототип BoomRoom[76], который позволяет напрямую взаимодействовать с виртуальными источниками звука прямо в воздухе. Мюллер и его команда создали небольшую комнату (три метра в диаметре), окруженную кольцом из 56 динамиков, скрытых за шторами. Используя компьютерное зрение и отслеживание жестов, можно управлять звуками как в движении, так и оставаясь неподвижным.

Пространственная музыкальная комната была построена как приложение для целой системы. Музыкальный трек может быть присвоен объекту, находящемуся в этой комнате, например вазе. Чтобы трек заиграл, вы должны поднять вазу в воздух и «вылить» его из нее. Жесты, такие как разведенные в стороны или сведенные вместе руки, могут управлять громкостью, высотой частот и басами.

Мюллер пишет: «Мы считаем, что способность «касаться» источников звука в воздухе и заставлять объекты «говорить» открывает много новых возможностей для взаимодействия человека и компьютера». В качестве примера он описывает «шариковый автоответчик», представляющий собой чашу, наполненную мраморными шариками:

Когда из чаши достают один шар и несут его через комнату, он начинает воспроизводить записанное сообщение. Если пользователь хочет удалить сообщение, он может просто вытащить его из шара и выбросить в корзину. На шарик можно даже записать ответ и отправить его автору сообщения. Если сообщение необходимо сохранить, нужно просто переложить шарик в другую чашу.

Конечно же, сам по себе шар не воспроизводит звук, это иллюзия. Это обычный шарик, а колонки, встроенные в стены, воспроизводят звук так, что кажется, будто он исходит из самого шара. Мюллер говорит: «Идея заключается в том, что все объекты сами по себе абсолютно обычные и не являются инструментами».

В другом примере Мюллер описывает, как непрочитанные электронные письма могут принять форму стаи птиц, сидящих или парящих в комнате с новыми сообщениями и срочными письмами, пролетающими прямо над пользователем, и все они также создают направленный звук. Различным отправителям можно присвоить разные звуки чириканья птиц. Если пользователь хочет прочитать сообщение, он может подойти к птице, «коснуться» ее в полете, и сообщение будет прочитано голосом. Также можно отвечать или пересылать электронные письма, поймав и направив птицу в соответствующем направлении.

Дополненный звук может создавать новые способы взаимодействия с нашим повседневным миром. И это не столько об автоответчике-шарике или о стае птиц, отправляющих ваши электронные письма, сколько о разработке новых парадигм взаимодействия, которые раньше не были возможны. Такое творческое и художественное переосмысление привычных действий вдохновляет на переосмысление того, как мы взаимодействуем с информацией и какие новые уникальные типы взаимодействия можно придумать.

Для интеграции BoomRoom в повседневную жизнь необходимо, чтобы панели с колонками стали достаточно дешевыми для встраивания их в стены вашего дома. На данный момент прототип заставляет задуматься о том, как мы можем применять дополненный звук для общения и взаимодействия с окружением, используя движения тела.

Воображение и игра со звуком

Японским стартапом в сфере носимых технологий Moff Band[77] было разработано устройство для детей, в котором сочетание движений и звуков способствует развитию воображения во время игр и чтения. Надеваемый браслет подключается к приложению на вашем смартфоне или планшете через Bluetooth и использует встроенный акселерометр и гироскопические датчики для определения того, какие движения делает ребенок. Выбранные звуковые эффекты воспроизводятся в реальном времени в зависимости от движений ребенка и включают такие звуки, как, например, барабаны и гитара, лязг японских мечей или звуки, относящиеся к различным видам спорта. Moff Band может распознать два отдельных движения: перемещение руки влево-вправо и вверх-вниз. Вы можете находиться на расстоянии до 10 метров от устройства, и оно будет реагировать на вас, издавая звуки.

Двое детей (или взрослых) могут использовать Moff Band, чтобы играть вместе. Например, повторяя движения, совершаемые во время игры в теннис, вы будете слышать звуки отскакивающего теннисного мяча, взмахивая в воздухе воображаемой ракеткой. Кроме того, вы услышите восторженные крики виртуальных зрителей. Moff Band сочетает технологию с физической активностью: дети прыгают и двигаются, чтобы проигрывать звуки.

Moff Band в сотрудничестве с телеканалом PBS KIDS запустили приложение PBS KIDS Party. Это приложение (для детей 5-8 лет) предназначено для того, чтобы помогать в обучении через творческие игры и движения при ношении браслета. Приложение включает в себя игры Freeze Dance[78] и Piata Party[79], а также игру, развивающую счет, и позволяет записывать свои собственные звуки.

Konstruct[80] – это AR-приложение, разработанное Джеймсом Аллибаном в 2011 году, и основанное на технологии лондонской компании String[81]. Эта технология позволяет создавать виртуальные скульптуры с помощью смартфона и вашего голоса. Это еще один способ применения дополненного звука: вместо того, чтобы использовать звук для дополнения визуального восприятия, делая его более реалистичным, Konstruct создает абстрактные визуальные эффекты с помощью вашего голоса. По аналогии с Moff Band, оно реагирует на звуки, которые вы производите: речь, свист и даже если вы просто подуете на микрофон. Вы можете комбинировать различные трехмерные фигуры, цветовые палитры и настройки для создания бесконечного набора виртуальных образов. Уровень громкости также влияет на размер фигур.

Как Moff Band, так и Konstruct создают виртуальные образы, позволяющие экспериментировать со звуком при помощи вашего воображения, в результате чего каждый раз получаемые образы могут быть персонализированными, настраиваемыми и уникальными. Одной из причин, позволяющих этой технологии создавать эффект погружения, является создание уникальных образов для каждого конкретного пользователя.

Дополненный звук и персонализация

RjDj, стартап, основанный в Лондоне в 2008 году соучредителем Last.fm Майклом Брейденбрюкером, в котором он реализовал разработанную им нелинейную музыкальную форму под названием реагирующая музыка. Эта музыка реагирует на слушателя и его среду в реальном времени с помощью приложения для смартфонов. Надев наушники, пользователь слышит персонализированную звуковую дорожку, созданную из звуков его физического окружения, которые были записаны с помощью встроенного в смартфон микрофона и микшированны в реальном времени. Хотя в 2013 году сайт RjDj был закрыт и приложение было удалено из открытого доступа, созданные компанией инновации и сегодня остаются актуальными в области дополненного звука.

Мы все знакомы с идеей персонализированных плейлистов (Last.fm разработала такой сервис), но RjDj выходит за обычные рамки, персонализируя музыку и песни, чтобы они реагировали на вас и ваше окружение. «Потребовалось почти 10 лет для того, чтобы моя первоначальная идея, благодаря новым технологиям, обрела форму и стала RjDj», – говорит Брейденбрюкер[82].

Приложения RjDj используют новые способы взаимодействия, доступные с iPhone, такие как встроенные элементы, сенсоры, портативность, и создают музыкальный сервис, который раньше был невозможен. Креативный директор RjDj Роберт Томас рассказывает о технологии этих приложений:

Приложения RjDj были созданы на базе программного обеспечения «Pure data», находящемся в открытом доступе. В RjDj разработали свой собственный порт для iPhone. У нас был свой собственный инструментарий для создания дополненных звуковых эффектов. В работе наших приложений участвует практически каждый датчик, который можно найти в iPhone, включая информацию о движении, времени, погоде, местоположении и, конечно же, микрофон, позволяющий определить громкость и звуковые частоты.

Сегодня приложения дополненного звука, такие как Detour, используют датчики смартфона для определения особенностей вашего окружения, получая информацию о вашем местонахождении и генерируя контент, соответствующий этому месту. Мы рассмотрим также датчики, применяющиеся в других аппаратах, помимо смартфонов, в том числе AR-очках и других устройствах, воздействующих на человеческие чувства. Датчики будут играть важную роль в грядущем будущем AR-технологий, способствуя созданию персонализированного контента, благодаря которому мы сможем быть более вовлеченными в окружающую среду и взаимодействовать с ней по-новому.

Here One[83] – это новый продукт компании Doppler Labs, состоящий из пары беспроводных наушников, подключающихся к смартфону через Bluetooth. Here One управляет звуками окружающей среды в реальном времени, создавая персонализированный звук.

В первую очередь, Here One создавался для музыкантов и любителей музыки. Используя в приложении элементы управления уровнем высоких, средних и низких частот и эффектов, таких как, реверберация, эхо или фланжер, вы можете настроить звук вокруг вас в зависимости от ваших предпочтений и даже создать новый звук. «Here One не транслирует и не воспроизводит записанную музыку, – объясняет глава компании Ноа Крафт, – «вместо этого цифровой сигнальный процессор внутри Here One действует как звуковая студия в ушах, предоставляя вам регулятор громкости, эквалайзер и эффекты для преобразования звуков в реальном мире».

Крафт прогнозирует следующую версию Here One, которая будет обеспечивать выделение определенных частот и тонов для коррекции шума реального мира, например детского плача или шума проезжающего поезда. В этой связи мы можем рассматривать Here One как форму настраиваемой реальности (глава 2), «самостоятельно озданного личного пространства», как описывает его Стив Манн, но здесь основное внимание уделяется звуку, а не картинке. В отличие от настраиваемой реальности, отделяющей нас от мира и друг друга, такие программы, как Here One, могут использоваться для того, чтобы сфокусироваться на чем-то, изолировав нежелательные и усилив интересующие звуки, такие как, например, голос человека, с которым вы обедаете в шумном ресторане. Для Крафта будущее Here One контекстуально. Он описывает то, как видит применение этого приложения, следующими словами[84]:

Мы рассматриваем его как устройство, которое вы вставляете в ухо и оставляете, пока различные внешние условия оптимизируются. Машинные алгоритмы, над которыми мы работаем, будут по-настоящему интуитивными. Итак, представьте, что вы идете в ресторан, где, используя геопозиционирование и статистические данные, полученные в результате анализа ваших предпочтений, мы можем сказать: «Эй, Билл, мы знаем ваши предпочтения в уровне шума». Обычно когда вы идете в ресторан, вы уменьшаете уровень громкости на пятнадцать процентов. Но мы также знаем параметры этой комнаты, и мы знаем, что вы находитесь в левом углу, где присутствует двусторонняя реверберация. И поскольку вы переключили аппарат в режим разговора, мы активизируем направленные микрофоны и снизим уровень внешнего шума, чтобы, находясь в заднем углу, вы могли с комфортом пообщаться с вашим собеседником.

Крафт говорит о VR как о технологии, которая изолирует и «выводит вас из реальности», и он, так же как и Мейсон из Detour, хочет, чтобы вы были сильнее погружены в реальность. Крафт верит в будущее, в котором «вам не нужно будет сидеть и смотреть на лица на экране, как мы все делаем это сейчас», и где мы будем использовать наши чувства расширенным образом для реализации их полного потенциала, будь то снижение внешнего шума или запуск интеллектуального помощника голосовыми командами.

Постоянно работающая аудиогарнитура

Беспроводные наушники-вкладыши, такие как Here One, создают новый способ слушать и взаимодействовать с вашим окружением. Как говорит Ноа Крафт, аудиогарнитура позволяет настраивать вашу среду с помощью голосовых команд. Голос – это самый распространенный инструмент для общения, и мы давно привыкли к наушникам и беспроводным Bluetooth-гарнитурам; это все может помочь быстрее интегрировать эти устройства в нашу жизнь. Ноэль Ли, основатель и главный исполнительный директор компании-производителя наушников Monster, говорит, что наушники – это «первое общедоступное носимое устройство»[85]. Современная тенденция в развитии носимых устройств заключается в том, чтобы сделать их незаметными, и ухо обеспечивает хороший потенциал для этого.

Основной целью создания портативных наушников от Motorola – Moto Hint, впервые представленных в 2014 году, было сделать их незаметными для пользователя, мультидоступными и способными воспринимать голос. Hint – это наушник, который помещается внутри уха и совместим с любым смартфоном или планшетом, поддерживающим функцию Bluetooth. Он оснащен динамиком, сенсорной панелью, двумя микрофонами для подавления шума, аккумулятором и ИК-датчиком приближения, который позволяет устройству автоматически включаться, когда вы вставляете его в ухо.

Вы можете пользоваться Hint, чтобы звонить и отвечать на телефонные звонки, или слушать подкасты или музыку с радиусом дальности около 45 метров. Но самая интересная функция беспроводного наушника заключается в том, что вы можете с помощью вашего голоса управлять интеллектуальными персональными помощниками, такими как Moto Voice, Google Now или Siri (будущее дополненных персональных помощников описывается в главе 7). Вы можете задать вопрос и получить ответ на такие вопросы, как «Нужно ли мне брать сегодня зонтик?», «Какая у меня следующая встреча?» или «Как далеко я от дома?», не беря в руки телефон. Когда Hint сопряжен со смартфоном Motorola, таким как Moto X, наушник переходит в режим, в котором постоянно включен микрофон, и вы можете взаимодействовать с аудиогарнитурой, произнося одну из настроенных вами голосовых команд телефона. Однако при использовании Hint на iPhone или устройстве на базе Android вы не можете активировать его голосом: вам нужно будет каждый раз нажимать на иконку приложения, чтобы активировать Google Now или Siri. Хотя Hint не идеален, он способствует развитию технологии hands-free (оставляющей руки свободными) и сокращению необходимости отвлекаться, чтобы посмотреть на экран смартфона.

В 2016 году Apple представила беспроводные наушники AirPods[86]. Пользователи получили доступ к Siri, дважды нажав на AirPod, без необходимости доставать iPhone из своего кармана. AirPods автоматически подключаются к вашим устройствам Apple, таким как iPhone и Apple Watch, с мгновенным переключением звука между устройствами. В проморолике AirPods Джонни Айв, главный директор по дизайну Apple, говорит: «Мы на заре беспроводного будущего, к которому шли много лет, где технология идеально объединяет вас и ваши устройства».

В будущем аудиогарнитура будет иметь широкие возможности для создания персонализированного опыта, в котором отслеживается не только ваш голос, но и ваше тело. Устройства, которые носятся в ухе, могут использоваться для сбора биометрической информации, включая кровяное давление, сердечный ритм, ЭКГ и температуру тела. Компания Valencell[87]разрабатывает технологию биометрических датчиков для носимых устройств, в частности модуль датчика-вкладыша в ушную раковину PerformTek для сбора физиологических данных из уха.

В технологии используется фотоплетизмография, неинвазивная оптическая техника для измерения кровотока и пульса. Используя метод фотоплетизмографии, на поверхность кожи направляется свет, и оптический детектор измеряет изменения рассеянного света от кожи и кровеносных сосудов (это часто делается в больницах с помощью устройства, которое размещается у вас на пальце).

Valencell лицензирует свою сенсорную технологию PerformTek для производителей бытовой электроники, мобильных устройств и аксессуаров, спортивных и фитнес-брендов, а также компаний – производителей игр, для интеграции в их продукты.

К таким устройствам относятся наушники с функцией контроля сердечного ритма от LG[88] и фитнес-гарнитура iRiver ON компании iRiver, Bluetooth-гарнитура с функцией наблюдения за частотой сердечных сокращений. Во время прослушивания музыки iRiver ON способствует более эффективной тренировке, отслеживая ваши биометрические показатели, включая частоту сердечных сокращений, сжигаемые калории, а также скорость и пройденное расстояние. Например перед тем, как начать пробежку, вы помещаете это устройство в ухо и подключаете его к своему смартфону. Во время работы устройство считывает ваши биометрические данные через наушники. Система голосовой обратной связи в устройстве позволяет уведомить вас о том, что цели по сердечному ритму и сожженным калориям достигнуты. Все данные отправляются в приложение на смартфоне в режиме реального времени и могут быть просмотрены позже.

Возможности аудиогарнитуры не ограничиваются здравоохранением и фитнесом. В игровой индустрии, где широко распространено использование гарнитур, наушники с биометрическими сенсорными датчиками могут кардинальным образом изменить привычные игры. Стивен ЛеБеф, генеральный директор и соучредитель Valencell, считает, что биометрия может обеспечить более яркие ощущения от игры. Новые технологии могут быть применены в фитнес-играх, в которых ваш сердечный ритм используется в качестве основного показателя, экшн-играх, требующих от вас физически задерживать дыхание, пока ваш персонаж плавает, а также для переключения между различными игровыми режимами в зависимости от вашего настроения или напряжения. «Приглашая игрока в биометрическое путешествие по его эмоциональным состояниям, используя монитор сердечного ритма, игра может научить вас управлять стрессом без необходимости думать об этом, – говорит ЛеБеф[89]. – Например, игроки могут использовать связь между разумом и телом, чтобы превратиться из Брюса Бэннера в Невероятного Халка, просто изменив свое эмоциональное состояние».

Как видно из всех примеров, приведенных в этой главе, расширенный звук – это не просто звук, но создание невидимых эффектов, которые нами движут: подсказывают путь, сопровождают в игре или занятиях спортом, а также влияют на наши эмоции, порождая чувство сопереживания и усиливая эффект от повествования или игры. В каждом из этих примеров пользователь, независимо от того, слушает он или говорит, в результате испытывает более глубокое чувство общности с местом, событием или человеком посредством контекстного понимания и персонализации. Дополненный звук привлекает наше внимание к окружающему миру, звуки которого мы можем усилить или ослабить. Звук в AR будет не только использоваться для дополнения визуальных эффектов, повышая их реалистичность, но и исследоваться самостоятельно, как способ взаимодействия, имеющий свои уникальные характеристики, отличные от других дополненных чувств.

1 апреля 2013 года Google анонсировала производство «Google Носа», аппарата, способного распознавать и искать различные запахи. В видеоролике[90] менеджер по продуктам компании Джон Вули отметил, что Google уже давно интересуется разработками в сфере распознавания запахов. Google Нос должен позволить найти ответы на вопросы не только с помощью печати, речи и прикосновений. Используя базу данных ароматов Google, состоящую из 15 миллионов образцов запахов со всего мира, Google Нос должен определять запах окружающего воздуха или сгенерировать аромат, найденный в поиске по ключевым словам.

Google Нос был первоапрельской шуткой, а не настоящим продуктом. Но цифровые запахи, которые можно найти в Интернете, не такая уж фантастика. Фактически уже сегодня они используются, чтобы при помощи аппаратных средств и носимых устройств, источающих запахи, улучшить жизнь людей, страдающих деменцией и болезнью Альцгеймера. Их даже используют в качестве средств первичной диагностики.

Спектр человеческих чувств не ограничивается зрением, осязанием и слухом. Занимаясь исследованиями в области дополненной реальности, нельзя оставить без внимания запах и вкус. Это единственные два чувства, которые непосредственно связаны с лимбической системой мозга, ответственной за эмоции и память. Запах и вкус могут быть источниками очень личных переживаний, воспоминаний и эмоций. Эти два чувства могут переносить вас в прошлое или усиливать восприятие настоящего.

Цифровой запах и вкус являются растущей сферой исследований, прототипы продуктов в данной области направлены на расширение нашего восприятия и взаимодействия с нашим окружением. В этой главе мы рассмотрим, как новые носимые технологии и интерфейсы в области виртуального запаха и вкуса могут усовершенствовать процесс обмена и получения информации, сделать впечатления более яркими, усилить ощущения от места и в целом улучшить наш уровень восприятия.

Возвращение Smell-O-Vision

Идея усилить восприятие с помощью запаха берет свое начало с реализованного Хансом Лаубе проекта Smell-O-Vision, который был впервые показан на Всемирной выставке в Нью-Йорке в 1939 году. В 1960 году технология была реализована в кинотеатрах на примере первого фильма, снятого с применением технологии Smell-O-Vision, «Запах тайны». Автоматизированная система подачи запахов размещалась непосредственно в сиденьях, и запахи подавались через пластиковые трубки в соответствии с происходящим на экране. В фильме использовались тридцать разных запахов, включая аромат парфюма девушки-загадки, табака, апельсина, крема для обуви, вина (когда персонажа насмерть завалило упавшими бочками), свежеиспеченного хлеба, кофе и мяты. Реклама[91] фильма звучала следующим образом: «Сначала они начали двигаться (1895)! Затем они заговорили (1927)! Теперь они пахнут (1960)!» Технология AR прошла такой же путь технологического развития, как и кино: от экспериментов с визуальными образами к звуку, а затем эксперименты с воссозданием других чувств, таких как запах.

В связи с тем, что подача запахов не всегда была синхронна с картинкой на экране, испускание запахов сопровождалось громким отвлекающим шипением, а некоторые запахи вызывали у зрителей тошноту, «Запах тайны» провалился в прокате. Планы по внедрению Smell-O-Vision в другие кинотеатры также не увенчались успехом, в результате чего была выпущена версия фильма без запахов под названием «Праздник в Испании».

Спустя более 50 лет после своего первого показа «Запах тайны» снова был показан[92] в октябре 2015 года в Брэдфорде (Великобритания) и Копенгагене (Дания) так, как он был изначально задуман, с запахами. «Я хочу, чтобы это привлекло внимание людей к потенциалу применения запахов», – сказала Тамара Бернсток, продюсер ремейка, – «Это, возможно, возродит интерес к кино с запахами».

Это также была и возможность узнать, что сегодня можно сделать по-другому и какие уроки можно извлечь, чтобы мы могли применять дополненный запах в будущем. В ремейке были заново воссозданы оригинальные запахи, используемые в фильме, и вовлечение аудитории в процесс достигалось при помощи аналоговых методов. В каждом сиденье были размещены вентиляторы, выпускавшие в нужные моменты «запах тайны», также ароматическая жидкость распылялась из соответствующих резервуаров, и специально надушенные актеры проходили по залу.

В дополнение к новым методам распространения запаха в ремейке был сделан эксперимент с последовательностями ароматов и стилистическим языком запахов, на основании которого можно было бы написать учебник по методологии дополненного запаха.

Например, оказалось, что порядок, в котором были выпущены запахи, имеет решающее значение; так, запах розы должен выпускаться перед запахом чеснока. Что касается метода подачи, некоторые запахи, например запах апельсиновой рощи, имели прямую корреляцию с тем, что появлялось на экране, тогда как в других сценах запахи применялись в качестве базовых нот для создания атмосферы, подобно тому, как работает фоновая музыка.

Биофизик Лука Турин, автор книги «Секрет запаха: приключения в ароматах и наука о запахе» (изданной в 2006 году), считает одной из причин, по которой Smell-O-Vision не получила достаточной популярности, то, что большой палитры ароматов из базовых компонентов не составить. Саскиа Уилсон-Браун, основатель некоммерческого Института искусств и обоняния в Калифорнии, занималась вопросом создания составов и производством ароматов для фильма в 2015 году и подтвердила наличие проблем при работе с запахом. Несмотря на то, что сегодня существует больше технологий и лучшее понимание того, как можно использовать запахи, она сказала, что это направление все еще остается полностью экспериментальным.

В 1960-х годах критики называли Smell-O-Vision диковинкой. AR также рискует стать не более чем диковинкой, если основной упор будет делаться на технологии, а не на усилении эффекта.

«Как сделать запах частью повествования, чтобы это не воспринималось как диковинка? – спрашивает Уилсон-Браун, – «это крайне сложно, создать единую систему ароматов, так как запах – это всегда что-то очень личное».

Возможно, создать общий язык запахов не так и сложно и ключ к решению заключается в персонализации. Как первоначальное издание, так и ремейк «Запаха тайны», снятого с применением Smell-O-Vision, были ориентированы на широкую аудиторию и показ в общественных кинозалах, усложняя тем самым задачу за счет большого масштаба. Индивидуальный или групповой подход в работе разрабатываемых сегодня новых устройств открывают большие перспективы развития дополненного запаха.

Smell-O-Vision была одним из таких предшественников современных устройств, как маска виртуальной реальности Feelreal и шлем Nirvana VR[93]. Эти прототипы создают ощущения посредством запаха, ветра, температуры, разбрызгивания воды и вибрации и используются в трехмерных играх и фильмах. Маска закрепляется на нижней части вашего лица и прикрепляется к гарнитуре Oculus Rift VR, а шлем надевается на голову и подключается к смартфону. Обе модели подключаются по беспроводной сети через Bluetooth к цифровому устройству. Генератор запаха с семью съемными картриджами выпускает ароматы в области вашего носа. Основной набор запахов включает ароматы горелой резины, пороха, огня, цветов, джунглей, океана и афродизиаков.

Разработчики игр могут использовать Feelreal SDK, чтобы добавить различные запахи и эффекты для усиления впечатления от VR игр. Запахи и эффекты также можно добавить в фильмы, не имея при этом каких-либо специальных навыков программирования – всего лишь используя Feelreal Player. Хотя продукты Feelreal в настоящее время ориентированы на рынки VR, технология AR позволяет спроектировать продукт так, чтобы имитировать запах в играх и развлекательных приложениях.

Персонализированное общение и переписка при помощи ароматов

Персонализация не означает, что добавленный запах должен быть изолированным или рассчитанным только на одного пользователя. Цифровые обонятельные устройства, такие как oNotes[94] и Scentee[95], позволяют отправлять и получать сообщения с запахами с помощью вашего смартфона. oNotes, разработанный Vapor Communications (стартап, основанный профессором Гарварда Дэвидом Эдвардсом со своим бывшим учеником Рейчел Филд в 2013 году), работает следующим образом: делается фотография, затем к ней присоединяются ароматы в мобильном приложении (по аналогии с хэштегами к фотографиям в социальных сетях), после чего ими можно делиться с друзьями.

Добавляя к изображению информацию о других чувствах, мы начинаем приближаться к возможности воспроизведения всей совокупности испытанных ощущений. Фотографии еды выйдут на совершенно иной уровень: будет ли это блюдо из нового ресторана или вы хотите поделиться рецептом своей бабушки, ваши фотографии станут еще более аппетитными, если они будут также издавать запах. Сообщения с запахом также могут использоваться как способ общения, когда слов недостаточно, чтобы передать свои чувства.

В приложении oNotes доступно 32 запаха, которые можно комбинировать для создания более 300 000 сообщений с запахами. Фотография, на которой присутствуют заметки, сканируется через специальное устройство, называемое oPhone. В oPhone есть два цилиндрических элемента, состоящих из картриджей oChips для создания и выпуска ароматов.

Эдвардс надеется, что технология oNotes сделает возможной новую эру чувственного восприятия, в которой запах станет такой же неотъемлемой частью как видео– и аудиопродукты сегодня. Он работает над созданием ароматов и сотрудничает с такими компаниями, как Melchar Media, производящей электронные книги, в которых используется oPhone для того, чтобы дополнить ощущения от повествования.

Первая из таких «oBooks», «Златовласка и три медведя: версия с запахом» была представлена в 2015 году в Музее движущегося изображения в Нью-Йорке и в Phi Center в Монреале. OBook сочетает иллюстрированную детскую книгу на iPad с системой выпуска запаха oPhone. На экране выбранных страниц в электронной книге появляется эмблема с мультяшным носом, на который необходимо нажать. Нос затем исчезает и заменяется сообщением «Подготовка oPhone». OPhone, который подключается к iPad через Bluetooth, излучает легкий воздушный поток из одного из его цилиндров с запахом, соответствующим разделу сказки. Аромат ощущается на протяжении 10 секунд.

Эдвардс также работает над тем, чтобы дополнить ароматами музыку с помощью oMusic. Над сочетанием звука и аромата в этом проекте работают композитор Даниэль Питер Биро и мастер-парфюмер Кристоф Лодамьель. Заменяя слова, изображения или даже музыкальные заметки запахом, можно создать новые способы более эффективного повествования с возможностью создания мощного воздействия на эмоции, помимо простого видео и звука.

OPhone (последнего поколения) был не очень мобильным. Цифровые обонятельные устройства будут иметь реальный шанс стать массовым продуктом, если эта технология станет достаточно миниатюрной, чтобы они могли поместиться в карман или встраиваться непосредственно в смартфон или другие носимые устройства, такие как AR-очки.

Запах можно использовать в качестве невербального метода коммуникации, присваивая определенное значение различным ароматам (по аналогии с тем, как настраивалась библиотека секретных сообщений в таких продуктах, как, например, Smartstones, который рассматривался в главе 3). Scentee, разработанное в 2013 году, представляет собой переносное устройство, напоминающее маленький пузырек (размером с помидор черри) с подсветкой, которое вы подключаете к гнезду для наушников вашего смартфона. Он работает совместно с приложением, распыляя тот или иной аромат, когда вы общаетесь с друзьями или семьей. Вы можете использовать Scentee и в других областях своей жизни, например чтобы получать ароматные уведомления о новых письмах или сообщениях, и даже пахнущие напоминания о времени, получающие данные из вашего будильника. Scentee также предлагает комплект разработки программного обеспечения для программистов для создания приложений.

Olly The Smelly Robot[96], созданный компанией Mint Foundry, базирующейся в Лондоне и Нью-Йорке, является запатентованным USB-устройством с запахом. Это устройство источает запах, когда вы получаете уведомление о новых сообщениях в социальных сетях или любое другое уведомление. Каждому такому уведомлению присваивается определенный запах. Вы можете самостоятельно собрать[97] Olly, используя 3D-принтер и готовые детали из магазина.

Уведомления с использованием дополненного запаха с такими устройствами, как Scentee и Olly, в будущем могут лечь в основу создания нового пользовательского интерфейса. Вместо текстовых уведомлений, появляющихся в AR-очках, запах может быть сигналом предупреждения. Вероятно, запахи для того или иного уведомления придется выбирать аккуратно, ведь эта ассоциация может отпечататься в вашей памяти навсегда. Хотя при помощи плохого запаха (что субъективно для каждого пользователя) можно и обозначать срочные уведомления, которые нельзя игнорировать.

Я предполагаю, что для таких интерфейсов требуется режим очистки кэша запахов. Одним из уроков, извлеченных из современной версии «Запаха тайны», было то, что запах розы не должен выпускаться после запаха чеснока. Аналогично тому, как вы нюхаете кофейные зерна, выбирая из нескольких ароматов духов, чтобы очистить обоняние, или подобно тому, как сорбет подается между приемами пищи как нейтрализатор вкуса; такие методы нейтрализации чувств могут быть применены и в отношении дополненного запаха.

Цифровые базы данных запахов

Дополненный запах можно использовать, чтобы изобразить с его помощью пейзаж. Археолог и дизайнер Стюарт Ив из Университетского колледжа в Лондоне разработал прототип аппарата для связи запаха и истории. «Dead Man’s Nose»[98] – это AR-система подачи запаха для переноса пользователей назад во времени, в период бронзового века. Эта система создает запахи, основанные на вашем местоположении, основываясь на данных геолокации. Запах в сочетании с воздействием на другие органы чувств применяется для усиления эффекта AR-технологий.

Хотя до этого были примеры применения визуальных эффектов AR для описания исторических событий, Стюарт Ив стал первым, кто начал внедрять запах в такой области. AR-проект Ива переносит нас в доисторические поселения на месте современного Корнуолла. Он объясняет: «Я не только могу прогуляться по местности в Бронзовом веке, увидеть дополненные образы круглых домов того периода и услышать на расстоянии блеяние овец, но и почувствовать запах горящего огня и готовящегося ужина по мере приближения к деревне».

Dead Man’s Nose состоит из платы Arduino, подключенной к четырем маленьким компьютерным вентиляторам. Эти вентиляторы установлены в специальные деревянные короба, в каждом из которых есть небольшой отдел с кусочком ваты, пропитанным ароматической жидкостью. Плата Arduino связывается с компьютером по Bluetooth, принимая закодированный сигнал через последовательный порт. В зависимости от принятого сигнала, Arduino либо включит, либо выключит один из вентиляторов (отправив на него питание).

Ив также разработал простое приложение для iOS. Приложение представляет пользователю четыре переключателя (по одному для каждого вентилятора) и кнопку присоединения, при нажатии которой приложение подключается через Bluetooth к аппарату «Dead Man’s Nose», управляющему переключателями. В этот момент пользователь может включить любой из вентиляторов или все одновременно, просто изменив положение переключателей. При включении одного из переключателей соответствующий сигнал отправляется через последовательное соединение Bluetooth, которое запускает нужный вентилятор.

Чтобы создать геолокационную привязку Dead Man’s Nose, приложение считывает местоположение пользователя с GPS-датчика смартфона. Используя встроенные возможности iOS CircularRegion CoreLocation, создается ряд «геозон» (или зон запахов) с заданным радиусом вокруг предполагаемого списка координат. Каждая из этих зон запахов запускает включение одного или нескольких вентиляторов, в зависимости от запахов, которые пользователь должен почувствовать. Когда пользователь физически заходит в одну из этих зон, определяется пересечение геозоны, последовательный сигнал передается, и соответствующие вентиляторы начинают вращаться. Хотя данная технология еще не работает там, где нет покрытия GPS (например, внутри галереи), iBeacons (как написано в главе 4 о Detour и «Открытых городах») также могут использоваться для включения подачи запахов.

Все запахи, используемые в «Dead Man’s Nose», производит поставщик Dale Air[99]. В Dale Air создали более 300 различных видов запахов, от курицы до грязного белья и запаха под названием «дыхание дракона». Ив отмечает сложность выбора подходящего аромата для каждой зоны запаха:

По моим данным, никто еще не создал «запах свежей могилы после ритуала погребения». Однако важно помнить, что, воссоздавая запахи прошлого, мы возможно чувствуем и воспринимаем их не так, как люди прошлого. Эти ароматы выступают в качестве помощи для усиления чувства присутствия на месте и на местности.

Кейт Маклин – еще один исследователь, который работает над использованием запаха для того, чтобы изменить наши ощущения от разных мест, в частности, городских ландшафтов. Она говорит[100]: «Предметом моего интереса является восприятие человеком запахов города. В то время как визуальная составляющая доминирует в системе передачи данных, я считаю, что мы можем переключаться и в другие режимы чувств для определения местонахождения». Работа Маклин по исследованию обоняния посвящена не только тому, что она считает это чувство малоизученным, но и не затрагивавшимся ранее аспектам урбанистического дизайна.

В течение многих лет Маклин водила экскурсионные группы на «прогулки с запахами» в таких городах, как Амстердам, Париж и Нью-Йорк, где она общалась с местными жителями, спрашивая их впечатления о запахах, которые они чувствуют. Затем она использовала полученные данные для превращения этих ароматов в карту запахов городов. Она работает над приложением Smellscaper, поддерживающим «прогулки с запахами» дополнительной информацией, в том числе привязанными географически пометками и возможностью для пользователей пройти по определенному ароматному маршруту (Маклин не работает над приложениями, создающими ароматы).

Приложение Маклин Smellscaper можно рассматривать как геоориентированный аудиотур, схожий с Detour, рассмотренный в главе 4. Вместо аудио здесь ваш путь прокладывается носом, переориентируя ваши чувства на окружающие запахи и заставляя вас переосмыслить свое восприятие города. Первоапрельский розыгрыш «Google нос» действительно мог бы использоваться для предварительного знакомства с местностью, дополняя запахами карты Google или Google Street View.

Здравоохранение и дополненный запах

В то время как городские ландшафты могут естественным образом источать свои собственные ароматы, такие продукты, как Ode[101], распространяют пищевые ароматы с целью помочь людям, живущим с деменцией и болезнью Альцгеймера. Используя разные запахи во время завтрака, обеда и ужина, Ode создает чувственную связь между приемами пищи, стимулирует аппетит и помогает контролировать потерю веса. Ode – это аппаратное устройство, разработанное лондонской конструкторской организацией Rodd в партнерстве с экспертом по запахам Лиззи Остром[102] из The Olfactory Experience. Оно использует картриджи, источающие запах во время каждого приема пищи в течение примерно двух часов.

Потеря веса распространена среди людей с поздней стадией деменции и может использоваться на раннем этапе диагностирования состояния болезни. Ode может на подсознательном уровне провоцировать чувство голода за счет связи воспоминаний с ароматами еды, такими как овощной суп, тушеное мясо или десерт с корицей. Также эта технология может помочь улучшить настроение. В компании подчеркивают конкретные поведенческие изменения у многих клиентов, которые делятся своими впечатлениями на сайте, в результате которых около 50 процентов участников набрали в среднем 2 кг через 11 недель после установки Ode. Это устройство является примером дополнения окружающей среды запахом для коррекции привычек и повышения качества жизни.

В то время как Ode наполняет запахами еды сразу всю комнату, разрабатываемый Дженни Тиллотсон проект eScent® – это носимое устройство, доставляющее запах непосредственно к носу пользователя. eScent образует неинвазивный «ароматический пузырь» вокруг лица пользователя, создавая область постоянно присутствующего запаха, на основе использования показателей биометрии, звуков, таймера и других датчиков, работающих с приложением на смартфоне. Данная технология предусматривает выпуск микроскопических порций ароматов, улучшающих настроение, в нужное время, в нужном месте, в зависимости от внешних условий. Запахи, вызывающие положительные эмоции, могут источаться при обнаружении повышенного уровня стресса или нарушениях сна. Запах перечной мяты может выпускаться в нужное время для повышения эффективности работы мозга или увеличения скорости бега, а репелленты – для того, чтобы отогнать насекомых при появлении жужжания по соседству.

Тиллотсон полагает, что eScent представляет реальную ценность как инструмент диагностики. Она объясняет, как eScent может использоваться врачами при выявлении признаков угасания мозга для программирования персонализированной программы запахов для пациентов в простой программе на смартфоне. «В настоящий момент врачи диагностируют эти заболевания, наблюдая за обонянием (или его потерей) вручную, и эта программа поможет более точно отслеживать уровень обоняния пациента», – говорит Тиллотсон.

Тиллотсон обсуждала возможности этого приложения с нейробиологами и специалистами по лечению болезни Альцгеймера. Она отмечает, что одной из сложностей раннего диагностирования болезни Альцгеймера или Паркинсона является частое выявление ложных симптомов у пациентов с аносмией (потерей обоняния), возникшей по другим причинам. Тиллотсон также работает над решением этой проблемы. На примере eScent можно сделать вывод, что технология дополненного запаха не ограничивается только сферами развлечений и коммуникаций, но может также оказывать реальный эффект на отрасль здравоохранения.

Цифровой вкус

Способность чувствовать цифровой вкус также может принести пользу в здравоохранении. Project Nourished[103] – это VR-симулятор, призванный помочь людям с аллергией на определенные продукты питания избежать связанных с этим последствий. Джинсу Ан, основатель Project Nourished, говорит, что он не ставит целью изменить наши пристрастия в еде, так как симуляция пищи не заменяет реальные продукты скорее это новая возможность иногда есть продукты, которые исключены при некоторых диетах, либо просто вредны для здоровья. На создание этого проекта Ана вдохновил его отчим, страдающий диабетом и вынужденный отказаться от некоторых из своих любимых блюд. Ан хотел создать симуляцию вкуса, не приводящую к повышению сахара в крови.

Система состоит из гарнитуры VR, надеваемой на голову для создания визуальных эффектов, диффузера и преобразователя костной проводимости для создания жевательных звуков с помощью вибрации. Гироскопические элементы используются для манипуляций с виртуальной и реальной пищей, а напечатанный на 3D-принтере куб, состоящий из водорослей и гидроколлоидных полимеров, придает пище вкус и текстуру. В виртуальном окружении такие кубы могут иметь запах, вкус и форму пищи, которую они имитируют. Например, дрожжи и мука из грибов шиитаке используются для создания вкуса стейка сухого вызревания. Поскольку основной пищевой компонент Project Nourished – это водоросли, Ан видит еще одно его преимущество: с его применением мы будем меньше зависеть от ресурсов и сократим выбросы парниковых газов в атмосферу.

Project Nourished – это VR-технология; однако более ранний проект Токийского университета под названием Meta Cookie (2010)[104] использует AR технологию, чтобы изменить ваше восприятие получаемой пищи. Meta Cookie работает по принципу наложения дополненных AR-образов в сочетании с воздействием на органы обоняния во время еды. При этом используется постное печенье с нанесенными координатными метками. Прозрачный дисплей, размещаемый на голове, предоставляет пользователю на выбор различные сорта печенья в AR (разного цвета и консистенции, визуально наложенные на настоящее печенье). После выбора вкуса печенья, которое вы хотите съесть, из воздушного компресса вам начинает подаваться запах выбранного печенья. Это создает эффект, как будто вы едите выбранное печенье, хотя на самом деле печенье пресное. Если вам не нравится выбранный вкус, вы можете поменять его и попробовать другой. Фактически, вы получаете печенье, которое с каждым укусом изменяет свой вкус, и у вас есть возможность настраивать свои чувства. Однако стоит отметить, что эффект прекратится, как только вы съедите AR-координационные метки, нанесенные на печенье.

Через пару лет, в 2012 году, та же исследовательская группа, которая работала над Meta Cookie, разработала проект Augmented Satiety[105], еще сильнее вводящий в заблуждение ваши глаза и вкусовые рецепторы, делая так, чтобы вы ели меньше. Используя возможности AR для изменения визуального восприятия размера порций, Augmented Satiety предлагает один из методов борьбы с ожирением. Разработчики указывают на психологические исследования[106], свидетельствующие о том, что на количество потребляемой пищи влияет как ее фактический объем, так и внешние факторы во время еды. Основываясь на этих знаниях, исследователи стремились контролировать восприятие сытости (состояние полного желудка), получаемое из одинакового количества пищи, изменяя ее внешний вид. Исследования ученых показали, что благодаря дополненной реальности можно контролировать ощущение сытости во время приема пищи. Несмотря на то, что клиническим испытаниям технологии Augmented Satiety препятствует отсутствие широкого распространения AR-очков с функцией подачи запаха, такие формы приема пищи могут стать частью повседневной жизни.

Искаженное восприятие пищи – это реальность для людей, перенесших травму головного мозга. Сотрясение мозга может привести к изменению ощущения консистенции и вкуса во время приема пищи, а также к неверному восприятию объема порции. В марте 2014 года в Лондоне прошло мероприятие под названием Brain Banquet[107]. Там были подготовлены и поданы блюда, совершенно неузнаваемые для посетителей. Это продемонстрировало, что люди, перенесшие травму головного мозга, воспринимают обычную еду не так, как другие. Несмотря на то, что Augmented Satiety и Project Nourished являются отдельными исследованиями и не связаны с Brain Banquet, эти технологии могут быть дополнительно изучены в качестве альтернативной помощи людям, страдающим от травм головного мозга, и даже как механизм повышения взаимопонимания – чтобы показать другим, как травмы меняют восприятие мира.

Будущее цифрового вкуса и запаха

Исследователь AR Эдриан Дэвид Чок считает, что будущее цифрового вкуса тесно связано с мозгом человека. Предыдущие исследования Чока привели к созданию таких аппаратов, как Scentee; однако вместо того, чтобы направлять искусственные запахи в нос пользователя, в настоящее время он занимается исследованиями возможности стимулирования мозга для воссоздания определенных запахов и вкусов.

Чок и его команда в Imagineering Institute, исследовательской лаборатории в Малайзии, разрабатывают устройство под названием Digital Taste Interface, представляющее собой коробочку из плексигласа, лизнув которую, можно ощутить различные вкусы, загружаемые из Интернета. Используя электрическую и термическую стимуляцию, данный аппарат на короткий период воздействует на ваши вкусовые рецепторы и имитирует кислый, сладкий, горький и соленый вкусы, в зависимости от частоты прохождения тока через электроды. Чок также разрабатывает систему, аналогичную тому, как работает Digital Taste Interface, но для имитации запахов. Это устройство имеет крошечный электрод, который вставляется в полость носа, где есть обонятельные нейроны. Данная технология все еще находится в стадии разработки. «Как только мы научимся напрямую стимулировать нейроны мозга, мы сможем обмануть органы чувств, – сказал Чок. – Больше не потребуется напрямую воздействовать на органы чувств. Мы уже научились стимулировать нейроны простыми способами, поэтому я надеюсь, что в будущем мы сможем достичь более сложных способов воздействия». Чок считает, что мы застанем то время, когда появятся первые мозговые интерфейсы.

В главе 2 ученый нейробиолог Амир Амеди рассматривал возможность доставки визуальной информации прямо к мозгу людей с ослабленным зрением, решая таким образом их проблему. В главе 3 нейробиолог Дэвид Иглман описывал будущее, в котором спектр человеческих чувств расширяется за счет передачи данных в реальном времени из Интернета напрямую к нашему мозгу для того, чтобы интуитивно их воспринимать, без необходимости анализировать. Что же будет, когда мы сможем, минуя нос и язык, непосредственно стимулировать мозг, чтобы воссоздавать запахи и вкусы?

«Люди стремятся воссоздать реальный мир во всех его проявлениях», – говорит Чок[108]. Он рассказывает, как, когда только появилось кино, люди начали снимать улицы города. «Возможность запечатлеть на пленке виды улиц казалась удивительной, – продолжает Чок. – Но по мере развития технологий это стало частью повседневной жизни». Он считает, что так же будет и со вкусом и запахом. С появлением цифрового запаха, говорит Чок, первое, что начали делать люди, это воссоздали запахи и стали отправлять ароматные виртуальные розы через смартфон, но он считает, что следующим этапом будет создание чего-то совершенно нового.

Мы станем свидетелями новых исследований в области запаха и вкуса, которые выходят за рамки буквального представления и порождают новые ароматы, не существующие в реальности. С помощью аппарата Synesthesia Mask[109], спроектированного Закари Ховардом, вы сможете почувствовать запах цветов – в этой технологии ароматы соответствуют цветам, а не объектам. Хотя в основе работы Synesthesia Mask лежит направление ароматов в нос пользователя (вместо непосредственного стимулирования мозга), в настоящее время уже ведутся эксперименты с альтернативными способами создания новой реальности, которые не имеют явной корреляции с привычным нам миром. Когда мы уйдем от простого копирования реальности, AR в целом не будет ограничиваться существующими рамками, в результате чего откроются большие возможности для новых способов выражения и изобретений.

Во время своего выступления на ежегодной Всемирной выставке по разработкам в области дополненной реальности, проходившей в 2013 году в Кремниевой долине, я сделала презентацию, в которой использовала только метафоры для описания дополненной реальности, не приводя конкретных примеров. Я использовала примеры из других областей, чтобы изменить взгляд общества на текущее положение AR и возможные перспективы ее развития. На одном из моих слайдов был изображен прозрачный каяк. Обычная лодка создает визуальный барьер, не позволяющий ощутить всю гамму впечатлений – человек же, находящийся в прозрачном каяке, может получить доступ к ощущениям, не доступным раньше.

Прозрачный каяк можно сравнить с большим открытым окном, в котором контент и пользователь находятся в единой среде. Каяк практически невидим – в результате находящийся в нем человек чувствует себя в окружении стихии. Это прозрачное судно – важный пример, знаменующий появление нового вида AR, погружающей пользователя еще глубже в дополненную реальность и делающей его частью этой среды. AR зародилась на экране компьютера и изначально была привязана к рабочему столу. Затем технология перешла на смартфоны и планшеты, а сегодня она уже реализована в специальных очках и других устройствах. При дальнейшем развитии AR экраны в конечном счете исчезнут, и мы окажемся в этой гибридной реальности. Чувство погружения станет еще сильнее за счет персонализированных данных и контента, ориентированного на пользователя.

Мы узнаем о мире через рассказы. Лучшие истории и рассказчики помогают нам погрузиться в повествование, как если бы мы сами были его частью. Благодаря историям можно увидеть то, что видят их персонажи. Самые лучшие истории пробуждают в слушателе неподдельный интерес. Они возбуждают в нас ответную реакцию и меняют нас. Рассказы переносят нас в иное место и время, делают нас причастными к тем или иным событиям.

Я рассматриваю AR как форму развития воображения, с помощью которой можно создать виртуальную историю, состоящую из визуального, звукового, осязаемого, обоняемого и даже вкусового содержания. Способность человека фантазировать – необычайная сила. Человеческий разум может придавать визуальную форму и наделять голосом то, что не существует в реальности, трансформируя человека, объект или место и переносясь в другое время и пространство. Когда мы придумываем что-то, мы создаем истории в нашем воображении. Фантазия – важная часть обучения, игр, творчества, изобретений. Она делает возможным невозможное и порождает новые идеи. Воображение важно не только для детей – это эффективный инструмент в решении задач, требующих нестандартного подхода.

AR – это новая коммуникационная среда, имеющая большой потенциал для расширения возможностей человека, переосмысления и переживания рассказов. В этой главе рассматривается, как дополненная реальность развивается, создавая новые уникальные возможности для повествования, сохраняя при этом свою актуальность. Мы рассмотрим как уже устоявшиеся AR-практики, так и совершенно новые стили и механизмы AR-повествования.

Воображение и креативность

После моей первой презентации о технологии дополненной реальности и ее возможностях в повествовании один вопрос остался для меня без ответа: «А что, если я хочу представить это сама, не применяя AR?» Один из слушателей в аудитории задал этот вопрос, когда я рассказывала о проекте под названием LIFEPLUS[110], примере реставрации исторических событий в Помпеях с помощью AR. LIFEPLUS воссоздавал визуальный облик руин Помпей и моделировал античный образ жизни, повторяя драматические события того времени. Посетители исторической реставрации надевали специальный шлем и рюкзак, оснащенный компьютерными компонентами и аккумулятором питания, которые позволяли им видеть дополненную реальность и наблюдать за виртуальными историческими персонажами.

Если вы хотите увидеть, как что-то выглядит или выглядело когда-то, при помощи только своего воображения, без использования готовых визуальных образов, созданных при помощи технологий, у вас должна быть возможность такого выбора, так же, как вы выбираете между чтением книги и просмотром фильма. Когда вы смотрите фильм или пользуетесь чем-то технологически продвинутым, это не означает, что вы перестаете использовать свое воображение; вы продолжаете им пользоваться, расширяя спектр получаемых впечатлений. Я верю в то, что дополненная реальность способна стать таким инструментом. AR не вытеснит и не заменит человеческое воображение. Более вероятно, что эта технология его расширит, повысит эффективность обучения, раскроет возможности для нового дизайна, повысит уровень взаимопонимания, поможет в раскрытии творческого потенциала. Наши технологии хороши ровно настолько, насколько хорошо работает наше воображение, и только при помощи движущей силы, превращающей мечты и фантазии в реальность, AR позволит нам испытать нечто совершенно новое.

На самом деле я считаю, что новые ценности будут основываться на воображении и креативных идеях, реализованных с помощью AR. По большей части у нас уже есть необходимая технология, осталось только разобраться, что с ней делать дальше. Параллельно с разработкой самой технологии мы должны представлять и новые творческие горизонты, которые она нам открывает. Самые яркие возможности AR появятся благодаря наиболее креативным идеям. Важно отметить, что мы не стремимся мимикрировать под реальность и мало привязаны к ее физическим законам. Эта зарождающаяся среда – идеальная почва для появления всевозможных новых способов выражения. Даже когда дополненная реальность прочно войдет в нашу повседневную жизнь, ее уникальные креативные возможности будут продолжать вызывать удивление и трепет.

Мы находимся в самом начале творческой эволюции AR. Мы уже можем видеть первые признаки формирующегося стилистического языка, но эта среда пока по-прежнему легко изменяема. Назовем это время периодом «мокрой глины»: пришла пора экспериментов с огромным многообразием всевозможных форм, где пока нет четкого свода правил. Со временем жанры и стилистические приемы разовьются, хотя полностью изолироваться от сложившейся системы ограничений, конечно, будет довольно сложно. Не так часто появляются совершенно новые технологии. Этап открытий, который сейчас переживает AR, способствует развитию не только этой, но и вообще всех будущих технологий.

Присутствие

Присутствие – это термин, используемый в виртуальной реальности для описания восприятия и ощущения, будто вы «находитесь» непосредственно в созданной с помощью компьютерных технологий виртуальной среде. Присутствие – это показатель того, насколько хорошо виртуальная среда погружает пользователя в имитируемую атмосферу. Медиа-теоретики Мэтью Ломбард и Тереза Диттон определяют присутствие как «иллюзию отсутствия виртуального», когда «дополненная среда кажется невидимой или прозрачной и функционирует так же, как большое открытое окно, в котором пользователь и контент представляют собой единую физическую среду»[111]. Факторы, которые могут способствовать усилению чувства присутствия, включают точность визуального выравнивания, синхронизацию с окружающей средой и скорость реакции среды на действия пользователя.

Если присутствие в VR – это ощущение, что вы «действительно находитесь там», присутствие в AR – это восприятие виртуального контента, сочетающегося с физической средой, как будто контент «действительно здесь», в вашем физическом пространстве, и сливается с вашим окружением. Еще один способ рассуждать об этом – в терминах «реального времени». Медиа-теоретики Джей Дэвид Болтер и Ричард Грайзин пишут: «Логика сиюминутности диктует, что сама среда должна исчезнуть и представить нам дополненное содержание: окажетесь ли вы за рулем гоночного автомобиля или на вершине горы»[112]. Болтер и Грайзин далее описывают это как «пользователь больше не будет задумываться о существовании дополненной среды» – вместо этого он будет чувствовать «непосредственную связь с содержанием этой среды».

Оставаясь на месте, вы можете виртуально прыгнуть или даже побежать, вы начинаете верить, что контент из дополненной реальности действительно здесь, что он гонится за вами, как, например, автобусной остановке с AR, созданной для рекламы Pepsi[113] в Лондоне в 2014 году. Там на ничего не подозревающих пассажиров набрасывались виртуальные тигры, роботы и НЛО.

Чувство присутствия, вызывающее как эмоциональные, так и физические реакции в восприятии человека, не является чем-то присущим только новой технологии; такое уже случалось раньше – во времена зарождения кино. Известно, что в 1895 году во время 50-секундного фильма братьев Люмьер «Прибытие поезда на вокзал Ла-Сьота» люди вскакивали со своих мест и убегали из зала, опасаясь, что в них врежется поезд, который появлялся на экране в таком ракурсе, как будто он едет прямо на зрителя. Один из основоположников кинематографа Жорж Мельес вспоминал: «Поезд мчался навстречу нам, как будто он собирался сойти с экрана и въехать прямо в зал»[114], а французская газета Le courrier du centre (в своем выпуске от 14 июля 1896 года) сообщала, что «зрители инстинктивно вскакивали со своих мест в страхе, что их переедет стальной монстр». Кино в то время было совершенно новым явлением, как технология дополненной реальности сегодня. Мы верим, что с помощью AR, как это однажды случилось с поездом братьев Люмьер, наступит тот день, когда какой-нибудь виртуальный зомби или динозавр побежит прямо на нас, с той лишь разницей, что нам не обязательно будет идти для этого в кинотеатр – это будет происходить у нас дома, на работе или на улице.

Потеря уникальности

Том Ганнинг, изучающий кинематограф, описывает кино раннего периода как «аттракцион», в котором «машина, сменяющая фотографии, поражала людей самим этим процессом, а не темами и рассказами»[115]. В следующем поколении AR основное внимание привлекает уже не сама технология, а ее содержание и создаваемый с ее помощью продукт. Когда я впервые познакомилась с AR в 2005 году, меня очень сильно поразил тот факт, что рядом со мной появляется виртуальная составляющая. Для меня это была чистая магия – ни с чем подобным я раньше не сталкивалась. Сама по себе проекция не была очень впечатляющей: это был просто статичный синий трехмерный куб, – но меня поразили те возможности, которые нес в себе этот виртуальный объект, и достигнутый уровень технологий. Логически я понимала, что куб на самом деле не существует, но тем не менее я его видела. Я задавалась вопросом, что еще можно сделать с этим кубом, кроме как просто показывать его, и как можно использовать эту технологию в повествовательных целях.

Чувство присутствия сильнее всего в первый раз, когда вы только столкнулись с AR или VR, но спустя время создаваемая иллюзия становится чем-то привычным и ощущение присутствия уменьшается. В книге «Виртуальное искусство: иллюзия погружения» (издана в 2004 году) теоретик и искусствовед Оливер Грау рассуждает на тему того, что на зрителей сначала низвергается поток новых, не изведанных ранее эмоций, но позже, после того, как «привыкание делает воздействие иллюзии слабее», новая среда уже не может «захватывать дух»[116]. Грау пишет, что на этом этапе среда становится «устаревшей и публика уже не испытывает эффекта иллюзии», однако он отмечает, что именно на этом этапе «наблюдатели становятся восприимчивы к содержанию». Как это уже было с кино, дополненной реальности необходимо будет пройти путь от технологических открытий, завораживающих аудиторию, к созданию захватывающих историй, вызывающих интерес у пользователей. Изменения, происходящие в этот период, будут иметь очень большое значение в развитии AR, пишет Грау, т.к. при отсутствии эволюции есть риск утраты интереса к технологии.

Аура и контекстуализированное присутствие

Один из способов развития технологии и создания на ее базе действительно важных проектов – это обращение к контексту, в котором находится пользователь. «Аура» – это еще один термин, который связан с присутствием. Исследователи Блэр Макинтайр, Марибет Ганди и Джей Дэвид Болтер определяют ауру как сочетание «культурной и личной значимости объекта или места для пользователя или группы пользователей»[117]. Они отмечают, что аура всегда личная, поскольку она является психологической рефлексией человека на объект или место, и это крайне важно понимать, потому что «для существования ауры необходимо, чтобы человек мог связать объект или место со своим собственным пониманием мира». Важность контекста в технологиях этапа «Проникновения» связана с необходимостью сочетать реальный мир (например, объект или место) и ваш личный контекст: воспоминания, истории, впечатления.

Как мне кажется, во второй волне развития AR, аура будет влиять на показатели присутствия, т.к. она будет больше адаптирована к индивидуальным особенностям пользователя, его предпочтениям и его личному контексту. Макинтайр с коллегами представили результат исследовательской работы в проекте BENOGO[118], целью которого было изучить уникальные особенности реальных мест и создать еще более впечатляющие виртуальные образы. Что касается VR, то, по их мнению, исследованиям в этой области препятствует влияние внешних факторов реального мира, и лучший способ обеспечить ощущение присутствия в виртуальной реальности – это поместить пользователя в значимый контекст; свой способ они называют «контекстуализированное присутствие».

В своем выступлении в Стэнфордском Центре разработки систем изображений в мае 2017 года один из первых разработчиков в сфере дополненной реальности Рональд Азума поделился своими мыслями о повествовании с помощью AR и ожиданиями (с которыми я полностью согласна). Азума сказал, что новые AR-решения будут появляться в тех областях, где возможно полезное сочетание реального и виртуального. «Потому что, если основное содержание находится в физической среде, то зачем вообще нужна дополненная среда? И, по аналогии, если виртуальная составляющая превалирует, то для чего создавать AR-измерение? Почему нельзя ограничиться только технологией виртуальной реальности?»

Азума приводит в качестве примера AR-игру «Reality Fighters»[119] (2012) производства Sony Computer Entertainment для PlayStation Vita. Он поясняет, что игра использует физическую среду в качестве фона, не имея с ней реальной связи. Чтобы связать реальный и игровой мир и создать увлекательное приложение, он предложил дать игровому персонажу возможность использовать настоящий стул из окружающей среды, чтобы атаковать другого персонажа, или интегрировать кирпичную стену из реального мира, чтобы игрок мог скрываться за ней от атак.

В своей речи Азума рассказывает о стратегиях развития AR, две из которых, «Усиление» и «Воспоминание», особенно актуальны для ауры и контекстуализированного присутствия.

В стратегии «Усиление» используется реальное местоположение, которое само по себе оказывает воздействие, независимо от того, накладывается ли на него дополненная среда или нет. Вы можете дополнить его, придав тому или иному месту большую значимость и усилив тем самым впечатление от увиденного. Азума привел в качестве примера битву при Геттисберге[120], подчеркнув, что, если вы окажетесь на месте, где происходили известные события, и будете знать, почему это место имеет такое значение для американской истории, его посещение окажет на вас большое эмоциональное воздействие.

Он также приводит в качестве примера использования AR-технологии проект Брайана Августа «110 историй»[121], размещенный на сайте Всемирного торгового центра в Нью-Йорке. «110 историй» – это AR-приложение для смартфонов, которое позволяет вам увидеть башни-близнецы в том месте, где они когда-то стояли. Азума выделил две особенности, которые, по его мнению, вызывают интерес к этой программе. Во-первых, в приложении Всемирный торговый центр передается не фотореалистично, а будто контур башен начерчен на небе, как если бы они были нарисованы восковым карандашом. «Это не только технически проще, но и производит больший эффект на меня, ведь такое изображение башен соответствует истории, а именно показывает башни там, где они должны быть, но где их больше нет», – говорит Азума. Второе достоинство приложения заключается в том, что с его помощью вы можете сделать скриншот с дополненной картинкой и написать несколько строк о том, почему вы сделали эту фотографию и что она значит для вас, после чего ваше послание размещается на сайте проекта. Азума прокомментировал, что эти рассказы невероятно эмоциональные и захватывающие.

Я рассматриваю стратегию «Усиления» как способ подчеркнуть значимость, или «ауру» (если пользоваться термином Макинтайр, Ганди и Болтера), определенного места с учетом контекста, а также, как это реализовано в «110 историях», как возможность поделиться личной историей и усилить эффект присутствия. На этой идее основывается вторая стратегия, которую представил Азума, – «Воспоминание».