Аналитика как интеллектуальное оружие Курносов Юрий
Важнейшая компонента аналитики связана с исследованием и прогнозированием поведения целеполагающих систем, способных к активной генерации и реализации целей. Особенностью таких систем является их способность к проведению целенаправленных акций по дезинформации в интересах достижения поставленных целей. В связи с этим аналитику требуется установить, являются ли имеющиеся в его распоряжении данные полными, непротиворечивыми и достоверными.
Оценивание достоверности данных, поступающих на вход системы ИАР, представляет собой сложную задачу. Ее решение возможно только при условии, что аналитик располагает:
— адекватной моделью процесса;
— адекватной моделью ситуации (состояния).
Существует масса подходов к решению задачи оценивания достоверности: начиная от подходов, предусматривающих учет вероятности распределения ошибок в канале связи, по которому поступила информация, и заканчивая попытками анализа целостности и непротиворечивости данных или оценивания надежности источника (в том числе с учетом характера тех искажений, которые он склонен целенаправленно вносить — см. активная фильтрация сообщения).
При этом, оперируя данными, полученными от целенаправленно функционирующих систем, аналитик может исходить только из трех базовых посылок, позволяющих высказывать суждения об истинности или ложности утверждений, содержащихся в данных, поступающих на вход системы анализа:
— достоверность знания о динамической характеристике оцениваемого параметра (следствие адекватности модели);
— достоверность знания о значении параметра в некоторый предшествующий момент времени (следствие адекватного суждения на предыдущем этапе анализа);
— достоверность идентификации состояния системы в целом на предшествующем этапе анализа.
Все прочие сведения, поступающие к аналитику в виде деклараций о намерениях или утверждений о текущем состоянии системы, не могут быть признаны достоверными без проверки с применением перечисленных выше моделей и исходных данных.
Когда в качестве предмета анализа выступает система, обладающая свойством целеполагания, аналитик в большинстве случаев не располагает объективными критериями для формулирования выводов. При анализе декларативных заявлений, связанных с будущим, предметом аналитических суждений нередко становится не только реальный, но и модельный мир объекта анализа (совокупные общественные установки, идеологическая и духовная сфера общества или индивида-субъекта управления), что еще больше осложняет работу.
8.1 Логико-лингвистические средства анализа достоверности
Довольно часто, не имея возможности установить факт достоверности данных, аналитику приходится оперировать шкалами достоверности, синтезированными на основе опыта использования данных от конкретных источников (используя рейтинги достоверности и т. д.). Однако такой подход не гарантирует качества результатов, хотя и существуют способы повышения качества выводов за счет включения в рассмотрение ценностной ориентации и целей источников, а также построения выводов на основе анализа конфликтов в материальной, идеологической и духовной сферах.
В этих случаях при анализе достоверности данных, представленных в виде суждений, используются следующие подходы:
— использование примитивных мажоритарных методов;
— метод экспертных оценок;
— ранжирование источников данных;
— интеграция с объективными данными;
— привлечение методов теории игр для анализа оптимальных стратегий и сопоставления входных данных о выборе стратегии с результатами игрового моделирования;
— анализ ценностной ориентации источников;
— выявление базисных процессов реального мира, влияющих на процесс генерации суждений и др.
Для систем, обладающих способностью к реализации функции целеполагания, решение задачи верификации тесно связано с решением задач технологического обеспечения ИАР, поскольку требует от аналитика формализации тех ценностей субъекта целеполагания, относительно которых могут быть выявлены конфликты целей, декларируемых в совокупности суждений (выражающих стратегии поведения субъекта целеполагания).
Декларации стратегий, скрыто противоречащих базисным ценностям индивида или некоторого сообщества индивидов, в своей основе содержат логически выводимые высказывания, явно противоречащие ценностной аксиоматике. То есть, в результате интеграции с другими данными о ситуации или процессе, либо в результате приведения к примитивным высказываниям, могут быть получены высказывания, явно противоречащие друг другу или системе аксиом, относительно которой строится вся система аргументации. В ходе направленных акций по дезинформации особый интерес представляют моменты смены стратегии дезинформации в ответ на адаптивные действия оппонента, оспаривающего заявления дезинформатора. В такой ситуации дезинформатор вынужден менять линию поведения, что часто требует коррекции аксиом, на которых построена вся логика убеждения.
В настоящее время средства автоматизированного оценивания достоверности данных реализованы лишь для систем, не способных к целеполаганию либо не являющихся объектом преобразующей деятельности человека. В сферах, где это условие не выполняется, пределом достижений в области оценивания достоверности данных является автоматизация процесса маркирования пар противоречивых утверждений, предварительно формализованных экспертами. Маркирование может также осуществляться на основании сопоставления с набором допустимых стратегий, измеренных значений и иных данных разного уровня формализации и верифицируемости. Существуют системы, позволяющие оценивать действия целеполагающих систем на основе сопоставления с эталоном. Чаще всего, в таких системах в качестве эталона используются некие непротиворечивые системы регламентов, сохраняющие стабильность на протяжении рассматриваемого интервала времени — например, законодательные акты и иные.
Там же, где верификация данных (сообщений) по причине специфичности их объекта невозможна, автоматизация этого процесса сводится преимущественно к автоматизации процедур обработки результатов экспертных опросов, осуществляемых различными классическими методами.
Поскольку возможность оценивания достоверности данных связана с анализом прагматической составляющей знаковых систем и отображением элементарных или сложных высказываний на множество значений [0, 1] (как правило), постольку реализация автоматизированных систем, обладающих такой возможностью, связана с генерацией стратегий дискредитации утверждений. То есть для создания полностью автоматической системы, способной оценивать достоверность предоставляемых данных, требуется синтезировать систему искусственного интеллекта, способную вырабатывать эффективные стратегии, направленные на дискредитацию утверждений, а это требует от машины способности к автоматическому подбору аргументации (что не так уж и просто).
Для того чтобы автоматизированная информационная система могла автоматически подбирать аргументы, она должна быть в состоянии выделять из сообщений утверждения, подлежащие проверке (то есть, атомарные высказывания, содержащие сведения, значимые для решения проблемы), выполнять преобразование совокупности имеющихся данных в совокупность примитивных утверждений, соотнесенных с моделью фрагмента реального мира, на которой возможно осуществить проверку их истинности и непротиворечивости.
В отличие от задачи анализа достоверности, для решения задачи анализа непротиворечивости высказываний и сообщений не требует столь сложных операций, как синтез стратегий дискредитации утверждений (хотя теория поиска логического вывода, активно разрабатываемая в теории систем искусственного интеллекта предоставляет достаточно развитый аппарат для этого). Решение задачи анализа логической непротиворечивости потока сообщений связано с рядом проблем, среди которых на первом месте стоит проблема формализации текста (преобразования поступающего на вход системы ИАР произвольного сообщения к некоторому синтаксически однородному представлению). Первым этапом на пути к решению этой проблемы является построение модели естественного языка, на котором это сообщение представлено.
Современные подходы к решению проблемы анализа сообщений в общих чертах воспроизводят аналитические операции, выполняемые человеком, с той лишь разницей, что при этом учитывается необходимость алгоритмизации и автоматизации этих операций. Уникальное быстродействие «арифметикологического устройства» и ресурсы памяти, которыми располагает человек при аналитической обработке сообщений, позволяют ему быстро адаптироваться к способу синтаксического представления. Механизмы сценарной синхронизации (распознавание знакомого ситуационного контекста, сценария развития ситуации), активизирующиеся при наличии минимального социального опыта, обеспечивают человеку высокую избирательность и помехоустойчивость при восприятии сообщений. Эти механизмы функционируют не на уровне сообщения и даже не на уровне предложений — уровень их функционирования гораздо ниже и соответствует уровню элементарного высказывания.
В реальных условиях на способ представления сообщения могут оказывать влияние различные факторы. В число этих факторов, влияющих на способ синтаксического оформления сообщения (более общо — речевого акта) входят:
— цель сообщения;
— категория потребителя (образовательный статус, социальная или профессиональная группа);
— мотивация к восприятию (заинтересованность, нейтралитет, сопротивление);
— способ представления (устная, письменная форма);
— стиль (литературный, новостийный, обыденный и т. п.);
— способ взаимодействия (монолог, диалог, интервью и т. д.).
Некоторые значимые особенности представления сообщений, привносимые перечисленными выше факторами, приведены в работах Т.А. ван Дейка, Д. Кинча[63] и других специалистов в области лингвистики текста. В результате работы этих авторов был сформирован ряд специфических научных направлений, таких как грамматика текста, прагматическая лингвистика текста, получили развитие социальная и психо- лингвистика, а также теории генеративных и контекстно — зависимых грамматик. Ценность вклада перечисленных ученых в развитие методологии ИАР определяется тем, что ими были впервые сформулированы основные положения дискурсного анализа сообщений, учитывающего различные виды контекста сообщения во взаимодействии с социально-культурным и ситуационным контекстом, характеризующим состояние, в котором пребывают лица, генерирующие и получающие эти сообщения.
Уровень сложности генерируемых в зависимости от дискурса сообщений существенно варьируется. Особенно ярко проявляется здесь действие принципа релевантности подачи информации. Так, в работах Т.А. ван Дейка «Структура новостей в прессе» и «Анализ новостей как дискурса» дается перечень языковых, социальных и психологических факторов, обусловливающих композиционную и стилистическую специфику этого типа текстов.
Анализ обзорных, аналитических, новостийных, ретроспективных публикаций, появляющихся в отечественной и зарубежной прессе, в целом подтвердил тезис о стилистической и композиционной специфичности этих видов текстов. Однако, помимо этого, было отмечено наличие достаточно серьезных вариаций внутри каждого класса. Данные вариации могут быть обусловлены как личностной спецификой автора, так и общим эмоциональным строем каждого конкретного издания (здесь сказывается редакционная политика). Результаты статистических исследований различных типов текстов показали наличие устойчивых зависимостей между уровнем сложности предложений (показатели: длина предложения, наличие формальных признаков сложно подчиненных, сочиненных конструкций, обособленных оборотов, длина слов и т. п.) и гипотезой источника сообщения об образовательном статусе и интеллектуальном потенциале потребителя.
Исследования специалистов в области инженерной психологии, специализирующихся в области разработки сложных автоматизированных систем управления, показывают, что смена интерфейса информационной системы или способа представления информации приводит к возникновению дезадаптационного стресса. При работе с текстами событием, аналогичным смене интерфейса, является смена стиля изложения материала. По своему воздействию на потребителя сообщений смена стиля изложения сопоставима со сменой интерфейса информационной системы и также приводит к возникновению у аналитика стрессовых состояний, более того, в некоторых случаях она может привести к потере способности к восприятию текста. Это позволяет выделить проблему преодоления композиционной и стилистической неоднородности сообщений в отдельный класс проблем ведения ИАР.
Вполне естественно, что проблема преодоления стилевой и композиционной специфики сообщения представляет собой не меньшую трудность для компьютерных систем. Однако, коль скоро для рассматриваемых приложений речь не идет о понимании сообщения в привычном для человека смысле этого слова, для компьютерных приложений данная проблема предстает в своем «рафинированном» виде. Это означает, что на начальных этапах анализа текста рассмотрение функций прагматического характера, возлагаемых автором сообщения на композиционную и стилистическую специфику порождаемого им текста, может быть вынесено на другой уровень интерпретации текста.
По существу, процесс преодоления стилевой и композиционной специфики может быть сведен к двум относительно независимым процессам: процессу приведения отдельных высказываний к стандартизованной грамматической форме (этот процесс может быть назван также процессом редукции, приведения к канонической форме) и процессу связывания повествовательных микро- и макростратегий. Поскольку прагматическая составляющая текста, порождаемого в ходе информационного взаимодействия (ИВ), зачастую заключена в его эмоциональной компоненте, постольку попутно с приведением сообщения к стандартизованной форме должна решаться и задача выявления и протоколирования интонационных, композиционных и иных особенностей текста.
В результате преобразования сообщений к формальному представлению, при котором они приобретают вид логически связанной совокупности высказываний, сообщения становятся пригодны для последующего применения алгоритмов автоматизированной аналитической обработки сообщений, в том числе — для алгоритмов анализа логической непротиворечивости потока сообщений. К формализованным сообщениям, использующим каноническое представление текста, предъявляются следующие требования:
— каждое предложение текста должно содержать одно и только одно высказывание установленной структуры (например, субъект-предикат-объект или иной, более сложной, субъект-[ресурс]-предикат-[инструмент] — объект-[результат]);
— ни одно высказывание не должно содержать конструкций ссылочного типа (терминов подстановки), именуемых анафорическими конструкциями;
— все логические отношения, используемые в естественно-языковых высказываниях, должны быть приведены к установленной (канонической форме), исключены реверсивные формы временных и причинноследственных отношений (например, фраза «событие X произошло по причине того, что произошло событие Y» должна быть преобразована к виду «по причине того, что произошло событие Y, произошло событие X», что позволяет перейти к утверждению «событие Y есть причина события X»);
— терминология в рамках сообщения должна быть приведена к эталонному лексикону, построенному на основе лексикона сообщения с привлечением системного тезауруса и с сохранением исходного уровня конкретизации атрибутов сущностей, упоминаемых в сообщении.
Столь строгие ограничения, налагаемые на способ представления текста, предоставляют ряд преимуществ при анализе текста, приобретаемые за счет высокой степени его формализации.
Так, например, одним из важнейших преимуществ является возможность автоматизированного анализа логических отношений между компонентами высказываний. Канонизированный текст может быть подвергнут процедуре анализа внутренней непротиворечивости с применением логики естественных рассуждений91, которая может рассматриваться либо в базисе положений алгебры множеств и теории графов, либо в базисе теории частично упорядоченных множеств с квазидополнениями. При этом элементарные высказывания выступают в качестве аксиом полисиллогизма (системы логических утверждений, в которой количество исходных посылок превышает два), образованного их совокупностью, данной в тексте. Поскольку текст не всегда содержит полное множество высказываний, достаточных для производства вывода, при интерпретации текста могут привлекаться знания, имеющиеся в системе на момент его анализа.
Более того, канонизированный текст может быть охарактеризован уникальным лексическим спектром, отображающим его тематику, что позволяет использовать при анализе массивов текстов методы, сходные с методами распознавания сигналов. Спецификой лексического спектра является то, что в качестве аналога частотной оси для него выступает шкала тезауруса источника сообщений, а в качестве метафоры энергии — отношение числа употреблений термина к общему числу терминов в тексте.
Статистические характеристики канонизированного текста (такие, как частотно-ранговое распределение длин терминов, традиционно используемое при статистическом анализе текстов) приобретают вид, отличный от вида аналогичных характеристик обычного текста. За счет того, что в канонизированном тексте отсутствуют термины, используемые в обычном (стилистически корректном) тексте для построения анафорических конструкций (отсылок к предыдущим фрагментам текста), в подвергаемую статистическому анализу выборку попадают и те употребления терминов, которые ранее не могли быть учтены из-за того, что подстановочные конструкции (например, анафорические местоимения) традиционно включаются в перечень слов, исключавшихся из текста при проведении статистического анализа. В результате чего могут быть выявлены термины, действительно образующие структуру релевантности текста. В канонизированном представлении текста продолжают выполняться закономерности, выраженные в принципе лингвистической экономии Г.К. Зипфа, что делает полученный текст пригодным для выполнения процедуры автореферирования на основе анализа статистических характеристик. Однако статистические критерии здесь приобретают более объективный характер, благодаря восстановлению системы умолчаний, используемых источником сообщения с целью сокращения синтаксической избыточности.
Использование спектрального представления сообщений позволяет упростить процедуры построения (связывания) и отображения системы логических связей сообщений и событий, упоминаемых в сообщении и его контексте, а также построить развернутые во времени и пространстве системы связей с привлечением сообщений, образующих внешний контекст (исходящих от других источников).
Важной особенностью такого подхода является то, что с его применением могут быть построены модели двух типов:
— модели динамики потока сообщений;
— модели динамики событий.
В этом случае преобразованный массив сообщений может быть представлен в виде логико-лингвистической модели, в графической интерпретации приобретающей вид ветвящегося графа, где ветвления указывают на наличие логических противоречий, разрешение которых возможно с применением мажоритарных и иных методов.
Серьезной проблемой при проведении автоматизированного анализа с применением формально-логических методов является проблема неоднородности представления высказываний. Одни и те же сущности и отношения могут быть выражены в различных терминах, зачастую принадлежащих к разным уровням терминологической иерархии. Например, слова «автомобиль» и «грузовик», не являясь синонимами и имея различный объем понятия, в тексте могут означать одно и то же. Решению этой проблемы может способствовать применение иерархических тезаурусов. То есть, синтезируемые в ходе ИАР модели должны обладать возможностью применения к ним многоуровневого иерархического тезауруса, реализованного в виде совокупности семантических сетей, построенных в терминах различного уровня абстракции. За счет этого модели позволяют осуществлять над ними операцию смены уровня абстракции (общности) описаний и приобретают свойства масштабируемости во времени.
Ситуационные модели, полученные с применением таких представлений позволяют использовать для анализа непротиворечивости сообщений совокупность стандартизированных процедур формального логического анализа. Более того, методы решения полисиллогизмов, предложенные Б.А. Куликом, позволяют выявить факт неполноты системы аксиом и сформировать множество высказываний, которыми может быть дополнена аксиоматическая система, а также сформулировать полное множество логических выводов из системы посылок. Благодаря этому могут быть сформулированы задания на компенсацию неполноты массива исходных данных, а также определить комплекс противоречивых высказываний, сопоставить их с источниками и сформулировать гипотезу о степени достоверности сведений, поставляемых ими.
Несмотря на то, что это не позволяет сделать вывод о достоверности сведений, поставляемых конкретным источником (за исключением случая наличия внутренней противоречивости в его сообщениях), подобные методы позволяют оценить степень непротиворечивости сведений, полученных от группы источников. В результате чего, при наличии источников более достоверной информации может быть сформулирован комплекс мероприятий, направленных на устранение противоречивости.
8.2 Нетекстовые модели как инструмент верификации данных
Сколь бы совершенны ни были средства логического анализа достоверности данных, однако при условии, что стратегии дезинформации разработаны высококвалифицированными специалистами, располагающими столь же совершенными «электронными помощниками», реальной возможности верификации данных они не предоставляют.
При проведении анализа достоверности данных о состоянии или тенденциях изменения состояния систем в отраслях, не сопряженных с целенаправленным управлением параметрами процесса, либо имеющих систему жестких ограничений, обусловленных спецификой протекания базисных процессов, используются знания о наиболее общих закономерностях, определяющих поведение таких систем. Здесь широко применяются методы: теории вероятностей, математической статистики, формальной логики, теории измерений, а также законы, открытые в частных разделах естественнонаучных дисциплин.
Для таких систем, как правило, существует возможность синтеза модели, учитывающей диапазоны возможных значений и предельные динамические характеристики, на основе применения которой можно судить о достоверности/ошибочности данных, наличии искажений, вызванных теми или иными возмущающими воздействиями.
Ранее, рассматривая вопросы, связанные с моделированием систем, мы указывали, что модель является инструментом проверки гипотез. То есть, модель — это всегда инструмент верификации некоторой совокупности высказываний. Так что, вывод о возможности использования моделей для анализа достоверности сообщений является вполне естественным.
Очень часто, используя модели в реальной жизни, мы даже не задумываемся о том, что это действительно происходит. Многим людям, которым доводилось разрабатывать бизнес-планы, и в голову не приходило, что они занимались моделированием. Бухгалтер, составляющий балансовую отчетность, тоже редко задумывается о том, что он решает задачу оптимизации на достаточно сложной модели. Иными словами, модели — не есть нечто чуждое практике, вопрос лишь в том, сознаем ли мы факт их применения.
Допустим, что некая организация предлагает на сверхвыгодных условиях вложить деньги в «верное» дело. Зачастую наши сограждане, выяснив, сколько просят и что обещают, вкладывают и… теряют. Соображения их таковы: если просят немного, а обещают изрядно, то можно и дать — авось получится? Такой подход представляет собой подмену моделирования примитивным сравнением альтернатив, не учитывающим рисков, связанных с ошибочным выбором. Другое дело — взвешенный подход, связанный с оцениванием производственных затрат, спроса на продукцию, емкости рынка и иных характеристик социально-экономической системы. Объектом риска здесь, являются уже отнюдь не личные сбережения, а корпоративные финансы и ресурсы, соответственно требуется серьезное исследование, стоящее не малых средств. В последние годы в России появилось множество организаций, занятых проведением опросов общественного мнения, в нашу страну пришли и зарубежные фонды и институты, проводящие маркетинговые, социологические и иные исследования, например, Институт Гэллапа. Данные, получаемые в ходе подобных исследований, представляют высочайшую ценность, поскольку позволяют прибегнуть к аппарату математики, теории вероятности и математической статистики, то есть, воспользоваться инструментами повышения объективности выводов, вырваться из цикла эмоциональной вовлеченности и здраво оценить ситуацию.
Модели аналитические и имитационные, полунатурные и натурные, модели реального времени и допускающие временное масштабироване — значение их в том, что они являются инструментом «выращивания» нового знания, причем знания более «дешевого», нежели знание, полученное ценой полномасштабного эксперимента.
Проблема состоит в том, что затраты на синтез адекватной модели иногда оказываются сопоставимы с ценой ошибки. Поэтому, руководители часто отказываются от моделирования, забывая о том, что в случае ошибки средства просто теряются, в то время, как затраты на моделирование аккумулируются в модели. Модель-то остается и может быть использована вновь!
Проводя исследования в различных системах, сталкиваясь с разными по своей природе процессами, аналитик выбирает наиболее пригодный для решения задач анализа инструментарий исследования. Например, для моделирования результативности рекламной кампании, зачастую используется математический аппарат теории клеточных автоматов, аналогичный математический аппарат используется и в многоуровневом маркетинге (с линейной и нелинейной системой перераспределения прибыли). В других случаях оказывается эффективен математический аппарат теории линейного программирования. Однако единственное, ради чего используются все эти изощренные математические средства — это проверка истинности или ложности некоторого комплекса суждений.
Неслучайно в конце этой книги мы поместили приложение «Вариант организации процесса перспективного планирования на примере плана USAF-2025» — там наглядно показана процедура построения дерева целей и задач для дальнейшего перехода от качественных оценок к оценкам количественным. Как только мы получаем модель, использующую некоторую метрику, пригодную для сравнения альтернатив, мы получаем инструмент, обеспечивающий возможность аргументированной оценки утверждений на основе вычисления логических переменных.
9. Средства автоматизации ИАР
В самом начале первого раздела этой главы нами была приведена классификация средств автоматизации информационной работы. В соответствии с этой классификацией средства автоматизации делились на средства сбора, доставки, хранения и обработки данных, средства формирования и согласования тезауруса, средства интеграции и анализа данных, средства моделирования, средства интерпретации результатов, средства прогнозирования, средства синтеза целей управления, средства отображения данных, средства поддержки принятия решений и доведения управляющих воздействий.
Совершенствованию этих средств уделяется большое внимание: сегодня конкуренция в области создания средств поддержки ИАР превратилась из привычного соревнования фирм-разработчиков в гонку информационных технологий на государственном уровне. Безусловно, гонка вооружений также подстегивает развитие информационных технологий, однако практика показывает, что по поражающей мощи вооружений и точности средств доставки боевых зарядов государства, стремящиеся к мировому лидерству, пребывают примерно на одинаковом уровне. Сейчас дорога к лидерству не может быть расчищена исключительно боевым потенциалом вооруженных сил государства — этого недостаточно, да и слишком велика цена такого лидерства. Собственно, войны никогда не выигрывались исключительно оружием — это всегда было суровое испытание, в котором экономика, идеология, система управления государства доказывали свою жизнеспособность. Оружие массового поражения ненадолго поколебало уверенность в том, что это так, но когда оно перешло в категорию средств сдерживания нападения, все вернулось на круги своя. Теперь информационные технологии как инструмент повышения эффективности и оперативности процессов управления стали одним из основных элементов системы обеспечения экономической (и военной) безопасности государства, его граждан и субъектов экономической деятельности.
Говоря о средствах автоматизации и информатизации ИАР, следует выделять следующие классы:
— средства обеспечения ИАР, непосредственно не предназначенные для обработки и анализа информации (телекоммуникационное обеспечение ИАР, средства сбора, накопления и хранения данных, средства отображения информации);
— средства ведения ИАР, непосредственно предназначенные для обработки и анализа информации (различного рода пакеты статистической обработки данных, автоматизированные системы поддержки процессов моделирования сложных систем и анализа данных, лингвистические инструменты и т. д.).
В этой книге мы не будем рассматривать аппаратные и программные средства поддержки ИАР с такой степенью детализации, с какой они обычно рассматриваются в специальной литературе. Здесь нас интересуют не столько тонкости технической реализации, сколько идеи, заложенные в основу их функционирования, а также те положительные и отрицательные черты, которые эти средства способны привнести в ИАР.
Наиболее обширным и разнообразным по составу является класс средств обеспечения ИАР. Средства ведения ИАР отстают в своем развитии — оно и понятно: сложность аналитических процессов крайне высока…
9.1 Средства сбора информации
Едва ли стоит перечислять все то многообразие средств сбора информации, которое имеется в распоряжении профессионального аналитика, тем более, что в зависимости от класса систем, в отношении которых ведется ИАР, и бюджета субъекта ИАР комплектация существенно варьируется. Многое из арсенала средств сбора информации лишь дублирует возможности органов чувств человека, обеспечивая лишь «эффект присутствия» — это разнообразные системы теленаблюдения и иные инструментальные средства, позволяющие осуществлять дистанционный сбор информации, которая могла бы быть воспринята и без инструментария сбора данных, будь аналитик непосредственным участником неких событий. Другая группа средств сбора данных существенно расширяет и дополняет «ощущения», за счет придания свойств наблюдаемости тем феноменам, которые принципиально не могут наблюдаться посредством органов чувств человека: это расширение частотных/временных и энергетических диапазонов чувствительности человека (инфра- до ультра- звукового диапазона механических колебаний, от радиочастотного диапазона до ультрафиолетового диапазона электромагнитных колебаний, от микрообъектов до макрообъектов и т. д.). Арсенал этих средств чрезвычайно богат92.
Остановимся на средствах сбора наиболее очевидных и наименее достоверных данных — данных языковых коммуникаций и знаковых данных. В последние годы в этой отрасли развитие средств сбора происходит доселе невиданными темпами. Созданы средства распознавания и преобразования к символьному виду речевых сигналов, средства распознавания графических начертаний символов (оптические распознающие системы — сканеры), средства считывания картографических данных и т. п. графической информации. Создание этих средств дало мощный толчок развитию систем компьютерной обработки знаковых данных: сегодня, благодаря их использованию, аналитики получили доступ к неисчерпаемым ресурсам научно-технической, политической, экономической и иной информации. Пока лишь малая толика того, что хранится в глобальной телекоммуникационной сети (ГСТК) Интернет, набрана вручную — преимущественно эти ресурсы получены методом сканирования самых разнообразных печатных источников, хотя, наиболее вероятно, что постепенно ситуация будет меняться в пользу ресурсов, полученных методом голосового ввода.
В последние годы силами энтузиастов в ГСТК размещены электронные копии уникальных изданий. Мощные массивы англоязычных электронных документов сосредоточены в рамках некоммерческого проекта электронной библиотеки Project Gutenberg (http://www.gutenberg.net/). Российские ресурсы электронных копий научных, учебных и художественных изданий и также весьма обширны: здесь и Библиотека Мошкова (http://lib.ru/), и Big Information System Project (http://nmsf.sscc.ru/), и Открытая Русская Электронная Библиотека (http://orel.rsl.ru/), и Домашняя электронная библиотека (http://kniga.bibirevo.net/), и многие другие ресурсы. Однако в силу стремления к личной известности начинателей бесплатных электронных библиотек (следует отдать им должное — это достойные люди), в российском сегменте Интернет, получившем название «Рунет», отсутствует единый каталог, а система каталогизации далека от совершенства. За рубежом интенсивно развиваются проекты, направленные на стандартизацию поисковых интерфейсов и формата представления электронных документов. Так, например, в библиотечном деле широко внедряется стандарт представления текстовых данных для организации поисковых интерфейсов Z39.50 и его международная версия ISO 23950, развивается проект TEI — Text Encoding Initiative, выпустивший уже четвертую спецификацию стандарта — в России же этот процесс существенно запаздывает. Такое отставание снижает ценность информационных ресурсов, поскольку отсутствие четких правил формализации приводит к снижению эффективности поисковых процедур.
Интересный класс электронных информационных ресурсов оперативного плана — это электронные СМИ, размещающие и распространяющие свою информационную продукцию с применением инфраструктуры глобальных и национальных телекоммуникационных сетей. В ГСТК Интернет функционируют СМИ и информационные агентства, предоставляющие оперативную информацию, используя on-line (интерфейсы функционирующие в режиме непосредственного доступа) и off-line (интерфейсы функционирующие в режиме неоперативного доступа, например, рассылка новостей за некоторый интервал времени посредством электронной почты). В настоящее время в ГСТК представлены ведущие мировые информационные агентства (Associated Press, CNN, France Press, Интерфакс, АПН «Новости», ИТАР-ТАСС и многие другие) и газеты (New York Times, Washington Post, Газета. Яи и иные). Чрезвычайно информативны ленты новостей, предоставляемые информационными агентствами в режиме on-line с периодичностью обновления порядка единиц минут, биржевые рейтинги, публикуемые крупнейшими финансовыми и фондовыми биржами и крупными брокерскими объединениями.
Инструментарий сбора информации из подобных источников информации представляет собой преимущественно программно-аппаратные комплексы, обеспечивающие подключение к ресурсам телекоммуникационных сетей в соответствии с действующими протоколами обмена данными (как правило, это протоколы TCP/IP, PPP, SLIP, ISDN) и востребование данных с применением как профессионального, так и непрофессионального специализированного и общего программного обеспечения. Этот класс программного обеспечения весьма многообразен и включает в себя: интеллектуальные поисковые программы, неинтеллектуальные интерфейсы просмотра данных, программы, осуществляющие периодическое сканирование наиболее информативных источников, программы потокового ввода и иные. Финансовые механизмы обеспечения оплаты информационных услуг могут существенно разниться от условно-бесплатного предоставления информации (подача в сопровождении рекламы) до заключения договоров на информационное обслуживание.
Говоря об ГСТК Интернет, следует упомянуть о важнейшей особенности этого источника информации. Эта особенность — принцип предоставления информации по требованию — не позволяет рассматривать ГСТК Интернет, как явление того же прядка, что и иные источники информации. Принцип предоставления информации по требованию настолько специфичен, что способен в корне преобразовать человеческую личность. Обычно информация поступает к человеку по многим каналам информационного взаимодействия в режиме, который можно было бы назвать принудительным — информация (самая разная!) всегда «врывалась» в потребителя вне зависимости от его потребностей. Это спасительное для человека свойство информационного взаимодействия человека со средой обитания с появлением феномена СМИ (тем более, электронных СМИ) перестало быть непременным атрибутом интерьера информационного взаимодействия — человек (в который уже раз) создал альтернативную реальность. С каждым технологическим достижением она становится все более плотной (по ощущениям) и способна предоставить «материальные свидетельства» своего существования. По существу, ГСТК легко может претендовать на «место жительства Бога» и стать предметом спекуляций различного рода лжепророков. «Ищущий, да обрящет…» — человек, использующий схему взаимодействия запрос-ответ, легко может быть помещен в специфический информационный интерьер (а еще чаще добровольно и собственноручно помещает себя в него).
В США, например, рядом специалистов в области прикладной информатики (это не какие-нибудь мрачные персонажи типа Доктора Зло, а благонамеренные ученые[64]) на уровне интересной гипотезы рассматривается возможность создания виртуальной реальности для целых народов, в которой они будут ощущать себя максимально комфортно (чем не решение проблемы стран-изгоев?). Представьте себе: вы живете в единственном в мире социалистическом государстве, пребывая в полной уверенности, что на планете давно уже победил социализм, а в отдельных странах уж и коммунизм почти отстроили. Также тихо и мирно в соседних домах спят, посапывая, христиане и нехристи, сатанисты и католики — идиллия, да и только. Нет, действительно, потрясающий сюжет…
«Так то в Греции, — там тепло… — скажете вы словами Василия Алибабаевича из «Джентльменов удачи». — У нас такого и быть-то не может». Но ряд интересных закономерностей развития сетевых СМИ можно проследить и на примере российского сегмента ГСТК Интернет. В настоящее время целый ряд сетевых СМИ (и не каких-нибудь, а наиболее цитируемых в различных средствах массовой информации) создан и функционирует при поддержке и непосредственном участии Фонда Эффективной Политики (ФЭП), созданного известным российским политтехнологом Г. Павловским. Оно бы и ничего, «был бы человек хороший», да, вот ведь, в чем беда — качество человека здесь несущественно! Обращаясь к средствам массовой информации, носящим разные наименования, мы ожидаем разнообразия мнений, случайной структуры потока информации, полагаем, что многообразие наименований отражает многообразие точек зрения… и обманываемся.
Именно поэтому использование исключительно пассивных методов сбора информации в современных условиях нельзя считать приемлемыми. При работе с вторичными источниками информации, к которым могут быть отнесены все без исключения средства массовой информации, допустимо использование только активных методов сбора информации либо при анализе данных должны быть учтены все специфические акценты, которые обусловлены ценностной ориентацией источника информации.
Так, в настоящее время в интересах использования ресурсов ГСТК Интернет для решения задач информационного обеспечения деятельности военно-политического руководства американским агентством перспективных исследований МО США рассматриваются проекты систем, реализующих активный мониторинг ресурсов сети с применением аппарата семантических сетей. Предполагается, что за счет этого система сбора информации по качеству совокупности добываемых данных сможет приблизиться к системам непосредственного перехвата информации из каналов внутрисистемных коммуникаций.
Интересный класс средств сбора информации из телекоммуникационных сетей представляют собой, так называемые, «троянские кони», «сетевые черви» и иные программы, предназначенные для осуществления несанкционированного доступа к защищаемым личным и корпоративным ресурсам, хранящимся на компьютерах, подключенных к сети. Эти программы, несмотря на множество различий в стратегии проникновения к данным, имеют много общего и могут использоваться для сбора информации, пересылая критическую информацию внешнему потребителю. Низкий профессионализм среднестатистического пользователя персонального компьютера, как правило, не позволяет обнаружить факт утечки данных, а в случае корпоративного пользователя, где служба защиты данных поставлена должным образом, чаще используются иные методы несанкционированного доступа к данным (сетевые анализаторы, системы перехвата внешнего трафика сообщений и иные).
В этом подразделе мы выделили и рассмотрели особенности достаточно узкого класса средств сбора информации, исходя из тех соображений, что прочие средства сбора информации взаимодействуют преимущественно с физическими процессами, данные о характеристиках которых можно считать высоконадежными (почти не подверженными модификации, хотя существуют и эффективные средства маскировки, взять, хотя бы те же «стелс»-технологии и т. п. ухищрения). Однако, будем уповать на то, что реальность можно будет хоть как-то отличить от декораций — в противном случае тезис «Практика — критерий истины» придется заменить чем-то иным.
9.2 Средства хранения данных
На самом деле, рассматривая Интернет, мы уже затронули вопрос, связанный со средствами хранения данных… В противном случае, что же такое Интернет, если не система распределенного хранения данных? Средства хранения данных представляют собой обязательный компонент любой технологии, связанной с анализом информации.
В природе очень мало (если не отсутствуют вообще) систем, для которых несущественна предыстория их существования — можно говорить о физических аналогах памяти, например, любая запасенная (потенциальная) энергия — это тоже своеобразная память. В этом смысле, камень, лежащий на вершине горы, и тот обладает памятью о той силе, которой он некогда был вознесен на нее. Поэтому, любая система, предназначенная для анализа информации, должна располагать подсистемой хранения данных. И, если даже нам неизвестно, сколько тысячелетий камень лежит на вершине горы, мы, все равно, располагаем памятью в виде физической модели поведения подобных объектов и можем вычислить ту потенциальную энергию, которая запасена в нем.
То есть, для того, чтобы предсказать поведение системы, надо либо знать ее предысторию (помнить ее), либо быть в состоянии восстановить ее (помнить предысторию поведения других систем). Именно этим продиктована необходимость включения в системы анализа подсистемы хранения данных. Однако, этим сходство большинства систем анализа и ограничивается. Да, все они должны располагать блоком памяти, но способ организации хранения данных, способ их представления существенно варьируется. О группе различий, определяемых способом представления моделей, мы говорили ранее, но это лишь часть тех отличий, которые действительно значимы при рассмотрении системы анализа и предельных показателей качества ее функционирования.
Безусловно, многое определяется выбором технологической базы для реализации подсистемы хранения. Здесь следует выделять следующие классы подсистем хранения данных:
— подсистемы хранения данных на носителях с последовательным доступом к данным;
— подсистемы хранения данных на базе технологий, обеспечивающих параллельный доступ к данным.
И те, и другие методы организации хранения данных могут быть реализованы с помощью ЭВМ и сетей ЭВМ, однако при хранении данных на традиционных носителях (бумага, магнитная лента и т. д.) параллельный доступ реализовать не удается. Многое указывает на то, что для человека более естественен именно параллельный способ организации доступа к данным, что обусловлено в том числе и спецификой носителя данных, представляющего собой сложно организованную пространственную структуру, обладающую свойствами, сходными с голограммой (каждый элемент памяти одновременно хранит информацию не об одном, а о множестве реакций/событий). Лишь по мере совершенствования технологий хранения и считывания данных, системы, создаваемые человеком, постепенно приобретают такие свойства — для этого создаются многоканальные устройства регистрации с произвольным доступом, распределенные системы хранения данных на базе сетей компьютеров, вводится иерархическая организация данных, системы параллельных вычислений, нейросетевые компьютеры и так далее. Постепенно совершенствуя технологии, человечество приближается к моменту, когда можно будет говорить о создании эффективных самоорганизующихся структур хранения данных, на базе которых могут быть созданы действительно интеллектуальные системы анализа данных.
Идеи голографической организации структур данных уже не единожды высказывались специалистами, но проблемы, связанные с их реализацией и организацией эффективного поиска данных в подобных системах, на практике остаются нерешенными (насколько это известно авторам). Вероятно, здесь может оказаться полезным раздел математики, связанный с фрактальными структурами[65] (в частности фрактальная геометрия).
Многое также зависит и от того, что, собственно, подлежит хранению в подсистеме хранения данных. Здесь следует рассматривать два аспекта: аспект, связанный с уровнем детализации и завершенностью этапа их анализа (фактографические данные или модели), и аспект, связанный со способом представления (неформализованные или формализованные данные).
Современные подсистемы хранения данных чаще всего строятся по принципу, либо исключающему возможность их анализа без привлечения информации, внешней по отношению к данным, либо препятствующему их параллельному считыванию и обработке. В одном случае данные организуются в структуры, конфигурация и семантика связей которых находится вне подсистемы хранения (в подсистеме интерпретации), а в другом случае данные организуются таким образом, чтобы по мере поэтапного вхождения в контекст хранения система считывания накапливала знания, необходимые для интерпретации данных. В одном случае система считывания заранее должна располагать моделью интерпретации, а в другом — формулирует модель в ходе обработки.
Наиболее широкое распространение на сегодня (если не считать архивы на традиционных носителях) получили подсистемы хранения данных, использующие реляционную технологию. Идеология и логические основания теории реляционных баз данных разработаны американским ученым Е.Ф. Коддом (Codd E.F.) Подобные системы хранения относятся к классу систем, которым для работы с данными требуются внешние модели интерпретации — даже при наличии непосредственного доступа к носителю данных семантика связей может быть восстановлена лишь в редких случаях. Любое изменение структур таблиц, используемых для хранения экземпляров данных, должно сопровождаться внесением изменений в модель интерпретации, зафиксированную в приложении, обеспечивающем считывание и связывание данных. При изменении структуры объектов учета и атрибутов, используемых для их описания, организация сталкивается с необходимостью доработки программного обеспечения, используемого пользователями, что не всегда возможно (меняются языки программирования, высока кадровая динамика и т. д.).
С другой же стороны, реляционная технология (лучше даже — парадигма) баз данных (БД) обладает множеством положительных свойств. Первое и важнейшее из них — это то, что все отношения между экземплярами данных могут быть заданы извне — ни один из методов связывания по заданным пользователем логическим условиям не будет воспринят как недопустимый. Любой запрос считается допустимым и может вернуть непустое множество записей базы данных: были бы соблюдены формальные правила именования объектов базы данных (таблиц и полей — колонок) и синтаксис языка запросов — остальное находится в компетенции пользователя. Это свойство превращает реляционные базы данных в мощный инструмент исследований, добывания нового знания из существующего набора данных. Более того, введение стандарта языка управления базами данных SQL'92 позволило сделать прозрачным (независимым от особенностей реализации) процесс обращения к различным системам управления базами данных (СУБД) и уже через их интерфейсы к БД, функционирующим под их управлением.
Однако следует заметить, что сколь бы мощные возможности ни были доступны пользователю реляционных БД, всем им свойственен основной недостаток: отсутствие системности в подходе к организации данных и потеря их связности. Несмотря на то, что данные в реляционных БД достаточно высоко формализованы, а декомпозиция свойств доведена до уровня атомарности, возможности их организации в связные описания объектов и систем ограничены — знания о правилах их объединения вынесены за пределы компетенции СУБД.
Для преодоления этого недостатка используются, так называемые, вторая и третья нормальные формы, представляющие собой совокупность правил связывания и организации данных за счет внесения отношений ссылочной целостности (иерархизации представления данных). Хоть это, в принципе, противоречит основному принципу построения реляционных БД, но зато приближает реализуемые в таких БД отношения между данными к естественному способу хранения данных и знаний. Если воспользоваться метафорой, то в классическом виде отношения между данными, реализуемые в реляционных БД, можно сравнить с «кашей в голове» у нерадивого студента, когда из-за отсутствия закрепленных связей между фрагментами знаний, полученных в результате авральной зубрежки, в своих ответах на экзаменационные вопросы он может с легкостью сочетать несочетаемое.
Здраво было бы ограничить сферу применимости реляционных баз данных этапом макетирования информационных систем, предназначенных для функционирования в системах с низкой структурной и функциональной динамикой. После того, как период адаптации и установления ссылочных отношений окончен, в принципе, можно перейти к менее гибкой, но более быстродействующей навигационной парадигме (хоть она и старше реляционной). Но в силу универсальности и гибкости реляционной модели обычно она продолжает использоваться и по окончании периода адаптации, что обусловлено желанием заказчика обеспечить сохранение «потенциала роста» и максимальную гибкость БД, как инструмента исследования.
Выше мы вскользь упомянули о навигационной парадигме баз данных… Базы данных, реализованные в соответствии с навигационной парадигмой, по способу организации данных коренным образом отличаются от реляционных. Навигационная парадигма полностью соответствует принципу иерархической классификации. Связи между экземплярами данных в навигационных БД жестко заданы моделью, отражающей свойства моделируемой (описываемой) системы. Такое представление более гармонично вписывается в системный подход и напоминает уже не голову одуревшего от зубрежки студента, но голову педантичного старосты группы, знания которого хорошо уложены и приведены в порядок. Однако, если продолжить сравнение, то знания эти все еще разобщены, не полны и не позволяют создать нового знания, поскольку они бесконфликтны, а отношения между ними пока лишены должной пластичности.
Навигационная парадигма опирается все на тот же аппарат табличного представления данных, где имя колонки соответствует имени атрибута, строка — совокупности свойств некоторой сущности, выступающей в качестве атомарной на данном уровне описания. На следующем уровне описания этой же сущности атрибут может быть раскрыт с подобающей степенью детализации, но главное: описание будет вновь доведено до атомарного уровня — в противном случае все ухищрения лишены какого бы то ни было смысла. Процесс построения описательной структуры навигационной БД связан с процедурой поэтапной декомпозиции свойств сложного объекта в некоторой плоскости отношений (отношения включения, подчинения и т. д.). Так, протоколируя процесс последовательной разборки автомобиля и записывая после разборки некоторого узла или агрегата перечень деталей и крепежных элементов (с указанием их спецификации), можно синтезировать структуру описания, схожую со структурой навигационной базы данных.
Изучение такой БД может дать информацию о «конструкции», а вернее, о композиции и характеристиках объектов, описания которых хранятся в ней. То есть, разобранный автомобиль можно собрать вновь, не копаясь в баночках с разнокалиберными винтиками и шпунтиками. В случае ведения протокола разборки автомобиля в реляционной базе данных, пришлось бы бегать с каждым болтом от ведерка с болтами к агрегату — проверять, не подойдет ли…
— Хорошо еще, что эта работа возложена на плечи СУБД. Связи в навигационных БД установлены жестко — «открыть» новую вам не даст СУБД, заявив о попытке нарушить существующую схему отношений. Внести коррективы в систему отношений можно лишь взаимодействуя с СУБД в качестве разработчика.
Очевидно, что подобные БД могут применяться во многих отраслях, где требуется высокое быстродействие, где анализ связей уже завершен, а его результаты признаны удовлетворительными. По некоторым своим свойствам навигационные БД довольно близки к идеологии системного подхода, однако многообразие связей и отношений здесь даже теоретически не может быть учтено во всей своей полноте. Опять же, примитивные интерфейсы, используемые для отображения данных, зачастую предоставляются средствами СУБД (это плюс), но при попытке их усложнения или усовершенствования приходится обращаться к прикладным программам, размещаемым на рабочем месте клиента. С другой стороны все эти отношения могут быть сымитированы в реляционных СУБД, а значит, разработчик, имеющий опыт работы только с одним типом СУБД, оказывается способен создавать БД как классического реляционного типа, так и псевдо-навигационного типа (что потребителю выливается в необходимость приобретения более высокопроизводительного компьютерного оборудования, но удешевляет стадию разработки).
Мы уже рассмотрели реляционные и навигационные БД, но ни те, ни другие не были признаны нами в качестве средства хранения данных, отвечающего потребностям ИАР и сущности системного подхода (это не значит, что они вообще не могут быть эффективно использованы при ведении ИАР). Еще одной парадигмой построения баз данных, наследующей свойства навигационных баз данных, является парадигма объектных баз данных. Парадигма объектных баз данных по своей сути близка идеологии имитационного моделирования: для описания объектов учета такие БД используют комплекс компонент описания, обеспечивающий учет не только атрибутов объекта, но и системных связей, их параметров, правил комбинирования, проверки допустимости значений и так далее. В классическом варианте объектных БД объекты идентифицируются по именному принципу, их свойства определяются набором общих (свойственных родительскому классу) и частных (свойственных данному экземпляру объекта или производному классу) характеристик. Чрезвычайно полезными механизмами, введенными в модель объектных БД, являются механизмы наследования и переопределения свойств объектов и классов. Чтобы проиллюстрировать этот механизм, приведем следующие утверждения в «объектном стиле»: «Книга — есть документ, отличающийся тем, что носитель символьных данных объединен в блок. Свиток — есть документ, отличающийся тем, что носитель символьных данных представляет собой скрученную в рулон широкую ленту». Как видим, понятия введены на основе использования ранее введенных понятий-классов верхнего уровня «документ» и «носитель символьных данных», за счет чего упрощено описание производных понятий (а термины и понятия, естественно, могут выступать в роли объектов хранения).
Своим бурным развитием объектные базы данных обязаны человеческой лени (как двигателю прогресса), системному анализу, языку программирования Си и, в первую очередь — системам автоматизированного проектирования, использовавших такие способы описания для представления информации об элементной базе проектирования (микросхемах, транзисторах и т. д.). Свойства таких элементов было удобно описывать с применением методов наследования и переопределения свойств и техники стратификации: отдельно — логические функции элемента, отдельно — описание габаритных параметров, отдельно — временные и частотные характеристики, отдельно — параметры входных и выходных сигналов (уровни нуля и единицы, амплитудно-частотная характеристика и т. д.). В результате комбинирования элементов, описанных таким образом, еще на стадии разработки устройства выявляются грубые ошибки проектировщика, смоделированы и рассмотрены эпюры сигналов в контрольных точках и так далее. По существу одновременно с проектированием устройства синтезировалась имитационная модель проектируемого устройства. Естественно, что как бы ни была многообразна элементная база, используемая для разработки электронных устройств, количество уникальных имен было конечным, а задача идентификации конкретного элемента могла решаться, например, по реализуемой им логической функции, что не требовало высокого развития логического аппарата поиска данных.
Постепенно приходило понимание того, что подобный подход приемлем и при описании объектов другой природы, в том числе, и людей, выступающих в фиксированных (заданных некими регламентами, например, должностными инструкциями) ролях. То есть, всего того, что может рассматриваться в качестве объекта, принадлежащего к некоторому классу и обладающего собственными и системными свойствами, для которого определены нормативные способы манипулирования им, его нормативное поведение и иные характеристики.
Еще одним полезным свойством объектных технологий является то, что данные, описывающие объект учета, могут быть сопровождены и информацией об интерфейсе их представления. Например, в качестве одного из атрибутов при описании микросхемы в системах автоматизированного проектирования (САПР) использовалось описание ее графического начертания. Однако это было только начало, поскольку метод отображения начертания был реализован в оболочке САПР. Позже, за счет унификации языков программирования и графических интерфейсов операционных систем, стало возможным и совместное хранение данных с описаниями методов их отображения и обработки. Это позволяет при получении исполнительной системой комбинированного блока данных и формализованных описаний алгоритмов их обработки, воспользоваться теми процедурами, которые позволяют корректно обрабатывать и отображать именно этот экземпляр или класс данных. То есть, на момент получения данных их потребитель может в принципе не располагать методами и программами обработки данного класса данных, а все изменения в методах обработки данных, автоматически станут доступны их потребителям. Такая идеология рассматривается как наиболее перспективная, в ее русле разработаны языки гипертекстовой разметки SGML, XML, HTML, MathML, языки программирования Java Script, Java и ряд иных языков программирования и управления представлением данных, разработанных в последние годы.
Однако, основной бич объектных баз данных — система именования объектов. Да, вы можете получить и изучить иерархию объектов и классов, схему наследования и переопределения свойств для конкретного класса объектов хранения, но этого мало… Поскольку основным идентификатором объекта является его имя, а не свойства (!), манипуляция экземплярами классов затруднена: это уже не таблицы, а более сложные структуры данных. А значит, решение исследовательских задач, связанных со сравнением свойств объектов, в таких БД затруднено (ведь речь идет уже не о сравнении величин, а о сравнении объектов, структура которых может и различаться). А сами объектные базы данных в большей степени пригодны для решения задач синтеза, то есть, работ типа проектирования, но не для анализа. Хотя, если рассматривать ИАР как целостный цикл работы с информацией, то становится понятно, в чем именно заключается привлекательность объектных баз данных с точки зрения аналитика — они представляют собой инструмент подготовки и проведения имитационного моделирования и проверки гипотез. Но, к сожалению, классические объектные БД не могут выступать в роли инструмента анализа, проводимого по схеме восхождения от общего к частному и обратно.
Жаль… А ведь как привлекательна идея «данные, модели и методы в одном флаконе»! Так и хочется спросить: «Девушка, а у вас такого же, но с перламутровыми пуговицами не найдется?». Что ж, Технология — девушка запасливая: есть у нее и «с перламутровыми»…
Поиски путей согласования системного подхода с компьютерными технологиями хранения, поиска и обработки данных привели к разработке еще двух технологий: объектно-реляционной модели организации хранения данных и модели гетерогенных хранилищ данных (или хранилищ данных — Data Warehouse). Однако по порядку…
Парадигма объектно-реляционных БД объединяет основные преимущества реляционных СУБД и некоторые, унаследованные от объектных СУБД. Заметим, что «объектность» в объектно-реляционных СУБД иная, нежели в объектных СУБД — объектом в них являются данные (именно для манипуляций над ними разрабатываются методы), а не семантика связей реального мира. Это позволяет, с одной стороны, использовать механизмы наследования и переопределения, обращения к объектам с применением специализированных методов, а с другой — решать сложные аналитические задачи, связанные с логическим анализом значений атрибутов.
Одним из представителей этого класса систем является СУБД IBM DB2, обеспечивающая работу с различными классами данных, включая и классы, определенные пользователем. В ней предусмотрен ряд полезных возможностей: анализ совместимости типов данных и указание правил оперирования данными (например, исключающих возможность появления квадратных долларов при умножении стоимости на стоимость и т. д.), указания внешних ссылок на ресурсы, хранимые вне БД, создания лингвистических индексов (по Г.К. Зипфу) для больших текстовых массивов и иные. Не так уж и много, но и немало.
Конечно, такие возможности несколько разочаровывают, но при совершении некоторого «интеллектуального насилия» над СУБД, заключающегося в использовании механизма подключаемых внешних процедур, объектно-реляционная система приобретает те свойства, которые могут быть чрезвычайно полезны при создании информационно-аналитических систем. Например, может быть определен объект типа «модель», правила обращения с которым будут определены во внешних процедурах, что позволит использовать такую БД в качестве системы хранения компонентов моделей, или объектов типа «сценарий», что также весьма ценно… В этом случае СУБД сможет выступать в роли системы, которая помимо функции хранения данных сможет выполнять функции диспетчера, координирующего работу множества прикладных процессов, инициируемых событиями, обработка которых предусмотрена данной СУБД (например, вставка новой записи, изменение данных и т. д.).
Идея хранилищ данных (Data Warehouse) впервые была предложена Б. Инмоном. Сейчас аналитикам многих западных компаний уже трудно представить, как они обходились с дезинтегрированными ресурсами различных баз данных, созданных в различные периоды времени в разных организациях с применением различных технологических платформ… Однако теперь, после внедрения технологии хранилищ данных, столь удачно сочетающейся с концепцией оперативной аналитической обработки данных (OLAP), эти различия перестали быть ощутимыми для потребителей. Хранилища данных прочно заняли одно из почетных мест в инструментарии аналитика. Практика построения хранилищ данных доказала необходимость переноса идеологии виртуальных таблиц, реализованной в реляционных базах данных, на крупномасштабные приложения и развития ее до технологии витрин данных (Data Mart), позволяющих сделать прозрачным доступ к данным, хранимым в технологически неоднородных средах.
За прошедшее десятилетие было разработано около десятка различных архитектур корпоративных информационных систем на основе хранилищ и витрин данных, предназначенных для поддержки принятия решений и аналитических исследований. В создании крупных хранилищ данных лидируют такие фирмы, как IBM, Informix, NCR, Oracle, Red Brick, SAS, Sybase.
С другой стороны, следует понимать, что хранилища данных также используют и объектную идеологию, однако на уровне доступа к макроресурсам, а не отдельным записям баз данных. Основная их задача — организация прозрачного доступа к данным, размещенным в БД, функционирующих под управлением различных СУБД (в том числе, и таких, которые реализованы в соответствии с разными парадигмами). По существу, хранилище данных — это система более высокого уровня, нежели база данных, такая система могла бы назваться базой баз данных. В нем (в хранилище) содержатся объектные описания правил манипулирования информационными объектами включенных в хранилище БД, а также метаданные, описывающие систему логических отношений между объектами учета и их атрибуты.
Использование хранилищ данных в качестве надстройки над системой взаимосвязанных баз данных позволяет преодолеть ограничения парадигм частных СУБД за счет введения систем параллельного учета, разделения объектов учета между СУБД, наилучшим образом приспособленными к решению тех или иных задач, связанных с хранением и анализом данных.
Таким образом, мы логично переходим к технологии распределенного хранения данных с централизованным управлением на основе единой политики информационной безопасности, единого интерфейса доступа и отображения информации на базе распределенных телекоммуникационных сетей. Это идеальный вариант, предполагающий, что все информационные ресурсы принадлежат единой организационной системе, в которой реализованы корпоративные стандарты представления данных и организации информационного взаимодействия. Но существует и иной вариант организации корпоративного информационного ресурса и именно этот вариант на сегодня является наиболее распространенным…
Противоположность идеалу организации корпоративного информационного ресурса являет дезинтегрированный информационный ресурс распределенных телекоммуникационных сетей, образующийся в результате стихийного процесса генерации информации множеством организационно не связанных индивидов. Примером такого варианта хранения данных является ГСТК Интернет. В такой системе особую важность представляют процедуры мониторинга ресурсов их индексации и систематизации. Неслучайно в Интернет существует такое обилие информационно поисковых серверов, предоставляющих различные поисковые интерфейсы.
Такое специфическое информационное пространство живет по законам самоорганизации сложных систем: динамично возникающие и распадающиеся группы и сообщества энтузиастов, более стабильные корпоративные ресурсы профессиональных и научных сообществ, представительские порталы крупных коммерческих и государственных учреждений — все эти ресурсы принципиально не могут быть исполнены в соответствии единым правилам. Единообразие присутствует лишь на уровне группы телекоммуникационных стандартов — остальное же обусловлено неповторимостью сочетания целей, задач и ситуации, в которой пребывают лица и организации, предоставляющие в общее пользование принадлежащие им ресурсы.
Тем не менее, возникновение некоторой группы (пусть даже временной) приводит к выработке если не стандарта, то, хотя бы, некоторого корпоративного стиля. Здесь могут вырабатываться некие правила формализации данных, их логической и физической организации. Темпы пополнения и модификации ресурсов варьируются в широчайших пределах. Как следствие, при сборе информации, а по сути — обслуживании такого неструктурированного хранилища данных, основной упор делается на технологии, экономно использующие ресурсы полосы пропускания каналов связи и ресурсы производительности машины, осуществляющей сбор информации. Представьте себе, что бы стало, если бы на вашем компьютере одновременно запустилось несколько сотен вычислительных процессов, которые, используя канал связи, стали бы загружать из сети на ваш компьютер доступные файлы, выполнять статистические расчеты для составления индексных таблиц, после чего стирать загруженные по каналам связи файлы. Сюрреализм, да и только… при такой технологии каналы связи были бы перегружены запросами поисковых серверов. Поэтому поисковые программы (именуемые поисковыми роботами) исполняются непосредственно на тех компьютерах, на которых расположены ресурсы, которые требуется проиндексировать. Процесс отправки инициируется на поисковом сервере, код программы-робота направляется на удаленный компьютер, там под управлением его операционной системы запускается на исполнение, а результат обработки направляется на поисковую машину. Правда, некоторые поисковые машины в часы спада нагрузки все же выполняют процедуры загрузки файлов из сети с последующим их сохранением в своей подсистеме хранения.
Следует заметить, что такие разобщенные ресурсы не являются исключительным атрибутом больших телекоммуникационных сетей. Они присутствуют и в большинстве сетей масштабов организации — отсутствие дисциплины информационной работы приводит к дестандартизации представления данных, нарушению корпоративной информационной политики, что чаще всего бывает вызвано несовершенством схемы и технологии информационной работы в организации и низкой квалификацией сотрудников. Характерно, что вирусным атакам чаще всего подвергаются именно эти — неорганизованные ресурсы. К сожалению, должностные лица, в ведении которых находятся вопросы соблюдения информационной политики организации, редко вспоминают о феномене существования дезинтегрированного информационного ресурса (откуда, мол, ему быть в локальной вычислительной сети). В результате из-за напластований фрагментов и версий документов происходит снижение темпов деловых процессов, прекращается пополнение корпоративных информационных ресурсов, что приводит к снижению эффективности информационной работы в целом.
Возникновение и рост дезинтегрированного информационного ресурса в малой организации является тревожным симптомом — он говорит о снижении квалификации, отсутствии трудовой дисциплины, неудобстве или устаревании автоматизированных систем поддержки информационной работы или снижении доверия к надежности подсистемы хранения данных. Поэтому в локальной вычислительной сети организации также целесообразно проводить периодическое сканирование рабочих мест на предмет индексации локальных ресурсов, устранения дублирования, а также выявления узких мест в организации и технологическом обеспечении информационной работы.
Особый класс систем хранения данных представляют собой базы знаний и моделей. Если до обращения к тематике объектных и объектно-реляционных баз данных речь шла преимущественно о структурной декомпозиции объектов описания и выделении статических атрибутов, то базы знаний и моделей помимо этих аспектов выделяют и временной аспект функционирования систем и объектов учета. Этот класс систем хранения данных ориентирован на хранение данных о логике причинно-следственных отношений, функциональных зависимостях и иных параметров, в той или иной степени связанных с временем.
Основная задача баз знаний и баз моделей — хранение логически организованной информации, обеспечивающей возможность с применением логического аппарата и системы аксиом различного рода сформулировать вывод о состоянии, тенденции или характеристиках процесса. При этом аксиомы, хранимые в базе знаний или базе моделей, могут носить как характер абсолютных утверждений, так и вероятностных суждений относительно некоторых сущностей и процессов, иметь общую значимость или быть истинными лишь для некоторого класса начальных условий.
Существуют разные подходы к построению баз знаний. Наиболее типичными подходами (моделями представления знаний) являются логические, сетевые, продукционные и фреймовые модели.
Логические модели представления знаний формируются из следующих компонентов:
— множество базовых терминов (например, имен объектов, действий и т. п.);
— множество аксиом (синтаксически и семантически корректных высказываний из базовых терминов);
— множество методов вывода из множества аксиом синтаксически и семантически корректных высказываний;
— множество методов соотнесения терминов с входными терминами;
— множество методов построения синтаксически корректных высказываний из терминов;
— множество методов установления факта принадлежности синтаксически корректных высказываний к множеству синтаксически и семантически корректных высказываний.
Сетевые модели представления знаний формируются из следующих компонентов:
— множество информационных единиц;
— множество типов связей между информационными единицами (временные, причинно-следственные, родо-видовые и т. п.);
— множество связей между информационными единицами.
Такие модели получили название семантических сетей, среди которых, в зависимости от типов связей, принято выделять классифицирующие, функциональные сети, сценарии и семантические сети, не специализированные по типу отношений.
Продукционные модели представления знаний формируются из следующих компонентов:
— семантическая сеть;
— множество правил вывода (продукций).
Такие модели вместо логического вывода на множестве аксиом используют вывод на знаниях.
Фреймовые модели представления знаний формируются из компонентов типа «фрейм». Фрейм представляет собой структуру данных, включающую имя фрейма, имя слота (слотов), значение слота (слотов). На тип значения слота ограничений практически не налагается — ими могут быть числа, математические соотношения, тексты на естественном языке, программы, правила вывода или ссылки на другие слоты данного фрейма или других фреймов. Как следствие, из фреймов может быть построена сложная многосвязная структура, отражающая знания о некоторой предметной области.
В качестве технологической платформы для построения базы знаний могут быть избраны навигационные, реляционные и объектные базы данных, языки гипертекстовой разметки, программы, разработанные на языках логического программирования и обработки символьных данных и программы, разработанные на языках программирования общей семантики. Выбор технологической платформы может быть продиктован как спецификой хранимых знаний, так и наличествующим у разработчика инструментарием (не говоря о требованиях к быстродействию, уровню конфиденциальности знаний и т. д.).
9.3 Экспертные системы
Эксперты высокого класса не всегда есть под рукой, их опыт всегда специфичен, да и ротацию кадров следует учитывать. Технология же экспертных систем позволяет улучшить (если не исправить) ситуацию в кадровой сфере, а также оптимизировать работу экспертов высокого класса, переложив решение рутинных проблем на «плечи» автоматизированных систем. Поэтому экспертные системы нашли широкое применение в современной аналитике. Заметим, что экспертные системы являются инструментом, способным оперировать, в том числе, и знаниями, еще не прошедшими процедуру научного обобщения и формализации — кроме экспертных систем это может делать только человек. К этому следует прибавить, еще и то, что способности человека по оперативному извлечению необходимых знаний и данных из памяти ограничены и подвержены влиянию целого ряда внешних условий (например, стрессовые ситуации, колебания физических параметров среды обитания и т. п.).
В качестве иллюстрации к последнему утверждению приведем курьезный пример. В 1990-е годы в Италии провели интересный эксперимент: специально отобранной группе девушек были предложены для решения два идентичных задания, первое из которых они решали, будучи одеты в одежду делового стиля, а второе — в бикини. Второе задание было решено с чуть ли не в два раза худшими результатами, чем первое. А ведь это всего лишь изменение стиля одежды… Чего же ожидать от человека, если поместить его в действительно экстремальные условия?
В последние десятилетия направление экспертных систем (ЭС) оформилось в самостоятельную (и весьма прибыльную) отрасль теоретических и прикладных исследований в рамках теории искусственного интеллекта. Правда, в силу действия модных течений название специалистов, работающих в этой области, несколько раз менялось: то их именовали специалистами по интеллектуальным технологиям, то инженерами знаний, то когнитологами. Сейчас на западе в ходу термин Knowledge Management (управление знаниями), соответственно, поменялось и название специальности.
Целью деятельности этих специалистов является создание программ и устройств, использующих знания и процедуры вывода для решения задач в заданной предметной области. ЭС не только реализуют заранее разработанные алгоритмы решения задач, но способны самостоятельно вырабатывать «новые» алгоритмы решения возникающих задач.
Следует выделять два направления работ в этой отрасли: направление создания инструментальных средств для создания экспертных систем (программных оболочек экспертных систем) и направление собственно создания ЭС, наполненных конкретными знаниями в некоторой предметной области.
В настоящее время ЭС применяются в различных областях человеческой деятельности. К числу уже устоявшихся, апробированных в научно-исследовательской и деловой практике, можно отнести экспертные системы медицинского, технологического, юридического назначения, экспертные системы, ориентированные на поддержку процессов проектирования в архитектуре, электронике и электротехнике, разработки программного обеспечения, а также в военных приложениях. Их характерной особенностью является то, что они разработаны для тех отраслей человеческой деятельности, в которых проявляются устойчивые закономерности, описания которых и подвергается формальному представлению в базе знаний. Перечислим ряд экспертных систем, принадлежащих к различным отраслям деятельности человека:
— MYCIN- в области медицины;
— Rational Rose — в области разработки программного обеспечения;
— ArchiCAD — в области архитектурного проектирования;
— P-CAD, Or-CAD — в электронике и электротехнике и многие другие.
В зависимости от типов решаемых задач, экспертные системы можно разделить на следующие классы: системы классификации и распознавания объектов, интерпретации данных, диагностики, проектирования, прогнозирования, планирования, мониторинга, отладки, обучения и управления.
Для взаимодействия с пользователем могут использоваться интерфейсы, обеспечивающие взаимодействие с пользователем на подмножестве естественного языка, графические средства, шаблоны ввода/вывода и формальные знаковые системы. При этом интерфейсом могут предусматриваться режимы консультации потребителя, комментария к выводам (объяснение), обучение пользователя правилам из базы знаний и коррекции содержимого базы знаний.
Как явствует из предыдущего предложения, экспертные системы в качестве своего ядра имеют именно базы знаний, построенные в соответствии с одной из описанных нами моделей представления знаний или по комбинированной схеме.
9.4 Системы искусственного интеллекта и интеллектуального анализа данных
Мы уже указывали на существование «родства» между экспертными системами и теорией искусственного интеллекта. Эта отрасль современной науки, в свою очередь «отпочковалась» от кибернетики и постоянно подпитывается ее идеями, впрочем, теория систем искусственного интеллекта (ИИ) многими своими достижениями обогатила кибернетику. Но кибернетика рассматривает процессы управления и в искусственных, и в естественных системах, в то время, как теория ИИ «вынужденно» исследует естественные системы, поскольку ставит перед собой цель создания «мыслящей» искусственной системы.
При проектировании систем искусственного интеллекта их создатели исходят из соображений, что «способ мышления» системы искусственного интеллекта не обязательно должен копировать способ мышления человека и строение его «мыслительного инструмента». Однако, как бы ни далеки по своему устройству были системы искусственного интеллекта от систем естественных, они вынужденно копируют и используют те закономерности мыслительной деятельности, которые были открыты человеком.
Основное отличие экспертных систем от систем искусственного интеллекта заключается в том, что экспертные системы используют (а иногда и логически достраивают) совокупность знаний, полученных от экспертов, но сами не способны создать нового знания. Новое знание может появиться только при условии, что система располагает комплектом средств сбора информации, может управлять им, способна к самообучению, самоорганизации, а также различает «полезное» и «вредное» для нее или ее пользователя, а экспертные системы в классическом варианте такими способностями не наделяются.
Системы же искусственного интеллекта, как правило, обладают всеми этими способностями или их частью. Благодаря этому, системы ИИ способны выявлять отклонения от текущего эталона, накапливать «черновые» гипотезы и через цепь обратной связи устанавливает их статус и полезность. Цепь обратной связи может быть реализована в виде некоторого вспомогательного инструментального комплекса, реализованного на иных чувствительных элементах, нежели основной комплекс сбора информации, либо представлен учителем, «объясняющим» системе, «… что такое «хорошо» и что такое «плохо». В качестве такого учителя часто выступает человек, снабжающий интерпретантой тот признак96, который был выявлен системой ИИ.
Специалисты в области теории систем ИИ сходятся в мнении, что активность и относительная автономность отдельных подсистем системы искусственного интеллекта способна существенно повысить их эффективность и надежность выводов. Активно развивается направление автономных интеллектуальных агентов — автономных подсистем, наделенных автоматными реакциями на некий комплекс однотипных раздражителей. Поведение таких подсистем по отдельности невозможно назвать интеллектуальным, однако, будучи объединены в комплекс, они оказываются в состоянии обеспечить систему более высокого уровня информацией, необходимой для выработки решения о ситуации и степени ее «полезности» для системы в целом. Такая система обычно строится по иерархическому принципу и располагает сведениями о ценности тех или иных ресурсов, важности удержания значений критических параметров в заданных диапазонах и т. д. — то есть, теми сведениями относительно которых принимается решение о семантике нового признака.
В рамках теории ИИ можно выделить два мощных направления: логическое направление и направление нейронных и нейроподобных сетей.
Логическое направление теории систем искусственного интеллекта основной упор делает на симбиоз логического аппарата и аппарата теории вероятностей. Основное отличие логических систем ИИ от логических экспертных систем состоит в том, что на основе анализа показателей, используемых для вычисления функции полезности (именно с таких позиций осуществляется интерпретация тех или иных состояний и процессов), система способна самостоятельно корректировать аксиоматику: осуществлять ранжирование аксиом, удалять или вводить новые аксиомы. В принципе такая система в состоянии как развиваться, так и деградировать, однако то, какие именно тенденции будут развиты системой, во многом определяется тем, как на этапе синтеза системы была определена функция полезности.
Серьезнейшим недостатком логических систем ИИ является то, что алгоритмы логических рассуждений трудно поддаются распараллеливанию, если на каком-то этапе и удается выделить несколько относительно независимых логических операций и производить их исчисление разными решателями, то в некоторой точке алгоритм, как правило, сходится. А это значит, что наиболее «долгая» ветвь алгоритма будет определять быстродействие системы в целом. С целью сокращении вычислительных затрат изыскиваются методы логического вывода, задачей которых является установление факта нецелесообразности производства дальнейших вычислений. Однако, несмотря на эти ухищрения, объемы вычислений и быстродействие решателя остаются узким местом логических систем ИИ.
Направление систем искусственного интеллекта на базе нейронных и нейроподобных сетей «ближе к природе»: если логика — это порождение человеческого интеллекта, формальная система, выведенная на основе научного обобщения закономерностей человеческого мышления, то нейронные и нейроподобные сети — это попытка сымитировать не процесс мышления, а «процесс чувствования». В основе построения таких систем лежит принцип действия нейрона и нейронной сети, имитирующей строение центральной нервной системы человека.
Для начала разберемся с тем, что представляет собой нейрон… Нейрон — это нервная клетка, состоящая «… из довольно крупного (до 0,1 мм) тела, от которого отходят несколько отростков — дендритов, дающих начало все более и более тонким отросткам, подобно ветвям дерева. Кроме дендритов, от тела нервной клетки отходит еще один отросток — аксон, напоминающий длинный тонкий провод. Аксоны бывают очень длинны — до метра — и заканчиваются, подобно дендритам, древовидным разветвлением. На концах веточек, отходящих от аксона, можно видеть маленькие пластинки или луковички. Луковички одного нейрона близко подходят к различным участкам тела или дендритов другого нейрона, почти прикасаясь к ним. Эти контакты носят название синапсов; через них нейроны взаимодействуют друг с другом. Число луковичек, подходящих к дендритам одного нейрона, может исчисляться десятками и даже сотнями. Таким образом, нейроны очень тесно связаны друг с другом; они образуют нервную сеть[66]». Если не вникать в тонкости, то можно сказать, что нейроны могут пребывать только в двух состояниях: возбужденном состоянии или в покое. При возбуждении на поверхности клетки образуется электрический потенциал, который передается через синапсы других нервных клеток и либо переводит, либо не переводит их в состояние возбуждения. Поэтому исходят из допущения, что нервная сеть — это дискретная система, состоящая из элементарных подсистем — нейронов, способных пребывать в одном из двух состояний. Такой взгляд на нейронную сеть, как иерархически организованную совокупность однотипных элементов со сложным поведением позволяет говорить о том, что это инструмент параллельной обработки данных, в различных сочетаниях поступающих от различных источников. Нейроны обладают способностью к обучению, заключающейся в том, что «проводимость синапса увеличивается после первого прохождения через него возбуждения и нескольких следующих прохождений». В результате этого повторяющиеся комбинации «данных» обучают сеть — настраивая ее на восприятие и распознавание образов ситуации (сэмплов). Как следствие, нейронная сеть, получающая данные об обстановке, поступающие от органов чувств, а также данные о внутреннем состоянии и взаимном расположении частей организма, оказывается в состоянии распознавать множество самых разнообразных состояний. Теперь задача состоит в том, чтобы получить данные, подтверждающие полезность запоминания распознанного сэмпла, что требует от системы определенных логических способностей…
Может показаться, что нейронная сеть без принципиально иной по организации системы обработки логической компоненты, отражающей топологию отношений во времени, пространстве, организационной иерархии или пространстве некой конструкции, пригодна лишь для решения задач распознавания. Но, судя по результатам исследований в области нейрофизиологии, в организме человека отсутствуют специализированные «логические клетки» — то есть, все эти операции реализуются именно на нейронных структурах, которые обладают большой информационной емкостью. Приняв некоторые упрощения, можно утверждать, что многообразие пространственных отношений выражено в терминах временных задержек реакции отдельных нейронов, инерционности отдельных связей нейронной сети. Эти характеристики также являются предметом «запоминания» и учитываются при выработке адаптивного поведения организма. Однако эта способность требует от человека способности абстрактного («знакового») мышления — введения еще одного уровня иерархии, обеспечивающей возможность оперировать информационно-емкими понятиями. Именно эта особенность — наличие второй сигнальной системы — и выделяет человека из числа прочих живых существ и обеспечивает ему возможность запоминания протяженных во времени событий и сценариев, ассоциированных с ними. То есть, логика становится доступной нашему пониманию, если введена знаковая система, запоминание правил которой дается легче, нежели запоминание всех конкретных признаков событий и вероятных путей их развития. Рассуждая логически, мы оперируем не образами ситуаций, а знаками, для запоминания которых требуются гораздо меньшие усилия.
Преимуществом нейронной или нейроподобной сети перед чисто логической системой искусственного интеллекта заключается в гибком сочетании параллельной и последовательной обработки информации, обусловленном иерархической структурой нейронной сети. Однако человеку свойственно оптимизировать свою деятельность — там, где удобнее воспользоваться неким инструментом, имеющимся в его распоряжении, он не станет искать пути применения того инструмента, который не приспособлен для выполнения работы. Пока нейроподобные сети (созданные на искусственных нейронах — перцептронах) и нейронные сети (созданные на нейронах, полученных у простейших организмов), как правило, на этапе манипулирования логической компонентой используют традиционную или несколько модифицированную логику, то есть, переходят от параллельной обработки данных к последовательной обработке. Хотя созданы и средства, которые, оперируя величинами инерционности нейронов, способны осуществлять логическую обработку без перехода к уровню знаковой системы. Сражение за быстродействие систем продолжается и, возможно, что через некоторое время мы станем свидетелями технологического прорыва в этом направлении, который приведет к созданию реальной системы параллельной обработки данных. Однако это не приведет к тому, что формальная логика утратит свои позиции в инструментарии аналитика — для решения каждой специфической задачи требуется свой, индивидуальный, набор инструментальных средств.
Где используются системы ИИ, построенные на нейронных и нейроподобных сетях? Приложений масса: от анализа финансовых котировок и мультисенсорных систем сбора информации до систем распознавания словоформ в компьютерной лингвистике, от систем декодирования помехоустойчивых кодов и криптообработки до систем производства приближенных вычислений — диапазон применения их крайне широк. Современная технология производства нейроподобных сетей уже миновала зачаточную стадию: созданы как аппаратные, так и программные реализации нейроподобных сетей, инструментарий их настройки и обучения, однако функция полезности пока задается извне, да иначе какой смысл в нейроподобных и нейронных сетях, которые сами решают, что им полезно, а что — нет (это все равно, что молоток, который сам решает: то ли ударить по теплому и мягкому пальцу, то ли по твердой и холодной шляпке гвоздя).
Как согласуется все то, что мы говорили о нейронных и нейроподобных сетях с моделями? Любая обученная нейронная или нейроподобная сеть — это по существу и есть модель, выступающая в роли образа ситуации ли, объекта ли — не суть важно. Поэтому можно сказать, что нейроинформатика и нейрокомпьютинг — это развитие идеологии моделирования в направлении дальнейшей автоматизации процесса (равно, как и все, что делается в отрасли искусственного интеллекта). По этой причине можно утверждать, что для аналитика, как потребителя результатов функционирования систем искусственного интеллекта, внутреннее устройство подобной системы непринципиально, хотя и нелишне знать, как устроен и работает тот инструмент, с помощью которого ты решаешь свои задачи.
Существуют ли примеры систем искусственного интеллекта, которые можно пощупать руками, не вставая из-за рабочего стола? Да, существуют и их, если приглядеться, — масса… Достаточно запустить компьютер, на котором установлена всем знакомая операционная система Microsoft Windows, как вы окажетесь в интеллектуальной среде, которая отслеживает массу событий, контролирует состояние множества запущенных процессов и способна выдавать рекомендации, направленные на стабилизацию параметров функционирования операционной системы и компьютера. Если у вас на компьютере установлена система автоматизированного перевода, то это еще один пример системы ИИ, если вы используете сканер и программу автоматического распознавания текста — вот вам и еще один пример. Этот список можно продолжить, однако, остановимся на еще одном приложении систем ИИ, особенно актуальной для касты аналитиков…
В последнее время наблюдается оживление рынка программного обеспечения, предназначенного для ведения интеллектуального анализа данных (в англоязычных источниках — Data Mining, т. е. «раскопка данных»). Для этого класса систем ИИ характерно комплексное использование методов, используемых в логических системах ИИ и нейрокомпьютинге, в сочетании с инструментарием статистического анализа данных и компьютерной лингвистики. Только по состоянию на начало 1999 года на американском рынке интеллектуального программного обеспечения было представлено свыше пятнадцати программных и программно-аппаратных комплексов, относящихся к этому классу[67]. Безусловно, все эти системы нуждаются в обучении, профессиональной настройке и адаптации к предметной области, в которой предполагается их дальнейшее использование. В большинстве своем, они представляют собой системы искусственного интеллекта, ориентированные на решение задач анализа «абстрактных» типов данных (т. е. безотносительно к их семантике), интегрированные со сконфигурированными под потребности заказчика базами данных. Иным вариантом поставки систем data mining является вариант, предполагающий настройку и адаптацию системы искусственного интеллекта (собственно, инструмента Data Mining) под уже существующую подсистему хранения данных заказчика.
В любом варианте поставки по мере функционирования системы она выделяет некие скрытые закономерности в хранимых массивах данных (в том числе — корреляции временных рядов). Такие корреляции не всегда очевидны для аналитика, однако, для систем data mining числа — родная стихия. Системы data mining не имеют обыкновения забывать или упускать из внимания сколь бы то ни было «незначительные детали» и закономерности — это свойство делает их полезным инструментом информационно-аналитической работы.
Принцип функционирования систем интеллектуального анализа данных состоит в том, что на основе анализа потока данных, поступающих от разнообразных источников информации, формируется информационный образ неким образом интерпретируемой ситуации, который в ходе дальнейшей эксплуатации системы может быть «узнан», о чем и информируется потребитель. Отрасль, для которой создается такая система, на этапе разработки, в принципе, не существенна, поскольку важен лишь принцип формирования системы признаков и класс данных, на которые ориентирована данная система (количественные, качественные).
Адаптация к предметной области этого класса программного обеспечения заключается в том, что предметная область подлежит моделированию и описанию в виде совокупности измеримых атрибутов. Поведение этих атрибутов во времени неким (наперед неизвестным) образом характеризует состояние и поведение систем. С точки зрения исследователя интерес представляет именно то, каким образом наблюдаемые ситуации и тенденции отражаются в имеющемся наборе атрибутов, не существует ли неких признаков, характеризующих начальный период зарождения негативной или позитивной тенденции, скатывания к неким сценариям в развитии ситуации и т. п.
Еще раз заметим: системы data mining не работают напрямую с текстами произвольного формата и данными, которые не могут быть непосредственно сопоставлены. Максимум, что они «могут», если не располагают тезаурусом, характерным для данной предметной области — это работа со структурно-статистическими признаками и временными распределениями.
Если разобраться, то, на самом деле, такие системы могут оказаться полезными даже в случае отсутствия интепретанты у впервые проявившегося признака, поскольку системы интеллектуального анализа данных способны лишь акцентировать внимание аналитика на неких всплесках, по совокупности интегральных или частных показателей отличающих ситуацию от эталона нормы. Какую именно интерпретацию получат эти признаки — вопрос квалификации аналитика, поскольку задача систем интеллектуального анализа данных — это выделение сэмпла, но никак не снабжение его некой семантикой. Системы этого типа работают подобно периферийному зрению человека — они реагируют лишь на изменения (периферийное зрение человека обеспечивает только сигнализацию о перемещениях в «опасной» зоне, но за распознавание движущегося объекта оно не берется).
Обращают на себя внимание попытки вхождения на уровень таких, казалось бы, трудно формализуемых отношений, как политика. Подобные системы не пытаются подменить аналитика, взвалив на себя весь интеллектуальный процесс, связанный с формированием политической стратегии (социализацией идей), однако способны выступать в роли хорошего помощника, способного непредвзято оценить пользу от предпринятых политических шагов. Для того, чтобы система смогла стать таким помощником, пользователю нужно «разъяснить» автоматизированной системе преследуемые им цели и рассматриваемые способы достижения этих целей, «проинформировать» систему о тех политических силах, чьи интересы, следует учитывать при решении задачи, отношениях между вероятными политическими сторонниками и противниками, возможных препятствиях на пути достижения целей и вероятных причинах их возникновения. Лишь после этого встроенная экспертная система будет способна оказать пользователю помощь в разработке альтернативных вариантов стратегии достижения целей, сопоставить эти варианты, а также оценить результативность предпринятых политических шагов. Далее начинается работа, собственно, системы искусственного интеллекта, которая на основе поставляемых ей данных (отклики прессы, рейтинги, результаты голосования и т. д.) предпримет попытки оценивания результативности целенаправленной деятельности. По результатам работ обычно предоставляется набор графиков, текстов и диаграмм, обеспечивающих возможность системного видения проблемы и путей ее решения.
Доступным примером, на котором можно испытать возможности такого рода систем, может служить распространяемая на основе лицензии Shareware «облегченная» версия программного обеспечения PolicyMaker Lite (PoliMap, США, http://www.polimap.com). Данный программный продукт специально разработан для ведения политического анализа и позволяет оценивать расстановку действующих политических сил при осуществлении политической активности (например, при продвижении законодательных инициатив, ведении внутрипартийной борьбы или в ходе выборов). И хотя в этой системе (по крайней мере, в той демонстрационной версии, которая предлагается на пробу заинтересованным лицам) явно перевешивает блок экспертных знаний, ознакомление с ней может оказаться весьма поучительным.
Назвать такие системы разумными нельзя, но на звание электронного интеллектуального помощника они вполне могут претендовать. Часто по своим функциями системы этого типа занимают позицию между инструментальными средствами формального моделирования и средствами активизации мыслительной деятельности.
9.5 Средства структурирования и визуализации данных. Электронные помощники аналитика
Над решением проблемы визуализации и структурирования данных работали крупнейшие ученые (достаточно вспомнить Аристотеля, ведь логика — это одна из систем визуализации рассуждений). Рассматривая технологии работы с текстами, мы уже уделили немалое внимание проблеме структурирования данных, но позволим себе еще раз вернуться к этой проблеме.
Как часто случается, что после тщетных размышлений над некоторой проблемой в прыгающем на колдобинах ГАЗике, садишься за стол, берешь бумагу, карандаш и… все сложное становится простым (правда, иногда случается и обратное!). И не потому, что в условиях тряски нейроны, вынужденные цепляться своими дендритами, аксонами и синапсами друг за дружку, забывают о своем высоком предназначении (лишь бы не рассыпалась пресловутая нейронная сеть).
Дело в том, что оперировать знаками легче, когда они наблюдаемы, а не роятся в голове вперемешку с мыслями об удержании в себе содержимого желудка. Причем способ наблюдения несущественен: например, еще одним приемом «визуализации» является проговаривание цепочки рассуждений. Дети часто пользуются этим приемом, более того, использовать его рекомендуют и психологи, но мы-то умные, да взрослые, и позволяем себе такое только в одиночестве или в состоянии, когда уже впору идти на прием к доктору. Проворачивать в голове сложные многосвязные структуры знаковой природы очень сложно, а без них, увы, вся логика повисает в воздухе. Знаки же человек привык воспринимать либо с помощью зрения, либо с помощью слуха — вот и вся разгадка (кто на что учился, как принято говорить).
Разберемся с тем, что наизобретали умнейшие… Итак: рисунки и иероглифика, письменность, формальные знаковые системы, таблицы, матрицы, графики, плоскостные развертки, сечения и аксонометрические проекции многомерных графиков, графы, сети, диаграммы, многомерные таблицы и массивы, сетчатые рельефы, псевдотрехмерные текстурные рельефы, виртуальная реальность… Внушительный перечень, но… неполный — одних диаграмм можно насчитать массу разновидностей, не говоря уже о прочих способах визуализации данных.
Собственно, в ряде приложений визуализация данных является одним из эффективных способов упорядочения — зачем проводить сортировку неупорядоченных пар данных, если они могут быть непосредственно нанесены на график и считаны с приемлемой точностью? Более того: таким способом часто восстанавливаются и пропущенные измерения. Другой пример — использование сечений на трехмерной модели рельефа позволяет легко установить зону затопления в весенний паводок, в то время как обсчитать такую модель очень непросто.
Короче говоря, что хорошо аналитику, то программисту — чистая мука. Работа с графикой — одна из тех отраслей, в которой приходится помнить высшую математику с аналитической геометрией, чего не требуется при разработке большинства прикладных программ. По этой причине на рынке программного обеспечения для разработчиков программного обеспечения большой популярностью пользуются библиотеки подпрограмм и программных компонентов, предназначенных для решения задач отображения данных в графическом режиме. Например, на специализированном Интернет-сайте ComponentSource (США, http://www.componentsource.com), где размещаются сведения о коммерчески распространяемых библиотеках подпрограмм и программных компонентах, прошедших тестирование и допущенных к применению в проектах федерального уровня, компоненты подобного сорта, обладающие мощными возможностями — хотя и не редкость, но и стоят недешево (особенно это заметно по стоимости лицензий для использования в ГСТК Интернет).
Если же в вашей организации нет штатных программистов, а заказное программное обеспечение для вас слишком дорого, то на рынке программного обеспечения сегодня присутствует масса программных продуктов, приспособленных для решения задач отображения данных, а также задач разработки и отображения деловой графики. Рассмотрим стандартные возможности некоторой гипотетически доступной потребителю системы такого сорта:
Читать бесплатно другие книги:
