Основы проектирования корпоративных систем Зыков Сергей

Что касается потоков данных, попробуем рассмотреть некоторые примеры, в частности применение SSIS для поддержки процессов и работ, которые ориентированы на центры обработки данных. В основе лежит применение конвейерного подхода для преобразования данных. Архитектура конвейера поддерживает буферизацию, что позволяет конвейеру достаточно быстро осуществлять манипуляции над наборами данных после их загрузки в память. При этом суть похода заключается в выполнении всех этапов ETL-преобразований в рамках одной операции без промежуточного хранения. Хотя специфичные требования к преобразованию, операциям или оборудованию могут несколько осложнить реализацию этого подхода, тем не менее для повышения производительности архитектура позволяет в целом минимизировать объем промежуточного хранения данных. SSIS, по возможности, даже избегает копирования данных памяти, что принципиально отличается от традиционных ETL-средств, которые часто требуют промежуточного хранения данных практически на каждом этапе процесса преобразования, обработки, интеграции данных. Такого рода поддержка манипуляций над данными без промежуточного хранения позволяет существенно улучшить ETL-средства, а также дать возможность поддержки хранения и манипулирования с реляционными и плоскими данными. При этом гетерогенные данные, как структурированные, так и неструктурированные, хранящиеся в формате XML и т. д., перед загрузкой в буферы преобразуются в табличную структуру, т. е. разбиваются на строки и столбцы. И далее любую операцию с табличными данными можно выполнять на любой стадии функционирования конвейера поточной обработки данных. Это означает, что единственный конвейер способен интегрировать разнообразные источники данных и выполнять над этими источниками данных операции произвольной степени без промежуточного хранения. Конечно, если промежуточное хранение по эксплуатационным требованиям является необходимым, то SSIS дает возможность поддерживать и такого рода реализации. Эта архитектура позволяет применять SSIS в самых разных сценариях интеграции данных, от традиционных ETL-решений до нетрадиционных способов интеграции гетерогенной корпоративной информации.

SSIS судя по рис. 16.11 дает возможность комплексной полнофункциональной ETL-интеграции, обеспечивая возможности по функциональности, масштабируемости и производительности, существенно более высокие, чем у большинства конкурирующих аналогов, при значительно меньших затратах. Особенность решения составляет конвейерная архитектура, которая дает возможность получать данные из множества источников одновременно, выполнять целый ряд преобразований последовательно и передавать данные нескольким приемникам в параллельном режиме. Такого рода архитектура дает возможность применять SSIS-технологии не только для больших наборов данных, но и для множественных потоков данных. При перемещении данных из источника к приемнику или из нескольких источников к нескольким приемникам можно разделять, объединять, комбинировать потоки данных или иным образом манипулировать информацией. Рисунок 16.11 дает иллюстрацию примера манипулирования потоками данных при таком преобразовании. Рисунок 16.12 иллюстрирует процесс очистки данных.

Рис. 16.11. Схема интеграции данных

SSIS тесно интегрирована с функциональностью просеивания или очистки данных в службах анализа данных. Поддержка анализа данных обеспечивает абстрагирование от закономерностей в наборе данных, инкапсулирует их модели анализа. Можно применять эту модель анализа для того, чтобы предсказать, какие данные относятся к набору, а какие нет, т. е. просеять данные и отсечь так называемые аномальные. То есть можно использовать анализ данных как инструмент, который повышает качество данных в корпоративной системе и снимает противоречия или намеренные искажения данных сотрудниками. Поддержка сложного распределения данных в SSIS позволяет не только выявить аномальные данные, но и автоматически корректировать или заменять их. Это делает возможным варианты очистки по принципу замкнутого цикла.

Рис. 16.12. Очистка данных

Пример использования потока как источника данных, эта важная особенность SSIS, представлен на рис. 16.13.

Имеется возможность загрузки данных в компонент Data Reader ADO.NET. Этот компонент можно включить в конвейер потока данных, что дает возможность использовать Data Reader как источник данных, которые предоставляются собственно ADO.NET. При этом можно использовать SSIS не только как традиционные ETL-инструменты для загрузки, преобразования данных в хранилище, но и как источник данных, который может предоставлять доступ к интегрированным и синхронизированным в очищенные данные источник, причем по запросу пользователя, и делать это даже из офисных приложений. Например, эту функциональность можно задействовать для того, чтобы службы отчетов, Reporting Services, извлекали данные из множества разнообразных источников, в которых хранится информация для корпоративных приложений. При этом SSIS-пакеты используются как источник данных. Для управляемости корпоративных систем на основе SQL Server используются подходы, связанные с политиками, автоматизированным обслуживанием на основе задач, и оповещение операторов и графиков, средства Performance Data Collection, которые позволяют оптимизировать производительность графическим образом, и специальный инструмент для оптимизации индексов таблиц баз данных и разделов, который называется Data Base Engine Tuning Advisor. Осуществляются принципы упреждающего управления, которые обеспечивают: логическое представление конфигурации системы, что позволяет администраторам заблаговременно определять желаемую конфигурацию служб данных, а не вносить изменения после того, как возникнут проблемы; интеллектуальный мониторинг, который поддерживает на основе политик инфраструктуры управление, отслеживание и запрещение изменений, несовместимых с желаемыми конфигурациями; а также виртуализацию управления, которая позволяет масштабировать изменения по инфраструктуре, структуре корпорации, передавать или распределять их по большому количеству серверов, что облегчает применение унифицированных политик во всей организации.

Рис. 16.13. Использование потока как источника данных

Каким образом осуществляется создание конфигурационных политик?

На рис. 16.14 представлен механизм инструментария для создания политик. SQL Server 2008 поддерживает существенно расширенный набор элементов управления конфигурациями и правилами настройки сервера баз данных.

Приведем несколько примеров использования такого рода элементов для формирования политики на основе аспектов. Aspect-сервер позволяет принудительно применять выбранные параметры конфигурирования сервера, например определять режим проверки подлинности регистрационной информации при входе в систему.

Рис. 16.14. Создание политик

Aspect Surface Area позволяет управлять активными функциями и уменьшить потенциальную уязвимость сервера. Aspect Data Base управляет изменением определенных параметров баз данных, например параметров совместимости. Aspect Multipart Name обеспечивает соблюдение правил именования таблиц, представление других объектов баз данных, определенных в схеме. Ряд других аспектов позволяет реализовать приемы и методы работы, рекомендованные для конкретных решений или конфигураций баз данных, например хранение файлов с данными или файлов с журналом изменений на жестких дисках.

Еще один инструмент называется Performance Data Collection и позволяет осуществлять сравнение интегрированных отчетов о функционировании серверов в графическом виде. Он дает возможность быстро проанализировать собранные данные с использованием стабильно работающих системных наборов элементов сбора данных. Системный набор элементов данных сервера, Server Activity, является важной отправной точкой для большинства сценариев, осуществляющих мониторинг по устранению неполадок в системе. Группа отчетов, связанная с каждым из системных наборов данных сбора и набора элементов для сбора данных, публикуется в SQL Server Management Studio. На основе этих отчетов можно сделать приборную панель, которая информирует о производительности. Она так и называется – Performance Dashboard. При помощи этой приборной модели (рис. 16.15) можно анализировать производительность СУБД.

Кроме этих системных отчетов можно использовать другие отчеты Performance Studio о производительности, например, SQL Server Management Studio поддерживает другие отчеты, один из которых представлен на рис. 16.16 – стандартный отчет об использовании памяти. Важным средством работы системных администраторов с сервером в консольном виде на основе MMC (Microsoft Management Console) – стандартной оснастки, представлен на данном рисунке, это SQL Server Configuration Manager. В виде консоли можно осуществлять оптимизацию параметров сервера на основе целого ряда инструментов в жесткие сроки и в привычном интерфейсе. Средства конфигурирования SQL Server позволяют администратору управлять группами служб, ответственных за вверенные им функции. Это дает возможность администраторам сосредоточиться на управлении базами данных и оптимизации их производительности.

Рис. 16.15. Отчет о функционировании сервера

Что касается производительности и масштабируемости, то осуществляется как горизонтальное, так и вертикальное масштабирование. Это важно для крупных корпораций с большим количеством серверов. При горизонтальном масштабировании используется оптимизация мощностей сервера, возможно горячее переподключение или замена оборудования. При вертикальном масштабировании осуществляется обработка на основе использования резервных копий данных. Кроме того, поддерживается одноранговая репликация, маршрутизация данных, а также те возможности, о которых говорилось в связи с Performance Studio. Это крайне важно для больших корпораций с быстрым ростом объемов существенных данных, количества пользователей и для тех организаций, где масштабируемость приложений является бизнес-критичной. SQL Server 2008 предоставляет устойчивый обработчик баз данных, который может работать с большими реляционными базами данных и обеспечивает обработку сложных запросов.

Рис. 16.16. Отчеты SQL Management Studio

Что касается программируемости, то имеется целый ряд средств, которые поддерживают обработку на основе LINQ. Это средство формирования запросов на основе объектных технологий, а также используются все механизмы Visual Studio и SQL Server Compact Edition для работы с мобильными средствами связи. LINQ-ToSQL поддерживает оперативную разработку приложений с интеграцией программных объектов в SQL с элементами SQL, таблицами, представлениями, хранимыми процедурами и пользовательскими функциями. Существует также LINQToEntities, которым осуществляется поставление объектов реляционным таблицам, LINQToDataSet, поддерживаются также богатые возможности запросов на основе обычных и типизированных наборов данных, LINQToXML, это API для доступа к XML-объектам, хранимым в оперативной памяти, поддерживающей. NET языки и LINQToObject, обеспечивает взаимодействие с произвольными объектами данных в оперативной памяти, а также данными из сторонних источников.

Ряд средств осуществляет управление отчетами. Это управляемая система бизнес-отчетности, которая дает возможность автоматизированного создания отчетов по разным аспектам бизнеса и распространения их по всей инфраструктуре корпорации, обеспечивая в реальном времени доступ к информации каждому сотруднику. Автоматизированная система отчетности дает возможность пользователям создавать свои собственные отчеты с достаточно гибкими возможностями по извлечению, преобразованию информации. Также существует встроенная отчетность с интеграцией между бизнес-приложениями и веб-порталами на основе конкретных бизнес-процессов. При этом поддерживается тесная интеграция с SharePoint Server 2007, со средством создания веб-порталов, и централизованная библиотека отчетов на основе компонентов интегрирована с SharePoint.

Есть возможность создания панелей мониторинга, централизованного сбора структурированных и неструктурированных данных и контроля за доступом пользователей к информационной инфраструктуре корпорации в любой момент времени. Построитель отчетов дает возможность быстрого построения и разворачивания отчетов для большого количества пользователей в единообразной и строгой структуре. При этом отдельные бизнес-пользователи могут настраивать отчеты или создавать собственные отчеты в соответствии со своими конкретными требованиями. Конструктор отчетов является достаточно эргономичным, ориентированным на бизнес-потребности и дает возможность извлекать гетерогенные данные об аспектах деятельности предприятия. Это могут быть заказчики, объем продукции и т. д. На рис. 16.16, где изображен построитель отчетов, показана модель, ориентированная на использование данных для решения коммерческих задач. Построитель отчетов дает возможность пользователям создавать надежные отчеты, не обладая глубокими знаниями о том, как строятся SQL-запросы, каким образом данные представляются в системе и из каких источников они поступают. Диспетчер отчетов позволяет строить управление отчетами через Интернет, осуществлять интернет-доступ к этим отчетам. Администраторы могут при этом просматривать отчеты и управлять настройкой параметров обработки отчетов и безопасности с любого компьютера просто посредством браузера.

Настройка службы отчетов может выполняться как автоматически, исходя из базовой конфигурации, так и посредством использования конфигурации служб отчетов Reporting Services, диспетчер для которой представлен на рис. 16.17.

Рис. 16.17. SQL Server Confguration Manager

Это существенно упрощает для администраторов выполнение ряда задач, необходимых для развертывания служб отчетов, сокращает затраты рабочего времени и ускоряет получение отчетности. Безопасность включает различные виды аутентификации, расширенное управление авторизацией и использование передовых технологий шифрования. Основные виды аутентификации: базовая аутентификация, хеш-аутентификация, аутентификация посредством сетевого протокола NTLM, аутентификация посредством протокола Kerberos, стандартного протокола для Windows 2000 и выше, и встроенная аутентификация.

Базовая аутентификация описывается протоколом HTTP, хеш-аутентификация дополнительно использует алгоритм MD5 перед отправкой данных на сервер, с возможностью подключения удостоверений. Аутентификация по методу NTLM использует протокол запрос-ответ и дает возможность обеспечить безопасную аутентификацию с учетом указания допустимой доменной учетной записи. Аутентификация Kerberos использует специализированный протокол, и необходима регистрация в Kerberos Services Principle Name с помощью специальной утилиты Set SPN, которая входит в набор базового инструментария. Встроенная аутентификация, или Integrated Autentification, объединяет NTLM и Kerberos и по запросу пользователя осуществляет выбор того или иного механизма аутентификации, что обеспечивает наиболее гибкую и безопасную аутентификацию из поддерживаемых возможностей.

Наконец, последний аспект, о котором хотелось бы поговорить в связи с SQL Server, связан с пространственными данными. Это прежде всего данные, связанные с геодезией и картографией, представлением данных, которые могут быть использованы, например для веб-узла розничной торговли, когда можно найти ближайшую торговую точку по карте и проложить маршрут к ней, можно управлять движением менеджера по продажам, при привязке покупателей к продавцам и анализе эффективности продаж. Можно привязывать архитектурный проект нового здания к местоположению на карте, можно определять маршрут для водителя, осуществлять быстрый поиск объектов недвижимости по заданным адресам и вести поиск кафе или автозаправок по заданному адресу, с учетом заданного радиуса действия. Кроме того, можно поддерживать пространственный индекс (рис. 16.18) и импорт пространственных данных. Поддерживается как геодезическая, так и планарная модель и преобразование данных из одного формата в другой. Особенности форматов данных показаны на рис. 16.18.

Производительность запросов пространственных данных существенно повышается за счет поддержки пространственного индекса. Принцип работы – степень детализации. Из рис. 16.18 видно, как осуществляется детализация. Пространственные данные можно индексировать при помощи гибкого многоуровневого сетчатого индекса, интегрированного в ядро базы данных SQL Server. При этом пространственные индексы содержат сетчатую иерархию, в рамках которой каждый уровень индекса дает возможность доступа к сектору сетки, который определен на предыдущем уровне. Концептуальная модель показана на рис. 16.18.

Рис. 16.18. Пространственный индекс

На основе такого рода подхода можно задавать интеграцию с моделью Virtual Earth, это аналог Goolge Earth от Microsoft. На рис. 16.19 показаны районы, которые задаются почтовым индексом, и данные о населении и числе ресторанов на данном фрагменте географической карты.

Количество ресторанов в каждом районе по отношению к размеру района формирует значение плотности, которая отображается на экране в виде закрашенного участка, при этом цвет свидетельствует о той или иной плотности.

Как видно, Microsoft SQL Server поддерживает действительно гибкую и надежную организацию различных механизмов доступа к данным и интеграцию гетерогенных корпоративных источников данных, а также работу пользователей с данными на основе различных офисных приложений в знакомой им среде.

Рис. 16.19. Интеграция с Virtual Earth

На этом следует закончить рассказ о корпоративных технологиях объектных библиотек данных, а также об управлении этими данными на уровне СУБД. Попробуем подвести промежуточные итоги второго раздела нашей книги.

Были рассмотрены вопросы, связанные с программными архитектурами, CASE-средствами, т. е. средствами автоматизации проектирования корпоративных приложений, и архитектурами взаимодействия этих приложений в распределенных средах. Естественно, для проектирования таких сложных и больших систем, как корпоративная, необходимы специализированные средства, поддерживающие весь их жизненный цикл, от анализа и проектирования до управления сопровождением и документированием. Для иллюстрации корпоративных приложений была использована платформа Microsoft.NET, которая поддерживает языковую интероперабельность, т. е. проектирование компонентных приложений на различных языках программирования, наиболее полно соответствующих требованиям, которые выдвигаются для этих приложений. Надстройкой над классами, поскольку речь идет об объектно-ориентированном проектировании, о компонентно-ориентированном проектировании, постулируется, что всякая сущность есть объект, является целый ряд библиотек, в частности поддерживающих формы доступа к данным, клиентские интерфейсы, например на основе технологии Windows Forms, и проектирование распределенных приложений на основе технологии Remoting, внутренней технологии Microsoft, и более-менее открытых технологий на основе сервисов, сервисно-ориентированной архитектуры, это SOA. Это веб-сервисы и приложения, реализованные на основе Windows Communication Foundation (WCF).

Развитием объектного подхода является компонентно-ориентированная технология, которая дает возможность проектирования и реализации корпоративных приложений на основе открытых интерфейсов и концепции сборок, когда приложения могут поставляться на основе DLL– или EXE-файлов, которые независимы и могут надежно и безопасно интегрироваться друг с другом по запросу, и пользователь оплачивает только стоимость тех компонентов, которые его интересуют. На основе этих компонентов осуществляется построение офисных приложений – была рассмотрена библиотека Visual Studio Tools for Office и корпоративных приложений – библиотека Enterprise Library, которая осуществляет извлечение, преобразование и загрузку данных и интеграцию гетерогенных источников, что позволяет осуществить эффективное, надежное, безопасное и эргономичное манипулирование данными в корпоративных системах.

Раздел III

Примеры отраслевых внедрений корпоративных систем

Глава 17

Разработка корпоративных порталов для нефтегазового сектора

Данный раздел книги посвящен практическим аспектам применения корпоративных систем и корпоративных приложений, причем в фокусе внимания будут как технологии Microsoft, так и различные сферы применения. В начале книги были рассмотрены математические модели, которые являются достаточно общим фундаментом для построения корпоративных систем, гетерогенных систем, включающих большое количество разнородных приложений, которые сложно связать между собой. Затем речь шла о методологиях, методах, подходах к проектированию, технологиях, были рассмотрены походы, связанные с такими известными методологиями профессиональной разработки корпоративных систем, как Microsoft Solution Framework (MSF) и Rational Unified Process, и ряд более скромных методологий Agile класса: Scrum, XP и, собственно, Agile. Более подробно был рассмотрен уровень технологий: различные виды архитектур, которые, как например клиент-серверная архитектура, поддерживают разработку распределенных приложений. Корпоративные системы являются распределенными приложениями, поскольку корпорация – это по определению несколько компаний с общими бизнес-задачами, которые территориально распределены, часто глобально. Тогда имеет смысл говорить о транснациональных корпорациях.

Далее была рассмотрена платформа Microsoft.NET, было показано, что это идеология, и обсуждены основные ее возможности, нацеленность на производство интернет-систем, быстрое разворачивание приложений, экономичную разработку, повторное использование, безопасность, компонентно-ориентированный подход. Более подробно были описаны отдельные аспекты технологий проектирования, такие как веб-сервисы, веб-формы, интерфейс, были рассмотрены Windows Communication Foundation, технологии Remoting, направленные на проектирование распределенных интернет-приложений, в том числе и корпоративного типа, и, наконец, библиотеки для корпоративных приложений Enterprise Library, библиотеки для офисных приложений Visual Studio Tools for Office Extension. Последнее, о чем было подробно рассказано, это СУБД Microsoft SQL Server, в том числе механизмы управления, обеспечивающие масштабируемость, производительность, отказоустойчивость, репликацию и готовность.

В данной главе будут представлены корпоративные системы в том виде, как они могут быть использованы в нефтегазовой сфере. Начало главы будет посвящено рассказу о корпорации, корпоративной структуре, в которой происходило внедрение, это международная группа компаний «Итера», и о той структуре корпоративных систем, которая была на некоторый момент времени там реализована. Преимущественно эти системы основаны на технологии Oracle. Далее будут рассмотрены корпоративные порталы в том виде, как они были реализованы для нефтегазовой группы «Итера». Там Microsoft присутствует и как средство разработки, и как среда использования, поскольку и браузеры в основном используются от Microsoft, т. е. клиенты корпоративных систем и инструментальные средства, которые реализованы, во многом используют Visual Studio.NET как инструментарий.

Большинство из описанных здесь систем применимо сегодня практически к любой отрасли, но Oracle достаточно давно разработала решения, которые называются Upstream/Downstream и специально предназначены для производства и распределения именно топливных ресурсов, т. е. для добычи, транспортировки, переработки и последующего распределения именно нефтегазового сырья. И изначально планировалось эти решения реализовать в «Итере», но на сегодня это еще не в стадии эксплуатации. Тем не менее такие расширения существуют, и поэтому в определенной мере платформа Oracle как раз хороша тем, что может быть использована для нефтегазовой сферы со значительным успехом. Платформа Oracle была выбрана еще и потому, что когда в «Итере» происходило внедрение, к сожалению, СУБД Microsoft SQL Server не была настолько масштабируемой и пригодной для корпоративных систем, как можно было мечтать об этом.

Далее речь пойдет о предметной области: чем занимается нефтегазовая группа «Итера», какого рода компании она включает, какие существуют основные производственные показатели. Важный аспект рассмотрения – актуальность темы: почему важно внедрять интегрированные корпоративные системы, почему важно обеспечивать консолидацию данных, каким образом на основе этих консолидированных данных осуществляется управление информацией, управление, вообще говоря, и производственными процессами, и какие проблемы сформировались в корпорациях, в том числе в нефтегазовой отрасли.

К специфике нефтегазовой отрасли нужно отнести большое количество пространственных данных – это данные сейсмического анализа земной коры (так называемая сейсмика), которые представляются как в двумерном изображении, так и в трехмерном. Сейчас уже говорят о 4D сейсмике, это динамическое трехмерное представление земной коры, четвертым измерением является время. Если необходимо хранить, обрабатывать и анализировать, использовать большое количество информации именно в этом трех-, четырехмерном виде, то, конечно, не обойтись без средств интеграции корпоративных приложении, которые позволили бы строить консолидированные отчеты, в том числе и на основе этой слабоструктурированной информации. Также будет рассмотрена методология проектирования интегрированных систем корпоративного типа, ключевые элементы этой методологии, модели, инструментальные средства и программные решения на основе прототипирования и быстрой разработки. Там достаточно широко были использованы средства и технологии Microsoft, во многом для изготовления прототипов. Технологии Microsoft позволяют конструировать прототипы при помощи технологий Windows Forms, при помощи большого количества библиотек, которые находятся как на уровне. NET Framework, системном уровне. NET, и библиотек нижнего уровня, более низкого уровня операционной системы Windows, и, конечно, библиотек более высокого уровня, специализированных для производства корпоративных и офисных приложений Visual Studio Tools for Office и Enterprise Library.

Инструментальные средства, прототипы и программные реализации – это те этапы, которые следует пройти при создании корпоративных систем. Будет представлен достаточно новый подход, позволяющий объединять гетерогенные приложения как компоненты информационных систем корпоративного типа, и, более детально, конкретизацию этой методологии, с одной стороны, для корпорации «Итера», а с другой – для интернет-порталов, которые объединяют целый ряд гетерогенных систем. В данном случае используются системы унаследованные, это архив мультимедийных данных, слабоструктурированный, и унаследованная, вообще говоря, портированная с мейнфреймов система учета, планирования и управления людскими ресурсами, которая называется Unic. Это достаточно интересная система: она разработана в ЮАР, достаточно гибкая, т. е. включает большое количество настраиваемых форм ввода информации, которые позволяют гибко адаптироваться к различным процессам ввода информации о новых сотрудниках, сделать как полный цикла ввода, так и вполне экономный краткий цикл и содержит целый ряд предопределенных полей для ввода, степень обязательности которых можно менять. В этом случае используются как традиционные поля, связанные с обращением, скажем, мистер, миссис, доктор, профессор и т. д., так и достаточно редко применяемые поля, как скажем, вероисповедание или расовая принадлежность, которая в последнем случае является обязательным к вводу полем, поскольку система разработана в ЮАР.

Система предполагает достаточно большое количество форм и отчетов для планирования карьеры, тренингов, которые проходит персонал, стажировок и т. д. и вообще по возможностям является достаточно гибкой и всеобъемлющей, универсальной. Эти две системы, Multimedia Archive и система управления персоналом, были объединены в единую среду на портальной основе вместе с целым рядом систем, модулей производства корпорации Oracle, тогда эта система модулей называлась Oracle Applications, изначальная версия была 10.6, потом 11 и т. д., сейчас она называется Oracle Business Suite. Здесь будут показаны результаты внедрения и способы оценки экономической эффективности результатов в корпорации «Итера».

Перейдем к описанию предметной области. Нефтегазовая группа компаний «Итера» – это до недавнего времени крупнейшая, с некоторых пор вторая по величине независимая нефтегазовая компания в России. Она была создана в 1992 г., имеет свыше 150 филиалов, дочерних предприятий и свыше 5000 сотрудников, в пиковой период – до 10 000 сотрудников на территории более чем 20 государств. Работа этой структуры отмечается как достаточно эффективная, поскольку по сравнению с такими крупными госструктурами, как, скажем, Газпром, Роснефть и т. д., она более мобильна, динамична и легче адаптируется к меняющейся среде.

Общий объем поставок газа в Россию, страны СНГ и Балтии составил в совокупности более 400 млрд м3. Это достаточно внушительный объем. И общий объем инвестиций в газодобычу в России превысил 1,5 млрд долл. США.

Основное направление деятельности корпорации – нефтегазовое. Вместе с тем, как и во многих корпорациях, существуют и другие направления, которые тоже приносят прибыль. Они могут быть связаны с основным, могут помогать ему развиваться или балансируют структуру бизнеса. В «Итере» это такие направления, как недвижимость, страхование, лесная промышленность, торговля и др. Как и в любой корпорации, в этой группе компаний на определенный момент, как раз конец 1990-х, существовало достаточно большое количество разрозненных и слабоинтегрированных между собой информационных систем, которые тем не менее обеспечивали основные бизнес-потребности корпорации, в том числе построение консолидированных отчетов. Это одна из достаточно важных задач, поскольку такие отчеты дают возможность руководству следить за ключевыми показателями бизнеса, за их динамикой, причем в различных разрезах, скажем, они могут детализировать эти показатели до страны, до региона, до какого-то конкретного проекта, до подразделения, до компании, может быть даже до конкретного человека, если это необходимо. И очень важно, насколько быстро клиент будет получать эти отчеты, настолько быстро можно не просто построить эти данные, а получить бумажные представления этих отчетов и представить в соответствующие органы справки по нужным формам, поскольку консолидированная отчетность по методике GAAP представляется не только в России, но и международным аудиторам, службам, которые оценивают компании. Оперативная консолидированная отчетность нужна также для того, чтобы планировать и тактику, и стратегию развития бизнеса, обнаруживать узкие места, правильно понимать источники проблем и пытаться их ликвидировать или, по крайней мере, как-то нивелировать, снижать.

Конечно, это очень сложная задача, потому что в любой корпорации, как правило, эксплуатируется большое количество разнородных информационных систем, которые зачастую функционируют в различных архитектурных средах, на различных принципах. Скажем, там могут быть и унаследованные системы, которые работают на мейнфреймах, могут быть файл-серверные и более современные клиент-серверные системы, но с использованием уже достаточно давних и, может быть, не самых эффективных технологий, таких как CORBA, брокеры объектных запросов.

Могут быть специфические решения, как скажем, Remoting, если говорить о Microsoft, потому что подход Remoting с трудом интегрируется с другими подходами. Могут быть интернет-системы. Это один срез, который связан с архитектурными особенностями, о которых уже было сказано. Другой срез связан с данными. В предыдущих главах было рассказано о СУБД, но, преимущественно, о реляционных базах данных. На самом деле существуют новые подходы, новые парадигмы, которые связаны с объектными базами данных и позволяют хранить и обрабатывать информацию в объектах, не в таблицах. Это динамические сущности, с ними работать гораздо сложнее, но, к сожалению, если говорить о таких конгломератах, как международные корпорации, там существует и большое количество аудиовизуальной информации. Если говорить о системе учета, планирования, управления людскими ресурсами, это будут записи интервью с кандидатами на те или иные вакансии.

Хранится большое количество корпоративного видео – летописи, различные события. «Итера» недавно открыла новое Пырейное месторождение и ввела его в эксплуатацию. Существует большой фото– и видеоархив, где присутствуют упоминания и сюжеты о важных событиях в жизни корпорации, отдельных компаний, о юбилеях компании, юбилеях топ-менеджеров и о корпоративных праздниках, связанных с профессиональными праздниками, скажем Днем работника нефтяной и газовой промышленности. Кроме фото и видео существует большое количество отсканированных документов, в которых на самом деле тоже не всегда четко определяются поля, т. е. примерно понятно, какого рода поля там должны быть, но каких-то полей может не хватать, какие-то поля могут быть не заполнены по ряду причин, и в связи с этим информация также получается не совсем строго структурированной или не совсем полной. Это еще одна ось, которую нужно добавить к архитектурам.

Кроме этого, естественно, существует ось технологическая. В компаниях работают системы производства Microsoft, Oracle, других производителей, в частности было упомянуто о системе Unic, которая была внедрена. Поскольку она полностью соответствовала по функциональности тем требованиям, которые выдвигались руководством компании, с одной стороны, нельзя было ее игнорировать, а с другой – нужно было встроить в такой большой и разнообразный спектр систем, который уже эксплуатируется. И очень важным здесь является замечание о критичности приложений, Mission Critical Applications, когда существуют приложения или программные системы в рамках корпоративного программного комплекса, которые нельзя просто так приостановить, перекачать информацию куда-то еще и затем запустить заново, просто потому что в них постоянно заносятся производственные показатели, ведется мониторинг этих показателей и ключевые бизнес-процессы функционируют на основе данных из этих систем. Не говоря уже о том, что существуют автоматизированные системы, которые управляют, скажем, бурением, разведкой месторождений и т. п. Но это немного другой класс систем, и здесь о нем не будет подробного рассказа. Важно, что интегрировать корпоративные системы достаточно сложно, и для того, чтобы это сделать, нужен достаточно универсальный подход. Здесь помогают в том числе и математические модели или подход, который связан с концептуализацией предметной области. Это своего рода формальное описание того, что происходит, это и статика, и динамика, и процессы, и факты, и сущности, которые присутствуют и взаимодействуют в предметной области.

Следующий этап – проектирование архитектур и интерфейсов. Зачастую могут выстраиваться конгломераты из разных архитектур. Это могут быть и системы на основе мейнфреймов, которые сейчас переживают второе рождение в банках. На какое-то время мейнфреймы были забыты. Это, конечно же, клиент-серверные системы, опять-таки можно вспомнить клиент-банковские системы. Это системы, которые связаны с интернет-приложениями и тонкие клиенты которых – веб-браузер. Используются веб-сервисы, тонкие клиенты, причем корпоративные сотрудники могут использовать различные устройства доступа к данным. Это могут быть не только персональные компьютеры, не только сетевые рабочие станции, не только ноутбуки, но и мобильные устройства доступа к данным, которые тоже дают возможность получения информации в оперативном режиме практически из любой точки пространства при условии поддержки спутниковой связи. Естественно, все эти составляющие корпоративных информационных систем должны быть интегрированы в рамках различных архитектур, и поэтому используются как специфические, так и традиционные интерфейсы. И хорошим общим знаменателем, хорошим средством интеграции в этом смысле являются интернет-порталы, которые дают возможность доступа из любой точки к информации с учетом профиля пользователя. В профиль заложены как его личные предпочтения, так и особенности тех инструментальных средств и аппаратного обеспечения, которые он использует, и, конечно, заложен его уровень доступа с точки зрения безопасности. Например, вице-президент по персоналу имеет возможность отслеживать динамику персонала по любой компании корпорации, по корпорации в целом, но его доступ к финансовой информации, наверное, не так велик, как у вице-президента по финансам. С другой стороны, если говорить о линейном менеджере по кадрам, то, вероятно, он не может подняться на такой уровень, чтобы видеть динамику, скажем, текучесть кадров по корпорации и даже по компании, наверное, только по какому-то подразделению и только по своему направлению.

Естественно, следующим этапом является реализация, которая происходит при помощи CASE-средств, средств автоматизированного проектирования, средств разработки программного обеспечения. И существенную роль здесь играют средства быстрого прототипирования, в том числе достаточно эффективно можно использовать Visual Studio.NET. Мы уже говорили о том, что необходимо вести интеграцию программных систем. Если говорить о корпоративных программных комплексах, то интеграция производится на основе портальных технологий. Исходя из описания предметной области и общей задачи построения интегрированной системы с возможностью получения консолидированной отчетности нужно сформулировать основные требования к корпоративной информационной системе, к корпоративному программному комплексу, объединяющему ряд таких систем для нефтегазовой группы «Итера». Это прежде всего индустриальная масштабируемость, т. е. возможность относительно плавного снижения производительности при резком возрастании нагрузки на систему, что вызвано, как правило, возрастанием количества одновременно работающих пользователей или сложности запросов, которые одновременно генерируются этими пользователями. Нужно обеспечивать устойчивую работу, а производительность при этом должна падать плавно. То есть пользователь должен иметь возможность получать результаты в комфортном режиме, без каких-то продолжительных задержек, не говоря уже о критических сбоях, потерях данных и т. д.

Другое важное требование – интеграция элементов, или информационных систем, которые составляют корпоративный программный комплекс. Здесь важно отметить то, что эти элементы принципиально являются гетерогенными, т. е. функционируют в рамках различных архитектур, различных вендоров и различной степени структурированности данных. При этом хорошим для интеграции является компонентный подход, который был описан в главе о компонентном подходе от Microsoft, где было упомянуто, каким образом строить компоненты на основе сборок, что такое контракт, как он описывает сборку, что такое манифест, описание метаданных сборки. Таким образом, осуществляется взаимодействие программных систем, построенных на компонентной основе. Это может быть близким подходом, и имеет смысл ограничиться в рамках решаемой задачи построения корпоративного программного комплекса возможностью получения консолидированной отчетности.

Какие еще требования имеет смысл сформулировать для корпоративной системы? Ну, конечно, это расширяемость. Нужно понимать, что нельзя остановиться, создав какой-то комплекс, поскольку бизнес постоянно выдвигает новые задачи, новые требования не только к оперативности консолидации, но и к каким-то новым отраслям, которые могут возникать. «Итера», например, относительно недавно начала серьезную, масштабную работу на рынке недвижимости, была создана компания «Итера-Инвест-Строй», которая сегодня работает уже не только в России, но и в Туркменистане, Белоруссии и реализует достаточно серьезные масштабные проекты на больших территориях и строит целые микрорайоны городов, бизнес-центры, спортивные объекты, разные объекты другой направленности. То есть постоянно возникают новые бизнес-задачи, к которым нужно либо адаптировать существующую систему, тогда возникают требования адаптируемости, либо обеспечить расширяемость тех компонентов, которые уже построены, и самого комплекса. Если имеется необходимость встроить в этот комплекс новый элемент, новую информационную систему, то нужны определенные принципы, методологии, которые позволят это сделать.

Очень важным требованием является требование надежности, отказоустойчивости, а также обеспечение безопасности кода и данных. Если говорить о госструктуре, то здесь существует понятие государственной тайны, в отношении корпорации речь идет о коммерческой тайне. Само понятие корпоративной тайны многогранно и, по сути, охватывает все бизнес-процессы и соответственно все информационные системы, которые ведут учет, планирование и управление и бизнес-процессами и информацией о корпоративных ресурсах. По сути, все эти системы как раз и хранят информацию о ресурсах, не только нефтегазовых, но и людских, финансовых, материально-технических, об основных средствах, временных – планировании времени сотрудников и ряде других.

Конечно, системы должны быть отказоустойчивыми, они обеспечивают ключевые бизнес-процессы, и в ряде случаев простой или остановка сервера чреваты очень серьезными последствиями для бизнеса, потому что есть процессы, которые нельзя останавливать. Непростая ситуация сложилась с газовым транзитом на Украину. Российской стороне периодически приходится приостанавливать поставки газа, это на самом деле очень тяжелая проблема, которая даже переросла в политическую. И здесь надо понимать, что в ряде сфер есть технологические процессы, которые желательно не допускать, потому что они могут стать необратимыми и очень серьезно повлиять на ключевые показатели бизнеса. Поэтому отказоустойчивость системы, которая обеспечивает управление бизнесом, должна быть достаточно высокой.

Кроме того, должна быть обеспечена безопасность кода. Уже было сказано о подходе Microsoft, связанном с безопасностью, – Security Development Lifecycle, Secure by Design, принципе, когда проектирование само по себе ведется таким образом, чтобы система была достаточно безопасной. Многоуровневая безопасность – это политики безопасности, средства авторизации, аутенфикации, использования электронных средств, таких как eTokien, биометрическая аутенфикация по сетчатке глаза, по отпечаткам пальцев, даже по голосу, целый ряд механизмов обеспечения безопасности на этом уровне. Механизмы, связанные с криптографической защитой, использование стандартных протоколов, таких как Kerberos, использование различных средств шифрования от сторонних криптопровайдеров, которые можно встраивать в системы, делая их еще более надежными, многоуровневая безопасность, когда вход в систему защищен не только паролем, но и, скажем, особенностью доступа в зависимости от роли, особенностью доступа к таблицам, к отдельным столбцам, в ряде случаев – даже к отдельным строкам. То есть некоторые строки отчета могут быть видны только для какой-то конкретной роли, а внутри этой роли – при входе под каким-то конкретным паролем. Таким образом обеспечивается пер-сонализация доступа к данным. Все, наверное знают, как выглядит «мой Яндекс», что, скажем, можно настраивать «Яндекс бар», настраивать те сервисы, которые предоставляют порталы, точно так же можно настраивать и корпоративный портал и видеть там ту информацию, которая необходима для выполнения производственных функций каждому сотруднику, подразделению, более того, видеть ее в наиболее удобном представлении.

Портал должен обеспечивать требования единства входа и управления ресурсами. Это достаточно важно, поскольку количество, большие объемы данных и быстрый их рост приводят к тому, что неизбежно возникают дублирование, противоречие информации, при этом иногда сотрудники намеренно могут искажать информацию или уничтожать ее. В некоторых случаях это происходит непреднамеренно, скажем, в разных информационных системах информация о сотрудниках вводится различным образом. Ее можно ввести, с одной стороны, в системе учета кадров, с другой – в системе учета зарплаты, с третьей – это может быть система электронной почты, но на самом деле это все один и тот же сотрудник, который относится к одному и тому же подразделению. Но как определить, что он действительно один и тот же? Допустим, мы хотим отправить электронное письмо человеку по фамилии Иванов, но таких людей в корпорации может быть достаточно много. И вполне может быть, что мы с этим человеком никогда не встречались лично, так как он работает где-то в филиале. Прежде всего следует убедиться, что это именно тот человек, и мы не отправим ему информацию, которая находится вне рамок его служебных полномочий. А если системы разрозненные и имеют противоречия, может случиться так, что на самом деле мы отправим письмо другому человеку, проконсультировавшись, скажем, с ответственным не за систему электронной почты, а за систему документооборота или систему управления персоналом. Поэтому обеспечение единой точки входа управления ресурсами – очень важное требование. До того как вести внедрение любой системы, нужно провести анализ тех систем, которые функционируют в корпорации. Прежде всего имеет смысл оценить системы класса учета планирования и управления ресурсами – Enterprise Resource Planning Systems (ERP).

На рис. 17.1 представлены некоторые системы с точки зрения магического квадрата Gartner Group. Здесь две оси – прикладная технологичность и инструментальная технологичность. То есть насколько легко настроить информационную систему, поскольку большинство информационных систем корпоративного типа представляет собой некий набор из строительных блоков, которые можно объединить. Кроме того, насколько эта система является технологичной в прикладном плане, т. е. если изменились бизнес-задачи или бизнес-процессы, насколько сложно будет адаптировать систему к этим требованиям.

Рис. 17.1. Классификация корпоративных систем. «Магический» квадрат Gartner Group

Естественно, это срез корпоративных систем на некоторый момент времени. Здесь можно увидеть Axapta, но не увидеть Dynamics, так как это было раньше, до того, как Dinamics появился на рынке, но показано, что Oracle Applications является достаточно хорошим решением именно с точки зрения адаптируемости к изменениям бизнеса. В любом случае это хороший выбор. SAP на тот момент, когда проводился анализ, был слишком дорогим решением. Да, он обеспечивал технологичность, адаптируемость, но это решение в разы превосходило Oracle по стоимости. Сегодня ситуация уже иная, и они близки по стоимости, а по возможностям SAP, наверное, немного опережает Oracle. Представленная ситуация – это исторический слайд примерно десятилетней давности: ситуация была иной, и анализ был проведен именно тогда, т. е. это некоторая ретроспектива. В результате удалось выявить целый ряд преимуществ, которые связаны с подходом Oracle. Что еще важно по сравнению с SAP – это наличие собственной СУБД корпоративного типа, с которой проводится интеграция на уровне внутренних механизмов, и соответственно эффективное взаимодействие. Таким образом, объединяются СУБД, система класса ERP и CASE-средства, среди которых существуют средства Oracle Designer, Oracle Developer (или, на момент, когда шло внедрение, Oracle Developer 2000) и портальные решения Oracle Portal, т. е. все вместе дает возможность построить достаточно мощное корпоративное решение на единой платформе. На сегодня, кстати, в ряде случаев оправдано решение на основе технологий Microsoft.

Важные требования – это индустриальная масштабируемость, высокая отказоустойчивость и безопасность и, конечно, прикладная и инструментальная технологичность, а также наличие специализированных решений для нефтегазового комплекса. В составе Oracle Applications существовали модули, которые назывались Upstream и Downstream и были специально предназначены для учета, планирования и управления процессами производства и распределения нефтегазовых ресурсов. Поэтому Oracle – это достаточно хорошее решение. Далее происходило проектирование информационной инфраструктуры корпоративной системы, корпоративного программного комплекса. Естественно, проект был реализован, причем, что очень важно, решения такого рода, к сожалению, затрагивают не просто бизнес-процессы, но и оргструктуру, т. е., как правило, происходит существенная коррекция оргструктуры. По сути, происходит реструктуризация, какие-то подразделения могут упраздняться, какие-то сливаться, какие-то сменять функции, в общем, процесс достаточно болезненный, внедрение, как правило, осложняется этими фактами.

В дальнейшем с использованием OLAP-средств анализировались различные сценарии внедрения, их результаты и последствия проектирования бизнес-модели. Затем было осуществлено проектирование модели данных при помощи средств быстрого прототипирования и автоматизированного проектирования приложений. И наконец, были реализованы, уже на физическом уровне, базы данных и поддерживающие их информационные системы. При этом использованы, если говорить о платформе Oracle, следующие инструментальные средства.

Здесь надо смотреть примерно сверху вниз, это как раз и будут слои архитектуры или один из возможных взглядов на эти слои. В самом низу находится СУБД Oracle, начиналось все с 8i, 9i и затем 10g. В основе проекта был конструктор модульный, который назывался Oracle Application версии 11. Это ряд модулей, в первую очередь финансового учета, планирования и управления. Это «Основные средства», «Расчеты с поставщиками», «Расчеты с заказчиками» и ряд других модулей OLAP. Средство Oracle Express позволяет анализировать сценарии развития при внедрении той или иной модели, той или иной конфигурации. CASE– и RAD-связка инструментальных средств используется для проектирования и быстрого прототипирования Oracle Designer Developer 2000. На самом верху находился Oracle Portal, который давал возможность персонализированного доступа, причем, что важно, на любой платформе, это могли быть Unix-системы и системы Microsoft, использовалась технология Java сервлеты, вернее сказать, портлеты в случае портала, и достаточно хорошие возможности разграничения доступа, персонализации и поддержки различных профилей доступа пользователей.

Какие цели ставил перед собой проект? Это прежде всего консолидация отчетности, унификация хранения и обработки данных, которые до этого хранились в разных форматах, в разных системах, что-то в Excel, что-то в Access, что-то в Word, в разных филиалах по-разному. Несмотря на то что существовали инструкции, консолидацию приходилось вести вручную. Сейчас этот процесс во многом автоматизирован.

Важной целью для корпоративных пользователей является персонализация доступа к данным и пользовательским интерфейсам, а также глобальная доступность основных показателей. То есть Oracle Portal явился надстройкой, которая дает возможность осуществить как персонализацию доступа, так и глобальную доступность основных показателей. Некоторые из них можно при этом показать на верхнем уровне, на официальном сайте. Другие будут доступны партнерам компании через Extranet, третьи – через Intranet сотрудникам.

Ниже представлена временная диаграмма развития проекта:

• 1997 г. – начало проекта;

• 1998 г. – внедрение основных блоков КИС;

• 2000 г. – синхронизация КИС и бизнес-процессов;

• 2002 г. – проектирование расширений КИС на основе интернет-технологий;

• 2003 г. – веб-сайт www.itera.ru и интранет-портал;

• 2004 г. – публикация консолидированных отчетов;

• 2005–2009 гг. – развитие проекта.

В качестве интернет-надстройки использовался Oracle Portal. При этом основным приложением было семейство Oracle Applications версии 11, а в качестве СУБД – Oracle (версии 8–10).

Подводя итоги, следует сказать о результатах, которые удалось получить при реализации корпоративного программного комплекса в нефтегазовой группе «Итера». Во-первых, накоплен позитивный опыт совместного использования целого ряда программного обеспечения. От Oracle это СУБД Oracle, ERP Oracle Applications, OLAP-система Oracle Express, Oracle Forms, Oracle Reports, CASE-средства Oracle Designer, Oracle Developer 2000, Oracle Portal и др. Решен ряд задач оперативного и аналитического финансового учета. Построен информационный интранет-сервер на основе технологии Oracle. В целом все эти задачи были успешно решены, было решено расширять направление Интернет-интранет-сервисов и подключать новые системы на этой основе. Был сделан вывод о том, что интернет-расширения будут способствовать сохранению инвестиций и снижению совокупной стоимости внедрения.

В отношении реализации такого рода систем, в том числе в нефтегазовой группе «Итера», видятся следующие перспективы. Это развитие интранет-портала, создание экстранет с возможностью подключения партнеров и получения дополнительной, расширенной информации о компании. Поддержка в перспективе выхода на фондовый рынок, первичное размещение акций IPO и реализация электронной площадки для газовых торгов, т. е. реализация полномасштабного B2B-приложения.

Продолжим обсуждение корпоративных систем, корпоративных приложений для нефтегазового комплекса и рассмотрим возможности построения интегрированных комплексов таких систем на основе архитектуры и технологии, связанной с использованием интернет-порталов. В нефтегазовой сфере присутствуют значительные объемы гетерогенных, слабоструктурированных данных. Лучше даже сказать, данных различной степени структурированности. Уже было упомянуто о данных сейсмических исследований – это большие объемы и анализировать эти данные достаточно сложно. Естественно, информационные технологии проникают во все сферы жизни и бизнес-деятельности корпорации. Какой бы деятельностью ни занималась компания в корпорации, она должна по стандартной форме отчитываться о своей деятельности, и руководству корпорации нужно понимать, на каких направлениях сосредоточивать усилия, финансы, другие активности, пиар, маркетинг и т. д. Кроме того, нужно строить консолидированные отчеты, но при этом те методики, модели, инструментальные средства, технологии, архитектурные платформы, на которых построены составляющие программный комплекс информационные системы, неоднородны. И если говорить о всем жизненном цикле, понимая это как изменение и поддержку систем от их концепции до реализации, внедрения, сопровождения, то проблема унификации, построения какой-то общей методологии, общего подхода к тому, что бы такие комплексы создавать и расширять, развивать, еще не решена.

Применяемые методологии во многом не адекватны различным стандартам. Существует большое количество разных протоколов взаимодействия, разных стандартов хранения данных, взаимодействия между этими данными, вспомним язык IDL, на котором описываются интерфейсы CORBA-систем. Есть более стандартизованные подходы, но они либо не всеми приняты, либо приняты в разной мере, скажем, подходы к сервис-ориентированной архитектуре, подходы к проектированию интерфейсов для баз данных, стандарт ANSI SQL, к сожалению, многими производителями СУБД воспринимается по-разному и нельзя еще говорить о том, что он в полной мере реализован.

И языки, в том числе языки запросов, например SQL, не вполне однородны и стандартизованы. Интерфейс между пользователями и информационными системами не совсем сбалансирован, потому что присутствуют различные архитектурные подходы, кто-то работает с мейнфреймами, кто-то – с тонкими клиентами, и достаточно сложно построить обобщенный подход. В связи с этим предлагается комплексная концепция разработки интегрированных систем, которые включают такие элементы, как: система математических моделей для представления и манипулирования объектами в предметной области и среды вычислений; концептуальная модель предметной области и абстрактная машина для управления контентом; математические модели – без этой формальной основы очень трудно построить унифицированную платформу, на которой можно надстроить уже и инструментальные средства, и средства интеграции, специфические и те портальные средства, которые будут осуществлять консолидированное управление корпоративным контентом, т. е. теми гетерогенными данными и метаданными разной степени структурированности, которые функционируют в корпорации.

Естественно, этот комплексный подход включает и методологию, которая поддерживает как проектирование, так и реализацию и сопровождение, т. е. весь жизненный цикл информационных систем. И модели, и методологии были бы полны, они бы висели в воздухе, если бы не были поддержаны инструментальными средствами уровня CASE и быстрой разработки, быстрого прототипирования. В данном случае это средство ConceptModeller и информационная система управления контентом, которая осуществляет соответственно интеграцию разнородных данных с получением концентрированного, консолидированного хранилища корпоративной информации на основе объектного подхода и возможности управления контентом этого хранилища на основе информационной системы управления контентом.

Таким образом, целью работы по построению интегрированного подхода к созданию такого гетерогенного программного модуля корпоративного типа являются исследование, обоснование и разработка методологии для построения крупномасштабных корпоративных информационных систем, предназначенных для сбора, анализа и генерации отчетно-статистической информации, которая практически апробирована построением быстрых прототипов, полномасштабных реализаций на основе интернет-порталов. Данная цель детализируется следующими задачами. Это: 1) разработка методологий, т. е. общего подхода, концептуальной схемы, методов и поддерживающей их математической модели для построения такого рода систем; 2) создание инструментальных средств, поддерживающих эти модели (чтобы не быть голословным и не говорить о проектировании только на уровне математики, только на уровне тех моделей объектов, которые используются); 3) практическая апробация построения быстрых прототипов и 4) полномасштабная реализация. При этом используются теоретические основания, прежде всего теория конечных последовательностей в форме -исчисления.

Итак, теория конечных последовательностей в форме лямбда-исчисления, теория категорий, теория переменных доменов и семантических сетей. Какие практические задачи возникают при этом? Это, конечно, создание единого информационного пространства с тем, чтобы каждый сотрудник корпорации из каждой точки земного шара мог получить доступ к тем данным, которые нужны ему для выполнения производственных функций в любой момент времени и с использованием различных устройств доступа. Должна быть осуществлена унификация доступа, сбор и анализ данных для построения консолидированных отчетов, генерация этих самых отчетов, естественно, на том уровне доступа, который имеет каждый сотрудник, и интеграция гетерогенных корпоративных информационных систем, составляющих программные комплексы. Кроме того, должны быть созданы инструментальные средства, которые поддерживают работу в этом пространстве. Системы управления контентом и средства интеграции данных – это те самые Concept-Modeller и информационная система для управления контентом. Должна быть спроектирована архитектура на основе портальных систем, интернет-порталов и, естественно, эта методология, этот подход должны быть апробированы с построением как быстрых прототипов, так и полномасштабных реализаций. В итоге получается корпоративная культура нового сетевого типа, т. е. в определенном смысле происходит виртуализация ресурсов и доступ к ним посредством единообразного интерфейса из любой точки земного шара в любое время, глобальная доступность. По сути, получается виртуальное рабочее место для каждого сотрудника, которому нужно получить доступ, вообще говоря, в достаточно разных условиях. Если говорить о нефтегазовой компании – это могут быть полевые условия. Люди, которые занимаются геологоразведкой, могут передавать данные, обобщать их, анализировать и смотреть перспективы продолжения разведки в том или ином регионе, в том или ином конкретном месте. Это может быть возможность получения консолидированных отчетов или отчетов на своем уровне для каждого типа, для каждо роли в корпорации, для каждой позиции, для сотрудников, которым нужны кадровые либо финансовые данные, и для топ-менеджеров, которые могут получить своего рода dashboard – приборную панель, на которой они могут видеть основные показатели развития корпорации и управлять ими, иметь обратную связь.

Общая схема методологии (рис. 17.2) включает шесть этапов, которые представлены шестью секторами на схеме. Это, начиная с 12 часов, сектор «предметная область», которая представлена на естественном языке, ее формализация в виде концептуальной модели, поддержка CASE-средств первого и второго уровня: первый уровень – это специфика рассматриваемого подхода, которая дает возможность объединить формальную математическую модель с традиционными CASE-средствами, второй уровень – это традиционное, привычное нам CASE-средство, и, наконец, стандартное построение быстрых прототипов в полномасштабной реализации в форме схемы баз данных и информационных систем при помощи CASE-средств. Каждый этап детализируется рядом уровней – это объекты, связи, события в среде и примеры средств управления этими объектами как на уровне модели, так и на уровне реализации в виде инструментальных средств и компонентов программных систем. Уровни поэтапно детализируются от периферии к центру.

Рис. 17.2. Схема методологии построения КИС в нефтегазовом секторе

Какие новые результаты были получены в связи с применением такого подхода? Это прежде всего методологии, которые поддерживают непрерывное предметно-ориентированное итеративное проектирование индустриальных интернет-систем на всем протяжении жизненного цикла. Непрерывное, потому что нет разрыва между моделью и реализацией. Прочие подходы либо имеют этот разрыв, либо, если они хорошо поддержаны моделями, скажем, на основе онтологий, семантических сетей, возможно, на другой основе, например теории категорий, не приводят к решениям с практически приемлемыми эксплуатационными характеристиками – масштабируемостью, отказоустойчивостью и т. д.

В работе удалось развить комплекс моделей данных как для предметной области, так и для среды вычислений. По сути, на основе двукратной концептуализации, или свертки, и на основе теорий переменных доменов. При этом модель для среды вычислений опирается на абстрактную машину для управления контентом, модель для предметной области, представление предметной области – на семантические сети. Этот комплекс моделей лучше, чем традиционные модели, на основе ER-диаграмм и т. д., UML-диаграмм в частности, учитывают особенности гетерогенных, слабоструктурированных сред. Эти модели в основном транслируются в UML-диаграммы, но имеют более прозрачную математическую семантику и более корректно транслируются в термины тех теорий, о которых мы упоминали: -исчисление, комбинаторная логика, теория категорий и теория переменных доменов и семантических сетей с визуализацией на основе фреймов.

В целом можно выделить следующие преимущества разработанных моделей и методологий. Прежде всего, с точки зрения моделей реализуется событийно-ориентированное управление гетерогенными высокодинамичными хранилищами объектов данных и метаданных, т. е. корпоративным контентом, который является, как мы уже говорили, гетерогенным и включает элементы с различной степенью структурированности. Поддерживаются разнородные архитектуры, т. е. гетерогенные архитектуры, как у унаследованных систем, так и у современных интернет-систем или систем клиент-серверного типа. В результате реализации внедрение ускоряется по срокам и улучшается по стоимости примерно на 30–40 %, естественно, если мы говорим о гетерогенных системах, которые объединяют различные поколения информационных систем, различную степень структурированности информации. В моновендорном решении от Oracle такой подход кроме утяжеления и дополнительных затрат ничего не даст. Но если говорить о действительно гетерогенной системе, то в итоге облегчается модернизация, адаптация, расширение, развитие информационной системы, возможен реинжиниринг, т. е. обратное проектирование от CASE-схемы данных информационных систем до уровня модели, и верификация на математически строгом языке. Мы можем доказывать корректность и соответствие спецификации программной системы просто математическим языком так же, как происходит доказательство теорем.

После рассмотрения всех возможных входов доказывается корректность выходов для тех функций, о которых пойдет речь на математическом уровне, в терминах, скажем, -исчислений или комбинаторной логики. Проектирование ведется в терминах предметной области, при этом бизнес-аналитики используют те термины, которые семантически близки, и, можно сказать, что они работают практически на естественном языке. Осуществляется интеграция с современными стандартами, XML и UML в частности. Методология дает возможность обеспечить ассоциативность, наглядность и интуитивную ясность проектирования.

Своеобразие этого подхода и полученных результатов состоит в следующем. Реализуется, как мы уже говорили, событийно-ориентированное управление гетерогенным, высокодинамичным хранилищем. Поддерживаются разнородные архитектуры, в том числе и унаследованные. Обе модели данных поддержаны инструментальными средствами как для представления интеграции данных, так и для манипулирования ими для управления контентом. В последнем случае используется оригинальная модель в форме абстрактной машины на состояние. Практическая значимость сводится к тому, что при корректном применении методологии для гетерогенных комплексов программных систем обеспечивается существенное ускорение и упорядочивание внедрения реализаций, которое в терминах совокупной стоимости владения и возврата на инвестиции обеспечивает по сравнению с существующими коммерческими аналогами преимущества порядка 30–40 %. Кроме того, обеспечиваются облегчение, расширение, модернизация, адаптация, оптимизация производительности информационных систем.

Кратко расскажем о тех вычислительных моделях, которые лежат в основе этой методологии. Прежде всего, каждый объект данных представляет собой тройку с последовательной конкретизацией по схеме класс – объект – значение. Под классом понимается совокупность объектов в интегрированной предметной области, объект – это частичная конкретизация с означиванием ряда метаданных до шаблона информационной системы управления контентом, значение – это полное означивание до веб-страницы, до страницы портала, которая автоматически генерируется в информационной системе управления контентом на основе того или иного шаблона. При этом обеспечиваются следующие преимущества: во-первых преемственность с традиционным подходом к объектно-ориентированному анализу и проектированию OOAD (Object Oriented Analysis and Design), во-вторых, известные ранее модели данных на основе концептуального проектирования, на основе переменных доменов, на основе теории категорий и других подходов обобщаются на случай интернет-порталов, интернет-среды. Возможно непрерывное, от модели до реализации, итеративное, с последовательным улучшением проектирование расширяемых и интероперабельных информационных систем, т. е. компонентно-взаимодействующих систем, которые могут изменяться и наращиваться на основе ряда стандартов и подходов, таких как CORBA, в частности. Поддерживается обработка данных с явным разделением на frontend и backend, т. е., по сути, пользовательский интерфейс и системный с применением событийно управляемых процедур и вычислительных систем на основе динамического SQL.

Концептуальная схема построения модели данных может быть проиллюстрирована примером (рис. 17.3), который показывает двухкратную свертку, класс UML, который описывает объект данных, фотоизображение конкретизируется при первом соотнесении а1 до слота в шаблоне, при этом означиваются такие параметры, как линейные размеры по вертикали/горизонтали и глубина цвета. Финальная конкретизация дает для данного объекта значение в форме фотоизображения, а для страницы в целом выдает веб-страницу, в данном случае биографию руководителя группы компаний «Итера» Игоря Викторовича Макарова.

Рис. 17.3. Концептуальная схем построения модели данных

Кратко остановимся на характеристике и методологии проектирования. Понятие предметной области трансформируется в сущности формальной (математической) модели на фреймах в графической интерпретации и затем переводится в схему объектно-реляционной базы данных и базы метаданных, по сути, хранилища контента, с абстрактной машиной, которая предусмотрена для манипулирования этим контентом. Разработан семантически ориентированный алгоритм, который осуществляет интеграцию новых компонентов в состав уже разработанных программных комплексов и поддерживает реинжиниринг, т. е. обратное проектирование от схемы информационных баз данных до уровня модели. В основе концептуальной модели лежит двухуровневая свертка, или концептуализация, т. е. абстракция в обратную сторону, речь идет о конкретизации с формализацией динамики индивидов на базе соотнесений. При этом семантика формализуется многосортными типизированными термами лямбда-исчисления категориальной комбинаторной логики, а также средствами ситуативного описания на основе семантических сетей и абстрактных машин на состояниях, близких к категориальной абстрактной машине. Поддерживается предметно-ориентированное проектирование программного обеспечения на всем жизненном цикле нашей программной системы, нашего корпоративного программного комплекса, который объединяет ряд информационных программных систем.

Рассмотрим более подробно схему реализации инструментального средства ConceptModeller, которое поддерживает интеграцию различных информационных систем, входящих в состав корпоративного программного комплекса, и обеспечивает двунаправленное предметно-ориентированное проектирование с возможностью трансляции бизнес-ситуации на фреймах в UML-диаграммы и в термины традиционных CASE-средств. Поддерживаются форматы IBM Rational, Oracle Developer и Microsoft Visual Studio. Нужно заметить, что двунаправленный характер стрелок свидетельствует о возможности применения этого средства, естественно, с ручной работой и в обратном направлении, которое дает нам возможность получить из UML-диаграмм модельное представление предметной области. Поддерживается визуально-ориентированное проектирование.

Итак, средство визуального предметно-ориентированного проектирования информационных систем ConceptModeller имеет следующую краткую характеристику: язык разработки – C#, некоторые элементы логики были реализованы на языке XML. При этом, наверное, было бы целесообразно говорить о замене этого языка или об обновлении его до F#. Естественно, реализация произведена на базе операционной системы Windows, среда реализации – Visual Studio.NET, объем кода исследовательского прототипа составляет порядка 4500 строк, срок реализации – примерно один год, количество сотрудников, занятых в проекте, – 4. На рис. 17.4 обведены линией те этапы проектирования, которые реализует ConceptModeller.

Рис. 17.4. Двунаправленная схема CASE-проектирования в ConceptModeller

Точно так же на общей схеме (см. рис. 17.2) из шести этапов и шести уровней выделенным волнистой линией сектором обозначена сфера применения этого средства, которое позволяет нам сделать замкнутой всю схему проектирования корпоративных программных комплексов. Исследовательский прототип ConceptModeller (рис. 17.5) позволяет перейти от скриншота слева к скриншоту справа, т. е. от ситуативных описаний на базе фреймов. Здесь представлен ситуативный фрейм, который описывает поставку кандидатов на вакансии рекрутерами работодателю. Этот фрейм можно трансформировать в UML-диаграмму класса, обеспечивая при этом следующие преимущества. Во-первых, это адекватность разработанной математической модели предметной области на семантических сетях, поскольку фреймы прозрачно транслируются в предиктаты и лямбда-термы. Во-вторых, ориентированность на предметную область – пользователь оперирует понятиями естественного языка. В данном случае это recruiter, employer, manager и т. д. В-третьих, наглядность, поскольку используется средство визуального проектирования: пользователь не пишет текст, а работает с графическими примитивами, как и положено в CASE-средстве с визуальным интерфейсом, поддерживает современные стандарты проектирования, в частности UML, и реализованы интерфейсы с индустриально апробированными CASE-средствами, такими как IBM Rational, Microsoft Visual Studio, Oracle Developer. Поддерживается двунаправленный характер проектирования корпоративных систем, как мы видели на схеме работы ConceptModeller. Возможно проектирование как в сторону от модели к реализации, так и в обратную сторону. Обратный процесс, конечно же, требует ручной работы и определенной коррекции, если говорить о программной системе, которая была реализована на вне данной методологии на основе UML-диаграмм.

Рис. 17.5. Исследовательский прототип ConceptModeller

Другим инструментальным средством, которое поддерживает модель управления объектами данных и метаданных корпоративных систем, управления контентом, является информационная система для управления контентом сетевых ресурсов корпоративных систем. Она реализована в портируемом варианте и может работать под управлением как операционной системы Windows, так и операционной системы Unix, на языках Java и Perl, с возможностью использования СУБД MySQL и Oracle в более серьезном варианте и MySQL – в более легком варианте. Объем кода порядка 5000 строк, срок реализации – один год, количество сотрудников, занятых в проекте, – 5.

Переходя к деталям реализации, рассмотрим интерфейс предметно-ориентированного инструментального средства управления контентом корпоративных информационных систем. Здесь мы видим возможности интерфейса с разграничением на frontend и backend. Срез для пользователей корпоративного сайта представлен справа, некий временной срез страницы, которая динамически формируется на основе шаблонов и персональных предпочтений пользователя, а также устройств доступа к данным, естественно, при доступе с мобильного устройства, интерфейс будет выглядеть иначе.

Слева на рис. 17.6 представлен интерфейс управления этой системой. Важно отметить, что из этого интерфейса можно сделать вывод о том, что абстрактная машина, поддерживающая управление контентом, действительно работает с состояниями, в правой колонке присутствует в явном виде состояние каждой страницы – опубликовано, находится в работе и т. д.

Рис. 17.6. Примеры интерфейсов управления системой

Какие преимущества предоставляет система управления контентом? Это прежде всего веб-интерфейс, проектирование ведется из Internet Explorer, из стандартного клиента и при этом используется стандартное средство DHTML Editor, которое поддерживает динамические объекты стандартных интерфейсов. На самом деле управлять контентом можно практически из произвольной точки земного шара в произвольный момент времени. Это достаточно важно, потому как позволяет разгрузить основных администраторов и дать возможность пользователям наполнять контентом хранилища данных в той мере, в которой у них есть на это права и возможности.

Кроме того, обеспечивается улучшенная по сравнению с аналогами обработка сложных гетерогенных объектов данных и метаданных, есть возможность внедрения элементов офисных приложений в результирующий контент на сайте. Используется средство визуального проектирования, поэтому пользователей не нужно долго учить работе с системой, интерфейс достаточно прозрачен. Применяются расширенные генераторы форм отчетов, при этом возможна реализация различных каналов взаимодействия, ряд систем обслуживается в строгом терминальном режиме с жестким доступом.

Другой подход состоит в использовании полномасштабного веб-интерфейса с применением стандартных абстрактных машин, виртуальных машин на уровне DHTML Editor и подобных подходов и средств. Осуществляются динамическая подготовка и доставка информации по запросу либо в периодическом режиме, скажем, через определенный период времени отчеты отправляются автоматически. Осуществляется гибкий, сценарно-ориентированный редакторский цикл и доступ к данным.

Детализация обобщенной концепции и архитектурной схемы проектирования корпоративных программных комплексов для интернет-среды в связи с внедрением в группе компаний «Итера» по направлению интернет-порталов велась следующим образом. Во-первых, была разработана обобщенная схема обработки гетерогенных хранилищ уже существующих в корпорации данных и метаданных, т. е. контента на основе скриптов соотнесений, по сути, фрагментов кода, которые управляют событиями и динамически настраиваются в связи с особенностями персонализации и профилей пользователей. Практическая значимость реализации определяется развитыми методами, моделями и инструментальными средствами. На основе построенного архитектурно-интерфейсного решения портального типа спроектированы быстрый прототип и выполнена реализация ряда систем, включая информационную систему учета и планирования управления человеческими ресурсами и портал, управляющий информационными ресурсами корпорации. Это позволило осуществить ускоренное внедрение и существенно снизить затраты на сопровождение и развитие программного обеспечения.

При этом в международной группе компаний «Итера», включающей около 10 000 человек в 150 компаниях 24 стран мира, были реализованы: корпоративная информационная система учета людских ресурсов UniQue, которая внедрена в среду уже существующих финансовых модулей Oracle Applications, о них говорилось немного ранее; информационная система для управления контентом, по сути, CASE-средство, официальный интернет-сайт www.itera.ru и внутренний интранет-портал для получения доступа к корпоративным ресурсам в соответствии с персонализацией для сотрудников корпорации. Общая архитектурная схема построенного решения для корпорации «Итера» представлена на рис. 17.7.

Рис. 17.7. Общая архитектурная схема КИС для компании «Итера»

Подход позволил объединить ряд модулей, предназначенных для учета, планирования и управления, прежде всего финансовыми ресурсами. На рис. 17.7 это обозначено ERP-ИС. Речь идет о модулях Oracle Applications: Fixed Assets, Accounts Payable, Accounts Receivable – расчеты с поставщиками, расчеты с заказчиками и основные средства, а также информационная система документооборота на основе Oracle Interoffice и слабоструктурированного мультимедиа архива, который представляет собой не просто базу данных, а хранилище данных с такими объектами, как аудио– и видеоинформация. На основе методологии удалось построить портальную надстройку, которая обеспечивает доступ к данным как из корпоративной локально-вычислительной сети, так и для внешних пользователей с различных устройств доступа, включая мобильные телефоны, смартфоны или коммуникаторы и другие устройства. Это позволило сделать информационное управление контентом.

Другое средство, инструментальное, которое называется ConceptModeller, позволило построить единое хранилище контента на основе этих гетерогенных баз и хранилищ данных. Логическая структура информационной системы для управления контентом представлена на рис. 17.8. Здесь важно отметить, что на данной диаграмме, показывающей потоки данных между компонентами системы, ведется управление как информацией, так и метаинформацией, что представлено такими модулями, как «Управление конфигурацией» и «Администрирование». Достаточно большое количество параметров показано только как основные потоки данных.

Программный комплекс, реализованный для группы компаний «Итера», включает следующие компоненты. Это показанные большими прямоугольниками модули Oracle Applications: Fixed Assets, Accounts Payable, Accounts Receivable, а также информационная система для документооборота, информационная система для расчета заработной платы, которую удалось интегрировать с модулями унаследованной информационной системы, предназначенной для учета, планирования и управления персоналом корпорации. Основные потоки взаимодействия на уровне данных между модулями этих систем показаны на рис. 17.9.

Рис. 17.8. Структура информационной системы для управления контентом

Обобщенный и комплексный подход к проектированию корпоративных программных комплексов, состоящих из гетерогенных программных систем, который включает как достаточно унифицированное математическое обобщение, так и специализированные средства нижнего уровня CASE, позволяющие обеспечить сопряжение между математическими моделями и традиционными CASE-средствами, дал возможность обеспечить целый ряд преимуществ, которые показаны плюсами с восклицательными знаками перед существующими программными решениями для построения корпоративных порталов от ведущих поставщиков этого класса программного обеспечения программных систем (рис. 17.10). Кроме того, реализован целый ряд функциональных преимуществ по сравнению с ведущими коммерческими аналогами в части, касающейся прежде всего построения интегрированных отчетов на основе гетерогенных информационных систем, включающих унаследованные компоненты, а также внедрения в контент сложных объектов данных и метаданных.

Рис. 17.9. Основные потоки взаимодействия систем. Уровень данных

На рис. 17.11 представлена методика расчета TCO (Total Cost of Ownership) – совокупной стоимостью владения программной системой, которая включает четыре уровня показателей, здесь речь идет об интегральной оценке по двум методикам – Gartner Group и Radicati Group, и в итоге открывается возможность оценки систем в пересчете на одного пользователя, т. е. произведено определенное нормирование, которое дает возможность сравнить эффективность внедрения как для достаточно больших, так и для относительно небольших корпораций.

В итоге можно сделать вывод о значительном преимуществе по данному показателю в сравнении с корпоративными портальными системами от ведущих производителей, естественно, при реализации гетерогенного программного комплекса (рис. 17.12). Если говорить о моновендорном комплексе на основе, предположим, Microsoft Dynamics или Oracle Business Suite, нельзя достигнуть существенной эффективности, наоборот, будут потери при использовании этой методики. Если же корпоративный программный комплекс является гетерогенным как с точки зрения поставщиков компонентов, так и с точки зрения архитектуры, используются унаследованные приложения, современные приложения и с точки зрения степени структурированности данных, как слабо-, так и хорошо структурированные, скажем реляционные таблицы, выигрыш по стоимости владения достигает 30–40 %.

Рис. 17.10. Преимущества комплексного подхода к проектированию корпоративных программных систем

Методика расчета возврата на единицу вложенных средств (ROI) представлена на рис. 17.13. Здесь также агрегируется четыре уровня показателей, используется большое количество показателей. И в результате приходим к единственной цели, которая выдает возврат инвестиций. В сравнении с эффективностью, показанной на рис. 17.14, получается приблизительно такая же цифра, порядка 30–40 % экономии, если говорить о сравнении продукции ведущих производителей корпоративных систем с разработанным нами гетерогенным решением (по архитектуре и по степени структурированности данных).

Рис. 17.11. Методика расчета TCO

То же можно сказать и о рис. 17.15, где представлены результаты сравнения внедрения с теми же системами по функциональности и по компонентам, которые были бы реализованы на основе других подходов. Здесь рассматриваются оптимистический и пессимистический сценарии. В целом видно, что реализация в среднем также дает экономию по срокам внедрения порядка 30–40 %.

Подводя краткий итог внедрения портальных комплексов в нефтегазовой группе компаний, в нефтегазовом секторе и в смежных отраслях, таких как недвижимость, страхование, лесная промышленность, можно сделать следующие выводы. Отчасти удалось создать единую информационную инфраструктуру, единое информационное пространство при помощи реализации портала для нефтегазовой группы «Итера». В целом удалось достичь достаточно эффективного сбора и анализа данных при помощи OLAP-средств, а также генерации консолидированных отчетов. При этом пользователи во многом работают в терминах корпоративных приложений, офисных приложений, так же как и при использовании библиотек Enterprise Library и библиотек Visual Studio Tools for Microsoft Office. В достаточно полной степени осуществлена возможность интеграции гетерогенных информационных систем в корпоративные программные комплексы, в частности осуществлена интеграция стандартных систем, стандартных модулей семейства Oracle Applications с унаследованной системой учета планирования и управления людскими ресурсами. Отчасти удалось обеспечить унификацию доступа к данным, поскольку до сих пор не все проблемы решены в связи с жесткими ограничениями корпоративной безопасности, которые существуют.

Рис. 17.12. Диаграмма эффективности корпоративных портальных комплексов на основе TCO

Удалось создать ряд инструментальных средств и исследовательских прототипов этих средств, которые поддерживают проектирование корпоративных программных комплексов на основе интернет-порталов. Это средство управления контентом, т. е. гетерогенными данными и метаданными корпоративных систем для управления контентом, а также средства, предметно-ориентированные для визуализированной интеграции данных и метаданных корпоративного хранилища данных, средства ConceptModeller на семантических сетях.

Рис. 17.13. Методика расчета возврата на единицу вложенных средств (ROI)

Рис. 17.14. Диаграмма эффективности корпоративных портальных комплексов на основе ROI

Рис. 17.15. Усредненные сроки внедрения портального комплекса

Еще одной важной задачей было проектирование архитектуры программного комплекса с надстройкой в форме интернет-портала, который позволяет обеспечить единую точку входа, гибкое разграничение доступа к данным и надежное взаимодействие пользователей с достаточно эргономичным и интуитивно ясным интерфейсом в форме веб-браузера. Процедура апробации включила быстрое прототипирование и полномасштабную реализацию. В целом удалось обеспечить более высокий уровень сетецентричной (net-centered) корпоративной культуры нового типа.

Кроме того, был достигнут ряд, можно сказать, попутных результатов. Во-первых, те частные информационные ресурсы, которые были реализованы в рамках отдельных компаний или подразделений, удалось упорядочить и, снизив степень дублирования и противоречий, агрегировать с построением консолидированного программного комплекса семейства этих информационных систем. Удалось существенно повысить рейтинг тех подразделений, которые вносят вклад в создание корпоративной информации, ну и отчасти, тех подразделений, которые отвечают за информационные технологии. Удалось сплотить коллектив, поскольку создание интранет-портала выявило неформальных лидеров, которые создают контент, полезную для корпорации информацию и обмениваются этой информацией. Фактически попутным результатом явилось построение мини-социальной сети корпоративного типа, в которой ведется в том числе неформальное общение в свободное от основной работы время. Попутно удалось повысить квалификацию сотрудников. Нужно сказать, что нефтегазовый комплекс не является тесно интегрированным с информационными технологиями, в ряде случаев есть сотрудники, которые в силу возрастных причин, специфики образования не имеют стабильных навыков создания, редактирования контента и т. д., эффективного, регулярного сетевого взаимодействия; удалось существенно повысить квалификацию сотрудников и в этом направлении.

Была внедрена система безопасности качественно нового уровня. Здесь специфика корпоративной информации не позволяет вдаваться в детали, но нужно сказать, что был реализован многоуровневый механизм доступа к критическим данным с использованием целого ряда механизмов идентификации и аутенфикации пользователей, в том числе на основе биометрической информации.

Удалось устранить целый ряд узких мест из бизнес-процессов корпорации, дублирование, противоречия задач, подразделений, приложений. Удалось унифицировать скелет, или архитектуру IT-инфраструктуры, которая используется в корпорации, удалось существенно упорядочить, ускорить процедуры планирования и сформировать критерии, которые позволили более грамотно, правильно спланировать бюджет на информационные технологии.

Нужно сказать, что определенные трудности существовали в проекте, и не до конца их удалось преодолеть. Это сопротивление консервативной части коллектива, поскольку любое внедрение системы такого рода и такого уровня наталкивается на сопротивление части людей, которые не хотят менять себя, устоявшийся бизнес-процесс, устоявшиеся отношения, которые привыкли работать старыми методами и, может быть, даже не такими эффективными.

Определенные требования накладывает безопасность, здесь, конечно, не все удалось реализовать, возможно, идеальную степень открытости и прозрачности, поскольку есть определенные и существенные требования по безопасности.

Удалось обеспечить некоторую степень гетерогенности данных, но, естественно, высокая степень гетерогенности данных не позволила провести полномасштабную интеграцию, и, к сожалению, в ряде случаев до сих пор необходим ручной анализ, фрагментация и полуавтоматическая конвертация данных, если говорить о фото-, видеоинформации и отсканированных документах. Естественно, в полностью автоматическом режиме сделать это невозможно. Различные версии офисного и корпоративного программного обеспечения, которые существуют в разных корпорациях, также внесли определенные сложности в проект. Естественно, потребовалось унифицировать обязанности и регламенты на уровне подразделений, компаний и корпорации в целом, что тоже было непросто и не до конца решено.

Конечно, рабочие функции в компании группы дублировались, и возникали противоречия в обязанностях и определенные сложности, связанные с бизнес-процессами. Конечно, ряд бизнес-критичных корпоративных приложений, на которых основаны бизнес-процессы корпорации и которые были упомянуты в этой главе, внесли дополнительные сложности, поскольку новая методология требует освоения новых инструментальных средств и подходов, в частности информационной системой управления контентом ConceptModeller. При этом ими нужно было овладевать в сжатые сроки, несмотря на достаточно удобный интерфейс, конечно, это повлекло дополнительные затраты и принесло дополнительные сложности. В ряде подразделений и для ряда сотрудников оказалось сложным сходу соответствовать новым требованиям, критериям корпоративной культуры сетевого типа.

Какие все-таки позитивные итоги можно отметить по результатам внедрения этой методологии? Это существенное сокращение сроков и стоимости внедрения, если говорить о гетерогенных системах (30–40 %). Существенное расширение функциональных возможностей и актуальность, оригинальность и перспективность, продуктивность подхода, который объединяет модели, инструментальные средства и программную реализацию.

Результат исследования, а доклады обсуждались на целом ряде международных конференций, в том числе под эгидой ACM, IEEE, Microsoft в ряде стран, в России, США, Европе, опубликован целый ряд печатных работ, в том числе по ваковскому перечню, ряд монографий. И реализован ряд грантов, которые поддерживали исследовательскую сторону реализации, прежде всего это и Microsoft Research, и Российский фонд фундаментальных исследований. Реализован целый ряд учебных курсов не только в МИФИ и ИНТУИТ, но также в Softline, Текама, Ланит, МГУПИ, ФизТех, Высшей школе экономики, Казанском государственном технологическом университете им. Туполева и в целом ряде других организаций. Поставлено на поток интернет-обучение с элементами этих методологий, и сегодня количество слушателей измеряется уже тысячами.

Целый ряд проектов находится в стадии внедрения, это интернет-портал Минпромэнерго РФ (minprom.gov.ru), интернет-портал ИПУ РАН (ipu.ru), интернет-сайт международного экологического проекта «Полет надежды», интернет-сайт Ассоциации Ашихаракарате РФ, интернет-сайт Видновского благочиния РПЦ. Там используются элементы этой методологии.

Что касается компании «Итера», то на рис. 17.16 представлен скриншот официального сайта, который построен на основе этих технологий, и внутрикорпоративного портала. Также на этом рисунке представлен скриншот корпоративной газеты, общедоступный срез портала.

Рис. 17.16. Портал компании «Итера»

На этом следует подвести итог рассказа о корпоративных программных комплексах в нефтегазовой сфере. Были рассмотрены основы построения комплексов на базе продуктов и технологий Oracle, Oracle Applications, Oracle Database, Oracle Express OLAP-система, Oracle Portal, CASE-средств Oracle Designer и Oracle Developer и расширений этой методики на случай гетерогенных программных комплексов, которая позволяет интегрировать системы на базе различных архитектурных подходов, различных производителей и различной степени структурированности данных. В итоге вследствие унификации моделей, разработки поддерживающих их инструментальных средств, удается обеспечить для действительно гетерогенных систем существенную экономию по срокам и стоимости внедрения.

Глава 18

Разработка корпоративных решений на платформе Microsoft Dynamics (AX/NAV/CRM)

В каждой компании существуют контуры управления основными процессами и ресурсами, финансовые ресурсы, проекты, управление отношениями с клиентами, управление персоналом, а также другие виды производственных ресурсов, процесс дистрибуции, распределение продукции, процесс производства, такая важная вещь, как бизнес-анализ. Ранее говорилось о бизнес-анализе в связи с системами управления базами данных, прежде всего MSQL Server. Выясняется, что семейство систем Microsoft Dynamics интегрировано с SQL Server, и можно извлечь ряд преимуществ для бизнес-анализа ключевых показателей извлечения данных и построения консолидированных отчетов на их основе.

Далее будут рассмотрены преимущества, которые обусловлены прежде всего высокой степенью интеграции с технологиями продуктов Microsoft, это и корпоративные порталы, и средства семейства Microsoft Office – Excel, Outlook, Word и др., которые дают возможность построения консолидированных отчетов в удобной для пользователя форме. Это и эргономика, достаточно высокая, основанная на том, что в Microsoft работает очень хорошая, наверное, лучшая в мире команда по дизайну эргономичных интерфейсов. Конечно, пользователи привыкли к тому, что Microsoft Office – это достаточно удобная и знакомая среда, интуитивно понятная, имеющая массу способов выполнения однотипных действий. Существуют и контекстное меню, и горячие клавиши, и целый ряд других элементов интерфейса, с помощью которых можно сделать похожие операции.

Известно, что Office как корпоративный продукт во многом является надстройкой над. NET, и существуют специальные библиотеки на основе объектов, которые дают возможность построения приложений как надстройки над Microsoft.NET.

Важные преимущества связанны также с адаптируемостью, с легкостью реконфигурации настройки процессов бизнес-деятельности, настройки степени надежности, безопасности, и следует в очередной раз вспомнить принцип Secure by design, который заложен в основы ЖЦ программных продуктов Secure Development Life Cycle, т. е. подхода, который нацелен на то, чтобы обеспечить многоуровневую безопасность, начиная с этапа проектирования.

Если говорить о корпорации, очень важным аспектом является глобализация, т. е. распределение данных по глобальной сети, с одной стороны, и возможность доступа к ним в глобальной среде Интернет посредством веб-браузера как тонкого клиента, с другой, с получением согласно профилю пользователей консолидированных отчетов, если это необходимо.

Достаточно важным с точки зрения интернет-профилирования является также профилированный доступ с учетом как уровней доступа, так и характеристик устройств доступа к данным. Это могут быть и стационарные компьютеры, и ноутбуки, и смартфоны, и телефоны, и ряд устройств личных предпочтений пользователей и особенностей настройки профиля доступа к данным, которые разграничивают доступ для различных категорий корпоративных пользователей.

В связи с глобальной средой имеет смысл упомянуть, что кроме открытой интернет-среды для всех пользователей, такой как сайт, существует также интранет-среда, которая закрыта для внутренних пользователей и предназначена для построения консолидированных отчетов. Кроме того, существует экстранет, это среда, которая предназначена для партнеров корпорации по бизнесу и дает более широкие возможности доступа к данным и взаимодействия, чем сторонним пользователям среды Интернет, которые просто смотрят корпоративный сайт.

После краткого введения в Microsoft Dynamics сделаем некоторые предварительные выводы и затем обсудим более подробно Microsoft Dynamics CRM, которая дает возможность построить ряд контуров управления бизнесом с акцентом на взаимодействии с клиентами, управления цепочками поставок, с управлением финансами и вообще взаимоотношениями с клиентами.

Рассмотрим основные функции семейства систем Microsoft Dynamics, сначала просто перечислим их:

• управление производством;

• управление распределением (дистрибуцией);

• управление цепочками поставок;

• управление финансами;

• управление проектами;

• управление отношениями с клиентами;

• управление персоналом;

• бизнес-анализ;

• корпоративный портал (Microsoft SharePoint);

• сервисы отчетов на Microsoft SQL Server 2005;

• поддержка. NET (веб-сервисы Microsoft Visual Studio);

• интеграция приложений (Microsoft BizTalk Server 2006).

А затем рассмотрим возможности, которые они предоставляют. Если говорить о корпоративном портале, то здесь, конечно же, используются технологии SharePoint, которые связаны с большим количеством шаблонов с гибким разграничением доступа, с механизмами достаточно эффективного поиска, как полнотекстовым, так и по метаданным.

Другой важный аспект интеграции – это поддержка отчетных сервисов на основе Microsoft SQL Server, начиная с версии 2005. Заметим, что Microsoft Dynamics можно рассматривать как надстройку над платформой Microsoft.NET, и в связи с этим используются как веб-сервисы, так и инструментарий для построения корпоративных приложений на большом количестве языков программирования на основе Microsoft Visual Studio.

Если говорить об интеграции приложений, можно использовать BizTalk Server, на основе которого можно подключать гетерогенные источники данных, осуществлять интеграцию с ними в достаточно продуктивном режиме.

Microsoft Dynamics дает следующие преимущества: адаптируемость – гибкая возможность приспосабливать функциональность системы к быстро меняющимся требованиям в бизнесе; масштабируемость – плавное снижение производительности системы при резком возрастании нагрузки (например, при возрастании количества пользователей, сложности запросов и т. д.).

Свойства продукта, которые обеспечивают эти характеристики:

• управление производством;

• интеграционная среда разработки, обеспечивает объединение с инструментальными средствами, Microsoft Visual Studio в частности;

• объектно-ориентированный подход – компонентно-ориентированный подход к разработке. Все есть объект – основной постулат. NET, который во многом справедлив для Microsoft Dynamics;

• динамические бизнес-процессы. Управление всем жизненным циклом производства. Контуры кадровые, финансовые и т. д., которые объединяются в Microsoft Dynamics, и возможность построения отчетов фактически дают нам возможность получения некоторого аналога приборной панели для руководства, на которой видны основные показатели бизнеса предприятия и их связь с теми глобальными параметрами, на основе которого ведется управление не только производством, но и распределением продукции.

Здесь важно отметить, что бизнес-процессы при этом становятся динамическими, т. е. динамически корректируемыми, в зависимости от ситуации в бизнесе. Например, работа с недвижимостью во многом претерпевает негативные изменения, также сейчас есть сложности в реальном секторе экономики, в металлургии и нефтегазовом секторе, но, с другой стороны, существуют инновационные отрасли, которые, наоборот, находятся на подъеме. В связи с этим потенциальная возможность гибко изменять структуру бизнеса, бизнес-процессов и управления ими, которая изначально заложена в Microsoft Dynamics, является преимуществом;

• масштабируемые бизнес-процессы. Возможность детализации до различного уровня – уровня компании, подразделения, государства, региона, конкретного поставщика, производителя или клиента, с которым ведется взаимодействие, и, естественно, возможно агрегирование показателей до корпорации в целом;

• поддержка разработчиков разного уровня. Поддерживаются различные виды приложений, созданных как Microsoft, так и сторонними разработчиками. Некоторые приложения – Microsoft SQL Server, BizTalk Server и т. д. – предназначены для интеграции приложений и управления данными. Существует возможность встраивания продуктов и алгоритмов управления бизнес-процессами от сторонних производителей;

• «слоевая» архитектура хранения и исполнении прикладных объектов. Важно, что прикладные объекты и сервисы, которые на них основаны, во многом представляются и используются в виде слоев, т. е. существует несколько слоев логики, один из самых нижних – системный, Windows-механизмы, которые ограничены технологиями и продуктами Microsoft. Дальше имеется надстройка в виде стандартных компонентов и библиотеки объектов. NET Framework, над. NET надстраиваются различные сервисы прикладного уровня, это компоненты в виде DLL корпоративных приложений, это и Microsoft Dynamics, и, возможно, те компоненты, которые разрабатывались сторонними поставщиками. Таким образом осуществляется хранение и управление собственными корпоративными системами, которые являются гетерогенными;

• инкрементальное, безопасное наращивание функций системы. При таком подходе управление функционалом системы позволяет осуществлять достаточно безопасное и относительно эффективное с точки зрения сроков и стоимости наращивание функционала, которое производится инкрементально, т. е. в соответствии с требованиями бизнеса осуществляются доработка, развитие, наращивание именно тех функций, которые необходимы. При этом с точки зрения системы интересной функцией, которую можно обеспечить на основе Microsoft Dynamics, является коррекция бизнес-логики путем откатов, т. е. возвратов к более раннему состоянию изначальной бизнес-логики. Естественно, снижаются риски, связанные с управлением бизнесом, и с учетом снижения затрат на обновление ПО. Другим важным источником экономии является эффективное переобучение персонала, что довольно важно для корпораций с большим количеством сотрудников. Переобучение проходит эффективно за счет того, что персонал хорошо знаком с Microsoft и обучение ведется в привычных терминах продуктов Microsoft. Очень важно, что можно гибко управлять требованиями, поскольку бизнес-процессы хорошо адаптируются к требованиям. Кроме того, существует большое количество решений, которые реализованы некоторыми партнерами Microsoft и приложимы к конкретным отраслям;

• расширение функциональности «стандартными» отраслевыми решениями. Если говорить о преимуществах, которые реализуются в области надежности, безопасности и конфиденциальности данных, для корпоративной структуры это критически важные аспекты, то нужно подчеркнуть, что Microsoft Dynamics реализует корпоративный уровень надежности и безопасности. Существует стратегия Trustworthy Computing, которая связана с обеспечением необходимого уровня доверия пользователей к системе и компонентов системы друг к другу и обеспечивается Microsoft Dynamics. При этом поддерживаются как стандартные протоколы Windows, которые обеспечивают безопасность взаимодействия, так и подходы, связанные с использованием многоуровневой аутентификации, на основе Active Directory, и специальные средства защиты информации. Это и криптозащита на основе стандартных протоколов Microsoft и сторонних разработчиков. Кроме того, Microsoft достаточно жестко тестирует бизнес-критичные продукты по таким параметрам, как надежность и отказоустойчивость, в основном эти характеристики имеют высокий уровень и обеспечиваются Microsoft.

Относительно глобализации, т. е. соответствия глобальному характеру производства и распределения, реализуемому корпорациями, Microsoft Dynamics обеспечивает следующие преимущества:

• многоязычный интерфейс – готовые локализации для более чем 30 языков, на которых идет общение. Естественно, речь идет не просто о переводе интерфейса, локализация учитывает многие национальные особенности;

• мультивалютность – поддерживается мультивалютный учет;

• распределенные инсталляции;

• учет специфики законодательства и бухгалтерии. Учитывается специфика требований, связанных с законодательством, финансами, делопроизводством, кадровыми документами, и целый ряд других юридических требований, которые в разных странах имеют свои особенности;

• поддержка юникода в БД – многоязычные данные в одной компании/документе, поскольку в базах данных на основе Microsoft SQL Server поддерживается юникод, возможно использование консолидированных документов, которые производятся в разных странах и при этом могут быть многоязычные данные в одном и том же документе;

• поддержка локальных законодательных и бухгалтерских требований.

Если говорить о глобализации, уместно напомнить и о том, что используются стандартные средства на основе Microsoft SharePoint-портала, которые дают возможность осуществить глобальное управление данными фактически из любой точки земного шара.

Управление производством:

• планирование потребностей в материалах и производственных мощностях;

• ведение нормативно-справочной информации с учетом специфики законодательства и отчетности в различных странах;

• детальное планирование производственных заданий с высокой степенью детализации;

• управление ресурсами;

• внутрицеховое управление;

• калькуляция себестоимости;

• конфигурирование продукции;

• контроль версий выпускаемой продукции – как промышленной, так и ПО.

Страницы: «« 23456789 »»

Читать бесплатно другие книги:

Юрий Казаков путешествовал много и в каких местах только не бывал – и Печоры, и Таруса, и Новгородск...
Притчи как жанр переживают настоящее возрождение. Оказалось, что именно сейчас возникла необходимост...
Экстравагантный, умный, ироничный «Театральный роман»…...
Повесть известного писателя Бориса Штейна «Солнце на перекладине» – один из лучших образцов молодежн...
«Долго шла весна тайкомОт ветров и стужи,А сегодня – прямикомШлёпает по лужам…»...
«Когда мне было шесть лет, я не знал, что Земля имеет форму шара. Но Стёпка, хозяйский сын, у родите...