Интеграция данных в информационных системах

Интеграция данных включает объединение данных из нескольких разнородных источников, которые хранятся с использованием различных технологий и обеспечивают единое представление данных. Интеграция данных приобретает все большее значение в случае слияния двух компаний или объединения приложений в рамках одного предприятия, чтобы обеспечить единое представление информационных активов компании.
Наиболее известной реализацией интеграции данных является построение хранилища данных предприятия. Преимуществом хранилища данных является возможность проведения анализа на основе данных, содержащихся в нем. Исходные системы могут не содержать нужных данных, даже если названы они будут одинаково, относиться они могут к различным сущностям.
Сосредоточим внимание на процессе интеграции данных и трудностях, возникающих в нем.
На первый взгляд самая сложная задача - техническое внедрение объединяющихся данных из разрозненных, часто несовместимых источников. Однако намного более сложной задачей является полнота интеграции. Она должна содержать в себе следующие этапы:
- разработка,
- внедрение,
- тестирование.
Разработка включает в себя понимание нескольких важных аспектов:
- Инициатива интеграции данных должна исходить от руководства предприятия, а не от ИТ-отдела. Должен быть руководитель, который понимает активы данных предприятия и будет в состоянии разработать долгосрочную стратегию интеграции данных, чтобы сделать ее последовательной, успешной и самое главное, выгодной.
- Анализ требований (требования к программному продукту) – предлагает ответить на несколько важных вопросов: зачем разрабатывается интеграция, каковы ее цели и ожидаемые результаты. Из какой системы будут получены данные? Все ли данные доступны, для выполнения требований? Каковы бизнес-правила (корпоративные политики, промышленные стандарты, вычислительные алгоритмы)? Какова модель сопровождения новой системы, и каковы требования соглашения об уровне предоставления услуг?
- Анализ исходной системы: какие варианты извлечения данных из системы возможны (пошаговое или полное извлечение), что подразумевается под требуемой/доступной частотой извлечения? Что такое качество данных? Доступна ли документация? Какие объемы данных обрабатываются?
- Любые другие нефункциональные требования, описывающие цели и атрибуты качества. Атрибуты качества представляют собой дополнительное описание функций продукта, выраженное через описание его характеристик, важных для пользователей или разработчиков. К ним относятся: время реакции системы, возможное число одновременно работающих пользователей, политика безопасности данных, политика резервного копирования.
- И последний, но не менее важный аспект, это определить, кто будет являться владельцем системы и что понимается под финансированием технического обслуживания и расходами на модернизацию.
Внедрение подразумевает под собой выбор инструментов для осуществления интеграции. Здесь встает выбор между знакомыми инструментами, эксплуатацией имеющихся знаний или использованием новой платформы или технологии, более эффективной по сравнению с существующими стандартами компании.
Процесс тестирования помогает убедиться в том, что объединение данных прошло правильно, актуально и в полном объеме, а потому в тестировании должны участвовать обе стороны, как техническая, так и управленческая. На стадии тестирования, есть смысл обратить внимание на принципы гибкой разработки программного обеспечения, и организовать оперативную работу тестировщиков и разработчиков.
Существует несколько методов интеграции данных, представленных в Таблице 1:

Таблица 1. Методы интеграции данных
Название метода Принцип Минусы
Механическая интеграция Доступ для работы с информацией во всех исходных системах Нет единого представления данных
Приложения на основе интеграции Требуют конкретных приложений для реализации интеграции В случае применения большого количества приложений, становится неуправляемым
Использование промежуточного ПО Переход от конкретных приложений к новому промежуточному слою Частичное участие в интеграции
Унифицированный доступ к данным (виртуальная интеграция) Доступ к данным не из исходных систем, а из набора представлений, для обеспечения единой работы клиентов в рамках нескольких крупных предприятий и промышленных объединений Применение только похожих источников данных (БД), дополнительная нагрузка на исходную систему
Физическая интеграция Создание новой системы хранящей копию исходных данных, но управляющей ими независимо от исходной системы Требует отдельной системы для обработки больших объемов данных

Вне зависимости от метода интеграции данных, остаются вопросы, связанные с различиями в представлении одних и тех же вещей. А именно, приходится разрешать несоответствие схем данных и несоответствие самих данных. В первом случае проблему в основном решают вручную, во втором же это практически невозможно и требуется автоматическое решение.
Несоответствие схем данных подразумевает под собой конфликты: неоднородности (разные модели - разные источники), именования (разные схемы - разная терминология), семантические (различные уровни абстракции сущностей реального мира) и структурные (одни и те же сущности представляются разными структурами).
Несоответствие самих данных включает различие форматов, представлений, потерю актуальности, ошибки операторского ввода (человеческий фактор).
В системе Sike.Управление предприятием разработан отдельный модуль, предназначенный для интеграции данных в другую систему. С помощью этого функционала дочерние общества могут передавать информацию в головную организацию. При этом возможна интеграция любых типов данных двумя способами
При создании счета-фактуры или платежного в документа в нашей системе, он автоматически попадает в промежуточную таблицу базы данных с признаком «Не передан». Если документ был уже передан, но обновлен или удален в системе, данные изменения также попадают в промежуточную таблицу с признаками Update и Delete. Один раз в сутки, по расписанию при помощи алгоритма передачи, запускаемого автоматически заданием, все документы, не переданные ранее в головную организацию или обновленные/удаленные, отбираются для интеграции. Для счетов-фактур и операций существует множество условий отбора для передачи: корректные балансовый счет и платежная статья, тип документа входящий в перечень для интеграции, валюта оплаты по договору и т.д. В случае успешной интеграции документу в промежуточной таблице присваивается признак «Передан», а при возникновении ошибок создаются записи в предварительно созданной таблице логирования.
В ходе реализации интеграции мы столкнулись с рядом задач:
– ограничение в доступе к базам данных головной организации,
– использование различных СУБД: Microsoft SQL Server и Oracle,
– использование различных типов данных,
– использование различных типов данных,
– использование различных алгоритмов и блокировок внутри систем.
Подобные задачи должны решаться как на административном уровне, так и на уровне разработчика.
Второй способ интеграции в системе Sike.Управление предприятием реализован с помощью формирования XML-файла из данных таблиц и результатов работы хранимых процедур. Для таблиц базы данных дочерней организации настраиваются триггеры на вставку (Insert), обновление (Update) или удаление (Delete), которые при изменениях автоматически создают записи в промежуточной таблице с соответствующими признаками I, U или D. Далее в отдельную таблицу выгружаются базовые данные, которые сравниваются с данными полученными из хранимой процедуры, и если было выявлено изменение, то происходит перезапись исходных данных. Следующим шагом происходит проверка не переданной информации из промежуточной таблицы и таблицы с перезаписанными базовыми данными, из обнаруженных не переданных записей происходит формирование XML-файла и его сохранение по указанному пути.
Для данного способа интеграции выявлены следующие проблемы, которые были успешно решены:
– наличие прав администратора на доступ к хосту, куда производится выгрузка XML-файла,
– организация сложной структуры базы данных, для защиты исходного кода,
– использование smb-протокола для удаленного доступа к внешнему хосту.
Подводя итог, можно сказать, что интеграция данных – это ключ к контролю информации и при правильной организации, а также поддержке руководства, это обеспечение предприятия возможностями для принятия надежных и эффективных бизнес-решений. Приобретение готовых продуктов у специализирующихся компаний, позволит сократить временные и финансовые затраты на поддержку и развитие интеграции данных на предприятии, а также использовать для решения конкретных задач наиболее выгодные и проверенные способы интеграции.