Российский ETL
МОЗАИКА Интеграция Данных
Включена в единый реестр российских программ
Собираем, обогащаем, обрабатываем, загружаем
Процессы
Выгрузка Обогащение Трансформация Загрузка данных
• выгрузку данных из систем-источников, с контролем нагрузки на источники
• обогащение данных из пользовательских источников
• трансформацию данных
• загрузку данных в базы данных–приемники
Мы предлагаем E2TL подход, который в реализуемом в МОЗе инновационном подходе построения виртуальных кубов, состоящих из данных множества источников и концепции «обрабатываем данные там, где они есть» является самым оптимальным.
Задачи и решения
Позволяет настраивать гибкий процесс выгрузки, трансформации и загрузки данных, покрывающий все типовые и индивидуальные сценарии обращения за данными:
• Выгрузка данных по расписанию. Например, выгрузка данных из источников должна стартовать ежедневно в 3 часа ночи.
• Выгрузка данных при их обновлении в источнике. Например, выгрузка данных из источников при актуальности данных не хуже заданной.
• Выгрузка части данных в зависимости от результатов обработки предыдущей части данных.
• Выгрузка части данных по событию из процесса загрузки другой части данных.
• Выгрузка данных по специальным условиям. Например, выгрузка данных из источника при условии, что в другом источнике появились некоторые признаки.
Кроме этого обеспечивается мониторинг доступности источников данных и автообработка некритических ошибок.
• Подключение к источникам данных через нативные коннекторы собственной разработки.
• Подключение к любым источникам данных через ODBC или гетерогенные линки
• Контроль нагрузки на источники данных за счет использования Теории Массового Обслуживания с очередью запросов, учетом приоритетов, динамических ресурсных квот и т.д.
Ручной ввод данных или пакетный ввод данных из файлов различных типов, включая MS Excel сложной структуры, настраиваемой пользователями, используется для:
• сбора данных из филиалов/подразделений, не интегрированных в стандартные ИТ процессы Компани
• ввода показателей, автоматизированный расчет которых не желателен или не производится по различным причинам
• обогащения данных из источников, доступ к которым возможен только в ручном режиме
• сбора данных, когда построение автоматизированного интерфейса запрещено или невозможно в силу информационной безопасности
При этом ручной ввод данных является таким же стандартным процессом, как и автоматизированная загрузка данных из систем-источников, и поддерживает расширенные возможности:
• Расчет значений вычисляемых показателей на основе загружаемых данных при помощи вызова конфигурируемого SQL-запроса
• Автоматический контроль вводимых данных по настраиваемым контролям
• Редактирование введенных данных
• Поиск загруженных данных
• Подтверждение или отмена введенных данных ответственными сотрудниками
• Разграничение прав пользователей
• Информирования при загрузке/изменении данных и их статуса
• Логирование изменений
• Внутренняя отчетность
Алгоритмы трансформации данных могут настраиваться как администраторами, так и пользователями, имеющими базовую подготовку, в виде SQL скриптов, средств No code разработки или в привычном редакторе структур данных МОЗАИКА.
На данный момент МОЗАИКА BI может выгружать данные в Oracle, MS SQL, PostgreSQL, MySQL, MariaDB, Hadoop.
Список возможных типов приемников данных оперативно расширяется по запросам наших клиентов.