¶ 1. Назначение документа
Настоящий документ содержит описание Системы управления нормативно-справочной информацией RT.MDM, далее RT.MDM, в части функциональной структуры подсистем и взаимодействия с внешними системами.
¶ 2. Общие положения
¶ 2.1 Наименование и условные обозначения
Наименование системы: RT.MDM.
¶ 2.2 Область применения
RT.MDM — специализированное программное решение, предназначенное для организации процесса ведения нормативно-справочной информации (НСИ), создания мастер-платформы ведения и распространения эталонных справочников.
¶ 2.3 Термины, определения и сокращения
В настоящем документе использованы и определены следующие термины и сокращения:
| Термин/ Сокращение | Определение |
|---|---|
| RT.MDM | Программный инструмент управления нормативными справочными данными. |
| lnd, stg, mdm | Схемы данных системы управления базой данных. |
| Владелец справочника |
Сотрудник компании, обладающий профильной экспертизой по отношению к содержанию справочника в соответствии с зоной ответственности подразделения, сотрудником которого он является. Владелец справочника отвечает за:
|
| Основные данные | Схема данных, в которой хранятся данные справочников MDM. |
| Пользователь | Пользователь MDM, выполняющий действия над данными справочников. |
| Мэппинг | Установка отношений между записями в эталонных справочниках и записями справочников систем-источников. |
| Система–источник | Техническая ИТ-система, комплекс, платформа, предоставляющая данные согласно установленному регламенту. |
| Эталонный справочник | Централизованно управляемый справочник, обеспечивающий единый информационный базис, общую терминологию для нескольких информационных систем. Данный справочник является единым на всю компанию, обязателен к применению во всех ИС. |
¶ 3. Назначение RT.MDM
¶ 3.1 Вид деятельности, для автоматизации которой предназначен RT.MDM
RT.MDM предназначен для поддержки ведения нормативно-справочной информации следующих категорий:
- ведения централизованных справочников;
- ведения мэппингов, приведения в соответствие с эталонными справочниками справочников из систем-источников;
- обработки и централизации внешних справочных данных в виде федеральных, отраслевых и муниципальных ресурсов.
¶ 4. Перечень функций, реализуемых в RT.MDM
Основные функции RT.MDM:
- Создание и ведение эталонных справочников, изменение атрибутов эталонных справочников без остановки эксплуатации системы.
- Получение данных от систем-источников.
- Хранение данных справочников, полученных от систем-источников.
- Мэппинг справочников, получаемых от систем-источников на эталонные справочники.
- Передача данных справочников информационным системам компании.
- Ведение истории изменений позиций справочников.
- Процессное управление согласованием и утверждением позиций справочников.
- Разделение прав доступа пользователей к справочникам информационной системы.
- Интеграция с Microsoft Excel для пакетной обработки большого количества записей справочников.
Основные функциональные блоки приведены на Рисунке 1.
Рисунок 1. Основные функциональные блоки
¶ 5.Описание RT.MDM
¶ 5.1 Архитектура системы
RT.MDM обеспечивает подключение клиентского приложения. Общая архитектура приведена на Рисунке 2.
Рисунок 2. Общая аппаратно-программная архитектура RT.MDM
¶ 5.2 Описание функционирования RT.MDM и его частей
Компоненты системы показаны на Рисунке 3.
Рисунок 3. Компоненты системы
RT.MDM включает в себя следующие компоненты:
- Сервер приложений MDM - ядро системы, которое обеспечивает бизнес-логику системы и реализует следующую функциональность:
- прием, обработка, хранение и предоставление информационных объектов системы;
- управление интеграционными адаптерами, ETL-процессами, с помощью которых осуществляется активный опрос или пассивный прием данных от систем-источников по новым информационным объектам или изменениям существующих;
- авторизация пользователей и обеспечение контроля доступа.
- База данных MDM - является централизованным хранилищем данных всей системы и реализует следующую функциональность:
- хранение информационных объектов и их связей;
- хранение внутренних объектов системы, таких как учетные записи, авторизационные данные и настройки;
- Front-end – пользовательский интерфейс, который реализует следующую функциональность:
- предоставление графического web-интерфейса к системе;
- отображение пользователю объектов MDM, с возможностью экспорта данных в приложение Microsoft Excel.
- Аутентификация пользователей:
- LDAP аутентификация, с использованием корпоративного LDAP сервера, где осуществляется проверка соответствия пары логин-пароль по доменным учетным записям пользователей.
В общем представлении выделяют три части RT.MDM:
- Сервер приложений MDM;
- Сервер ETL MDM;
- Сервер базы данных.
¶ 6. Создание справочников
Создание и изменение справочников осуществляется сотрудником с правами «Администратор приложения MDM» в разделе «Администрирование метаданных» редактированием структуры метаданных MDM. Создание справочника, добавление, изменение или удаление его атрибутов происходит без остановки RT.MDM.
¶ 7. Создание и ведение эталонных справочников
Эталонный справочник в системе представлен в виде отдельной сущности, имеющей интерфейс, предоставляющий пользователю следующие функции:
- Создание записи.
- Редактирование записи.
- Удаление записи. В этом случае запись помечается как удаленная и недоступна в интерфейсе пользователя, но при этом остается в базе данных.
- Поиск записей с использованием фильтров по атрибутам сущностей.
¶ 7.1 Создание и ведение справочников систем-источников
Для осуществления мэппинга на эталонные справочники в систему должны быть загружены справочники систем-источников.
Каждый справочник системы-источника представлен в виде отдельной сущности, имеющей интерфейс, предоставляющий пользователю следующие функции:
- Редактирование записи (рекомендуется редактировать только атрибуты «Эталон ИД» и «Статус»).
- Поиск записей с использованием фильтров по атрибутам сущностей.
- Установка мэппинга записи справочника системы-источника на запись эталонного справочника.
¶ 7.2 Мэппинг справочников
RT.MDM имеет возможность осуществлять мэппинг следующими способами:
- Ручной мэппинг пользователем, когда пользователь, используя средства навигации, выбирает для мэппинга подходящую, по его мнению, запись эталонного справочника.
- Автоматический мэппинг, когда в бизнес-логике Администратора метаданных или в ETL – процессе программируется автоматический мэппинг по заранее представленному алгоритму. Автоматический мэппинг должен выполняться в момент загрузки новых записей в сущность справочника системы-источника.
¶ 7.3 Использование алгоритмов нечеткой логики при автоматическом мэппинге справочников
Возможность использовать алгоритм нечёткой логики при сравнении возможных совпадений записей источника и эталона для автоматического мэппинга посредством алгоритма Левенштейна.
¶ 7.4 Загрузка данных от систем-источников
¶ 7.4.1 Схемы данных MDM
- lnd – слой Landing, предназначен для первичной загрузки данных из источников, дает возможность в момент передачи данных в следующий слой Staging выполнять проверку правильности данных, приведение данных к типам эталонного справочника, выделять инкремент и т.п. Данные из Landing в Staging передаются хранимыми процедурами, находящимися в слое Landing. Структура данных в слое может быть произвольной – таблицы с произвольным набором полей, структура которых не должна противоречить правилам PostgreSQL Server. Слой не предназначен для хранения данных.
- stg – слой Staging, предназначен для загрузки данных в формате пакетов данных MDM, которые в дальнейшем обрабатываются системой для передачи данных в следующий слой mdm. Данные из Staging в слой основных данных (mdm) передаются хранимыми процедурами, находящимися в слое Staging. Слой является частью структуры метаданных MDM, поэтому любые его изменения недопустимы. Слой не предназначен для хранения данных.
- mdm – слой основных данных, слой данных справочников, является частью метаданных MDM, работа с ним возможна только средствами, предусмотренными разработчиком MDM. Слой предназначен для хранения данных справочников. Результат работы пользователей с системой сохраняется в этом слое.
На Рисунке 4 показана схема потока данных по слоям:
Рисунок 4. Схема потока данных по слоям
¶ 7.4.2 Порядок загрузки данных от систем-источников
Данные справочников, полученные от систем-источников, должны загружаться в схему данных lnd в таблицу, соответствующую сущности системы-источника.
По завершении загрузки администратор RT.MDM должен запустить хранимую процедуру переноса данных из схемы lnd в соответствующую таблицу схемы stg, а затем процедуру переноса данных из схемы stg в данные справочника MDM. Также хранимые процедуры могут быть запущены автоматически. По умолчанию должен быть настроен автоматический запуск с указанием, по каким датам или дням недели, в какое время и для каких справочников выполняете автоматический запуск.
¶ 7.4.3 Автоматический мэппинг записей источника на эталон
При наличии алгоритма существует возможность автоматического мэппинга.
Правила автомэппинга определяются системными аналитиками на основании знаний о возможных алгоритмах данной процедуры, с учетом особенностей источников информации, хранимых данных и требований владельцев информации.
Автоматический мэппинг реализуется через хранимые процедуры. Хранимые процедуры заранее подготавливаются разработчиками на основе правил, сформулированных системными аналитиками.
Процедуры автоматического мэппинга должны вызываться автоматически, в момент передачи данных из слоя Landing в слой Staging. Участие человека в этом случае не требуется.
Запуск процедур передачи данных между слоями Landing и Staging выполняется как пользователем вручную, так и автоматически по расписанию.
¶ 7.5 Передача данных сторонним системам
Для передачи данных сторонним системам используются представления базы данных. Каждому справочнику соответствует свое представление. Сторонние системы получают данные через запрос к представлению через протокол ODBC.
Структура имени представления:
mdm.<Имя сущности>_[Имя МРФ]_[Имя системы-источника].
Таблица 1 — Поля представлений мэппингов справочников систем-источников
| Наименование | Тип данных | Описание |
|---|---|---|
| Name | nvarchar(250) | Имя |
| Code | nvarchar(250) | Натуральный ключ |
| standard_id_Code | nvarchar(250) | Эталонный ключ |
| start_date | datetime2(3) | Дата начала действия записи. Значение по умолчанию: 1900-01-01 00:00:00.000 |
| end_date | datetime2(3) | Дата окончания действия записи. Значение по умолчанию: 2999-12-31 00:00:00.000 |
| LastChgDateTime | datetime2(3) | Дата и время последнего изменения записи |
¶ 7.6 Ведение истории изменений записей справочников
Ведение истории изменений осуществляется в журнале изменений MDM, где фиксируется изменение любого атрибута справочника, с указанием учетной записи пользователя, даты и времени изменения. История ведется для всех реквизитов справочников слоя mdm.
Каждый реквизит справочника при изменении сохраняет свое предыдущее значение и дату, когда это изменение внесено. Таким образом, всегда существует возможность программными средствами или инструментами MDM восстановить все значения реквизитов справочника или конкретных его элементов на определенный момент времени.
Журнал истории представляет собой хранилище, куда записываются все изменения всех атрибутов записей, выполняемых пользователями.
Таблица 2 — Формат хранения журнала истории изменений записей
| Наименование атрибута журнала истории изменения | Описание |
|---|---|
| Код записи | Первичный ключ MDM. |
| Перечень всех атрибутов сущности с их значениями на момент попадания записи в историю | |
| Дата последнего изменения | Дата последнего обновления, то есть создания версии записи |
| Изменивший запись пользователь | Учетная запись пользователя, выполнившего последнее обновление |
| Дата добавления | Дата создания записи |
| Добавивший запись пользователь | Учетная запись пользователя, создавшего запись |
¶ 7.7 Процессное управление
Согласование и утверждение записей справочников происходит на основе процессного управления, когда пользователи, находясь в разных ролях, выполняют согласование в очередности, заданной в настраиваемом бизнес-процессе.
Процессное управление основано на изменении состояния записи в атрибуте справочника status, зависящее от настройки Workflow процесса каждого справочника. Процессное управление возможно только в последовательном изменении пользователями состояний. Параллельное изменение состояний невозможно.
Существует возможность настройки для каждого справочника своего бизнес-процесса исходя из пожеланий отдельных МРФ и владельцев эталонных справочников.
В настройку бизнес-процесса справочника входит:
- Возможность реализации для справочника индивидуального сценария бизнес-процесса.
- Настройка ответственных за этапы бизнес-процесса конкретных учетных записей пользователей.
- Настройка нотификации на произвольные почтовые адреса.
В Таблице 3 показаны типовые состояния записи справочника системы-источника.
Таблица 3 — Типовые состояния записи справочника системы-источника
| Наименование состояния | Событие, предшествующее состоянию | Роль, устанавливающая состояния | Разрешения на изменение мэппинга | Действия системы после установки состояния |
|---|---|---|---|---|
| Пустое значение | В справочник добавлена новая позиция | Нет | Разрешено изменять мэппинг | Нет |
| На классификации | В справочнике обнаружена неклассифицированная позиция | Оператор НСИ, Аналитик НСИ, Владелец справочника | Разрешено изменять мэппинг | Нотификация Оператора НСИ, Аналитика НСИ |
| На утверждении | Пользователь завершил классификацию записи | Оператор НСИ, Аналитик НСИ | Запрещено изменять мэппинг | Нотификация Владельца справочника |
| Утверждено | Пользователь установил статус «На утверждении» | Владелец справочника | Запрещено изменять мэппинг | Нотификация Оператора НСИ, Аналитика НСИ |
| Отклонено | Пользователь отклонил результат классификации | Владелец справочника | Разрешено изменять мэппинг | Нотификация Оператора НСИ, Аналитика НСИ |
На Рисунке 5 показана типовая диаграмма последовательности смены состояний записи справочника системы-источника
Рисунок 5. Типовая диаграмма последовательности смены состояний записи справочника системы-источника
¶ 7.8 Разделение прав доступа пользователей
Права доступа пользователей разделяются по справочникам и по типам действий с записями справочников:
- Чтение записей.
- Создание записи.
- Редактирование записи.
- Удаление записи.
Для пользователей, ведущих эталонные справочники, доступны все типы действий над этими справочниками.
Для пользователей, ведущих справочники систем-источников, доступны только два типа действий над этими справочниками: чтение записей, редактирование записей.
Права пользователю выдаются на конкретный справочник.
Для реализации прав на конкретные атрибуты и записи справочника используется отдельная настройка прав пользователей.
¶ 7.9 Интеграция с Microsoft Excel
В системе реализована возможность выгрузки справочников в Excel, где производятся массовые операции по добавлению, правке, слиянию данных. При завершении работы данные публикуются в MDM в статусе «На согласовании» для последующего прохождения Workflow процесса.
Типичный сценарий работы пользователя с Excel:
- Открыть справочник в MDM.
- При необходимости выполнить фильтрацию записей.
- Нажать кнопку передачи записей в Excel.
- Выполнить редактирование записей в Excel, при необходимости
,добавить новые записи. - Нажать кнопку сохранения результатов редактирования в MDM.