Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
¶ 1 Назначение документа
Настоящий документ включает описание системы RT.StreamingNiFi, ее возможности и архитектурные особенности.
Документ может быть полезен администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение и сопровождение системы.
¶ 2 Общие положения
¶ 2.1 Наименование и условное обозначение
Наименование системы: RT.StreamingNiFi.
¶ 2.2 Область применения
RT.StreamingNiFi — инструмент интеграции данных, обеспечивающий удобный интерфейс для проектирования и управления потоками данных между системами. Он поддерживает широкий спектр источников и мест приземления данных, включая базы данных, очереди сообщений и облачные сервисы.
RT.StreamingNiFi является полезным и быстрым решением для проблем, связанных с потоком данных от одного или нескольких эндпоинтов к другому, которые требуют некоторой маршрутизации, манипуляций или валидации на этом пути. Функциональные возможности обеспечиваются встроенными процессорами. Каждый процессор выполняет конкретную задачу в потоке данных в целом.
Вот наиболее распространённые варианты использования RT.StreamingNiFi:
- Сбор данных из различных источников, включая файлы логов, датчики и приложения в режиме реального времени или в пакетном режиме.
- Обогащение данных путём добавления дополнительной информации (например, метки времени, данных геолокации или идентификаторов пользователей) для улучшения качества данных и полезности их анализа.
- Трансформация данных путём изменения их формата, структуры или содержимого в целях оптимизации анализа данных и обеспечения совместимости данных с системами.
- Маршрутизация данных в разные пункты назначения (например, Hadoop, Hive или Spark (RT.DataLake)) для регламентного обеспечения данными потребителей.
- Мониторинг потоков данных и выявления потенциальных проблем в целях предотвращения потери данных или обеспечения корректной передачи данных.
- Безопасность хранения и передачи данных с помощью шифрования, что обеспечивает защиту данных от несанкционированного доступа или умышленной подмены\удаления.
- Выполнение требований регуляторов по обработке чувствительных данных путём шифрования данных, контроля доступа к ним и их удаления, когда они больше не нужны.
RT.StreamingNiFi может использоваться в различных отраслях и в различных целях организаций, например:
- Для снижения уровня мошенничества и киберрисков, модернизации платёжных архитектур в реальном времени и повышения лояльности клиентов в сфере финансовых услуг.
- Для оптимизации многоканального взаимодействия, управления запасами в режиме реального времени и повышения вовлечённости клиентов с помощью динамических персонализированных предложений в розничной торговле и электронной коммерции.
- Для построения цепочки поставок в режиме реального времени, повышения производительности предприятий, а также улучшения качества и предсказуемости продукции в сфере производства.
- Для улучшения умных автомобилей, подключения к цепочкам поставок и обеспечения персонализированного клиентского опыта в автомобильной промышленности.
- Для открытия новых источников дохода, модернизации стека OSS, ограничения оттока клиентов и сокращения операционных расходов для поставщиков услуг связи.
- Для создания быстрых игр, создания захватывающего игрового процесса и масштабирования в соответствии с глобальными требованиями в сфере разработки игр.
- Для улучшения сервисов для граждан, обеспечения безопасности и повышения эффективности для государственного сектора.
- Для повышения вовлечённости и удовлетворённости клиентов, получения операционной эффективности и обеспечения соблюдения нормативных требований в сфере страхования.
- Для быстрого и гибкого внедрения инноваций и ускорения вывода новых цифровых продуктов на рынок в сфере технологий.
¶ 2.3 Термины, определения и сокращения
В настоящем документе использованы и определены следующие термины и сокращения:
| Термин\сокращение | Определение |
|---|---|
| RT.StreamingNiFi | |
| DataFlow Manager, DFM, Менеджер потока данных | Пользователь RT.StreamingNiFi, у которого есть разрешения на добавление, удаление и изменение компонентов потока данных RT.StreamingNiFi. |
| FlowFile, Поток данных |
FlowFile представляет собой отдельный фрагмент данных в RT.StreamingNiFi. FlowFile состоит из двух компонентов: атрибутов FlowFile и содержимого FlowFile. Содержимое — это данные, представленные FlowFile. Атрибуты — это характеристики, которые предоставляют информацию или контекст данных; они состоят из пар ключ-значение. Все FlowFiles имеют следующие стандартные атрибуты:
|
| Processor, Процессор | Компонент RT.StreamingNiFi, который используется для прослушивания входящих данных; извлечения данных из внешних источников; публикации данных во внешних источниках; а также маршрутизации, трансформации или извлечения информации из FlowFiles. |
| Relationship, Связь | Для каждого процессора определено ноль или более связей. Эти связи названы так, чтобы указать результат обработки FlowFile. После того, как процессор завершит обработку FlowFile, он направит FlowFile в одну из связей. Затем DFM может связать каждую из этих связей с другими компонентами, чтобы указать, куда FlowFile должен идти дальше при каждом потенциальном результате обработки. |
| Connection, Соединение | DFM создаёт автоматический поток данных, перетаскивая компоненты из панели Components Toolbar RT.StreamingNiFi на рабочую область, а затем соединяя компоненты вместе с помощью соединений. Каждое соединение состоит из одной или нескольких связей. Для каждого нарисованного соединения DFM может определить, какие связи следует использовать для соединения. Это позволяет маршрутизировать данные различными способами в зависимости от результата их обработки. Каждое соединение содержит очередь FlowFile. Когда FlowFile передаётся в определённое соединение, он добавляется в очередь, принадлежащую связанному соединению. |
| Controller Service, Служба контроллера | Точки расширения, которые после добавления и настройки с помощью DFM в пользовательском интерфейсе запускаются при запуске RT.StreamingNiFi и предоставляют информацию для использования другими компонентами (например, процессорами или другими службами контроллера). Общей службой контроллера, используемой несколькими компонентами, является StandardSSLContextService. Он предоставляет возможность один раз настроить свойства хранилища ключей и/или хранилища доверенных сертификатов и повторно использовать эту конфигурацию во всём приложении. Идея состоит в том, что вместо того, чтобы настраивать эту информацию в каждом процессоре, которому она может понадобиться, служба контроллера предоставляет её любому процессору для использования по мере необходимости. |
| Reporting Task, Задача отчётности | Задачи отчётности выполняются в фоновом режиме и предоставляют статистические отчёты о том, что происходит в инстансе RT.StreamingNiFi. DFM добавляет и настраивает задачи отчётности в пользовательском интерфейсе по желанию. Общие задачи создания отчётов включают задачу создания отчётов ControllerStatusReportingTask, задачу создания отчётов MonitorDiskUsage, задачу создания отчётов MonitorMemory и StandardGangliaReporter. |
| Parameter Provider, Поставщик параметров | Поставщики параметров могут предоставлять параметры из внешнего источника в контексты параметров. Параметры поставщика параметров могут быть выбраны и применены ко всем ссылающимся контекстам параметров. |
| Funnel, Воронка | Компонент RT.StreamingNiFi, который используется для объединения данных из нескольких соединений в одно соединение. |
| Process Group, Группа процессов | Когда поток данных становится сложным, часто полезно рассуждать о потоке данных на более высоком, более абстрактном уровне. RT.StreamingNiFi позволяет группировать несколько компонентов, таких как процессоры, в группу процессов. Пользовательский интерфейс RT.StreamingNiFi затем позволяет DFM легко соединить несколько групп процессов в логический поток данных, а также позволяет DFM входить в группу процессов, чтобы видеть и манипулировать компонентами внутри группы процессов. |
| Port, Порт | Потоки данных, созданные с использованием одной или нескольких групп процессов, нуждаются в особом способе соединения группы процессов к другим компонентам потока данных. Это достигается за счёт использования портов. DFM может добавлять любое количество входных и выходных портов в группу процессов и соответствующим образом называть эти порты. |
| Remote Process Group, Группа удалённых процессов | Точно так же, как данные передаются в группу процессов и из неё, иногда необходимо передавать данные из одного инстанса RT.StreamingNiFi в другой. Хотя RT.StreamingNiFi предоставляет множество различных механизмов для передачи данных из одной системы в другую, группы удалённых процессов часто являются самым простым способом сделать это при передаче данных в другой инстанс RT.StreamingNiFi. |
| Bulletin, Бюллетень | Пользовательский интерфейс RT.StreamingNiFi обеспечивает значительный объём мониторинга и обратной связи о текущем статусе приложения. В дополнение к скользящей статистике и текущему статусу, предоставляемому для каждого компонента, компоненты могут сообщать в бюллетени. Каждый раз, когда компонент сообщает о бюллетене, на этом компоненте отображается значок бюллетеня. Бюллетени системного уровня отображаются в строке состояния в верхней части страницы. При наведении указателя мыши на этот значок появится всплывающая подсказка, показывающая время и серьёзность (Debug, Info, Warning, Error) бюллетеня, а также сообщение бюллетеня. Бюллетени всех компонентов также можно просматривать и фильтровать на странице Bulletin Board, доступной в глобальном меню. |
| Template, Шаблон | Часто поток данных состоит из множества подпотоков, которые можно использовать повторно. RT.StreamingNiFi позволяет DFM выбирать часть потока данных (или весь поток данных) и создавать шаблон. Этому шаблону присваивается имя, и его затем можно перетаскивать на рабочую область, как и другие компоненты. В результате несколько компонентов можно объединить вместе, чтобы создать более крупный строительный блок, из которого можно создать поток данных. Эти шаблоны также можно экспортировать в формате XML и импортировать в другой инстанс RT.StreamingNiFi, что позволяет совместно использовать эти строительные блоки. |
| flow.xml.gz | Всё, что DFM помещает на рабочую область пользовательского интерфейса RT.StreamingNiFi, записывается в реальном времени в один файл под названием flow.xml.gz. По умолчанию этот файл находится в каталоге nifi/conf. Любые изменения, внесенные на рабочую область, автоматически сохраняются в этом файле, и пользователю не нужно нажимать кнопку Save. Кроме того, RT.StreamingNiFi автоматически создаёт резервную копию этого файла в каталоге архива при его обновлении. Вы можете использовать эти архивные файлы для отката конфигурации потока. Для этого остановите RT.StreamingNiFi, замените flow.xml.gz желаемой резервной копией, затем перезапустите RT.StreamingNiFi. В кластерной среде остановите весь кластер RT.StreamingNiFi, замените flow.xml.gz одной из нод и перезапустите ноду. Удалите flow.xml.gz с других нод. Убедившись, что нода запускается как кластер из одной ноды, запустите остальные ноды. Заменённая конфигурация потока будет синхронизирована по всему кластеру. Имя и расположение файла flow.xml.gz, а также поведение автоматического архивирования можно настроить. |
| Canvas, Рабочая область | Свободное пространство сетки, на котором вы создаёте свой поток данных. Доступ к нему осуществляется через пользовательский интерфейс RT.StreamingNiFi. Для создания потока необходимо перетаскивать процессоры на рабочую область. |
| NiFi Registry | Сопутствующий проект RT.StreamingNiFi, который обеспечивает контроль версий в стиле Git для потоков RT.StreamingNiFi. Он работает как отдельный сервис для RT.StreamingNiFi, предоставляя собственный веб-интерфейс для управления. RT.StreamingNiFi подключается к службе NiFi Registry через клиент реестра, настроенный через веб-интерфейс RT.StreamingNiFi. |
| Parameter, Параметр | Переменная уровня группы процессов, которая статически настраивается внутри контекста параметра. Параметры могут дополнительно содержать чувствительные значения. На параметры можно ссылаться по имени внутри конфигурации процессора с использованием синтаксиса #{name}. Значение параметра оценивается во время запуска ссылающегося процессора, и процессор(ы) должен быть остановлен, прежде чем значение параметра можно будет изменить. |
| Parameter Context, Контекст параметра | Контейнер для одного или нескольких параметров. Контекст параметра может быть прикреплён к одной или нескольким группам процессов, но группа процессов может иметь только один контекст параметра. Процессор может ссылаться на параметры только в контексте параметров, который прикреплён к его группе процессов. Это предпочтительный метод для статических переменных в RT.StreamingNiFi, при этом Variable Registry считается устаревшим. |
| Root Canvas, Корневая рабочая область | Первая рабочая область, которая представляется пользователю при доступе к веб-интерфейсу RT.StreamingNiFi. Это рабочая область корневой группы процессов (Root Process Group). |
| Variable Registry, Реестр переменных | Контейнер для одной или нескольких статических переменных, которые устанавливаются вне потока. Они не могут быть изменены процессорами, и их значение оценивается во время запуска процессора. Реестр переменных считается устаревшим, и вместо него следует использовать параметры. |
¶ 3 Назначение Системы
¶ 3.1 Вид деятельности, для автоматизации которой предназначена Система
RT.StreamingNiFi — инструмент интеграции и автоматизации потоков данных, который обеспечивает следующие ключевые возможности:
- Приём данных от большого количества типов источников.
- Трансформация, обогащение и улучшение качества данных в реальном времени.
- Распространение данных для широкого спектра приёмников.
- Хранение данных и их метаданных и их очистка при устаревании.
Эти ключевые возможности предоставляются лёгким в использовании, безопасным, отлично масштабируемым, подходящим под различные требования обработки и передачи данных способом. RT.StreamingNiFi может быть развернут локально, в облаке или в гибридных средах.
¶ 4 Описание Системы
¶ 4.1 Общий обзор
RT.StreamingNiFi — инструмент, позволяющий интегрировать системы и управлять потоками данных между ними с помощью визуального интерфейса без написания кода.
Поток данных выстраивается путём перетаскивания встроенных компонентов на рабочую область и соединения их с другими компонентами или эндпоинтами. Вот имеющиеся компоненты:
- Процессор — компонент, выполняющий дискретную задачу по маршрутизации и управлению данными и имеющий один или несколько входов или выходов. RT.StreamingNiFi поставляется с множеством типов процессоров (например, ExecuteScript, GetFile или UnpackContent). При размещении процессора на рабочей области настраивается его поведение с помощью свойств, настроек и расписания.
- Поток — то, что соединяет один процессор с другим процессором, портом или воронкой и работает в одном направлении. Каждый поток имеет свою внутреннюю очередь. Эта очередь позволяет выполнять буферизацию, когда нижестоящий процесс замедляется, приостанавливается или останавливается по какой-либо причине. Содержимое очереди потоков хранится в виде файлов в хранилище сервера RT.StreamingNiFi, поэтому это необходимо учитывать при разработке потока. Параметры очередей можно настроить, чтобы разрешить их лимит перед удалением или применением обратного давления.
- Обычно каждый процессор спроектирован так, чтобы иметь один вход и более одного выхода, охватывая как минимум одно состояние успеха и как минимум одно состояние ошибки, чтобы данные могли быть перенаправлены дальше соответствующим образом. Воронка — вспомогательный канал, который позволяет нескольким потокам сходиться в один, что помогает обеспечить чёткую структуру, когда у многих потоков одно и то же назначение.
- Группы процессов инкапсулируют поток процессоров в один объект на рабочей области, чтобы сгруппировать любые связанные по функциональности компоненты и объединить их в именованную группу процессов. Эта группа процессов может затем подключаться к другим группам процессов, процессорам или воронкам, как обычный процессор.
- Группы процессов используют Порты для завершения внутренних потоков и обеспечения доступа к ним за пределами группы процессов. Группа процессов обычно имеет по крайней мере один входной и один выходной порт.
Поток RT.StreamingNiFi переносит данные от начала до конца потока в виде фрагментированного файлового содержимого — FlowFile (Файл потока).
Файл потока состоит из содержимого файла потока и атрибутов файла потока. Содержимое файла потока — содержимое данных файла, например, содержимое текстового файла. Атрибуты файла потока — метаданные, прикреплённые к каждому файлу потока, представленные в парах «ключ-значение». Эти атрибуты иногда устанавливаются самими процессорами для указания определённых свойств или состояния файла потока, но ими также может управлять сам разработчик потока.
Каждый файл потока можно визуально отследить в интерфейсе RT.StreamingNiFi по отображаемым счётчикам по мере его прохождения через поток. Мы даже можем просмотреть содержимое и атрибуты самого файла потока, когда он находится в очереди потока.
¶ 4.2 Архитектура Системы
RT.StreamingNiFi выполняется внутри JVM в операционной системе хоста. Основные компоненты RT.StreamingNiFi на JVM следующие:
- Веб сервер (Web Server) — целью веб-сервера является размещение API управления и контроля RT.StreamingNiFi на основе HTTP.
- Контроллер потока (Flow Controller) — мозг операции. Он предоставляет треды для запуска расширений и управляет графиком получения расширениями ресурсов для выполнения.
- Расширения (Extensions) работают и выполняются внутри JVM. Существуют различные типы расширений RT.StreamingNiFi.
- В Репозитории файлов потоков (FlowFile Repository) RT.StreamingNiFi отслеживает состояние того, что он знает о данном FlowFile, который в данный момент активен в потоке. Имплементация репозитория является подключаемой. По умолчанию используется постоянный Write-Ahead Log (WAL), расположенный в указанной партиции диска.
- Репозиторий содержимого (Content Repository) — место, где находятся фактические байты содержимого данного FlowFile. Имплементация репозитория является подключаемой. Подход по умолчанию представляет собой простой механизм, который хранит блоки данных в файловой системе. Можно указать более одного места хранения файловой системы, чтобы задействовать разные физические партиции и уменьшить конфликты на любом отдельном томе.
- Репозиторий происхождения (Provenance Repository) — место, где хранятся все данные о событиях происхождения. Конструкция репозитория является подключаемой, при этом по умолчанию используется один или несколько томов физического диска. Данные о событиях в каждом месте индексируются и доступны для поиска.
RT.StreamingNiFi также может работать внутри кластера.
Начиная с версии 1.0, используется парадигма кластеризации с нулевым лидером. Каждая нода в кластере RT.StreamingNiFi выполняет одни и те же задачи с данными, но каждая работает с разным набором данных. Zookeeper выбирает одну ноду в качестве координатора кластера, а аварийное переключение выполняется автоматически с помощью Zookeeper. Все ноды кластера передают координатору кластера heartbeat-сообщения и информацию о состоянии. Координатор кластера отвечает за отключение и подключение нод. Кроме того, в каждом кластере есть одна основная нода, также выбираемая Zookeeper. Как DFM, вы можете взаимодействовать с кластером RT.StreamingNiFi через пользовательский интерфейс любой ноды. Любое вносимое вами изменение реплицируется на все ноды кластера, что позволяет использовать несколько точек входа.