Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
¶ 1. Назначение документа
Настоящий документ включает описание системы «RT.ClusterManager» и её возможностей.
¶ 2. Общие положения
¶ 2.1 Наименование и условное обозначение
Наименование системы: RT.ClusterManager.
¶ 2.2 Область применения
RT.ClusterManager – оркестратор, в котором установка, настройка и обновление кластеров производятся по нажатию кнопки в графическом интерфейсе. При этом все настройки сервисов происходят автоматически.
¶ 2.3 Термины, определения и сокращения
В настоящем документе использованы и определены следующие термины и сокращения:
|
Термин/Сокращение |
Определение |
|---|---|
| Кластер |
Набор служб, работающих на группе хостов. В RT.ClusterManager вы можете создать множество кластеров с различной конфигурацией и распределением компонентов по кластерам. Один кластер допускает только ограниченный набор компонентов. Поэтому, если вы создаете кластер из плагина RT.DataLake, то на него уже не будет возможности установить компонентов из плагина RT.Streaming (необходимо создавать отдельный кластер). |
| Компонент | В данном случае это программное обеспечение, которое выполняет определенные функции. Примеры компонентов: Zookeeper, Hive, Spark, HDFS и так далее. |
| Оркестратор | Сервисное программное обеспечение, установка которого выполняется на отдельный компьютер. Цель использования данной программы – учет и распределение задач исполнения процессов между активными роботами с определёнными параметрами, обеспечение взаимодействия внешних систем с исполнением процесса, а также учет и разграничение прав пользователей системы. |
| ОС | Операционная система |
| Плагин | (англ. plug-in, от plug in «подключать») — независимо компилируемый программный модуль, динамически подключаемый к основной программе и предназначенный для расширения и/или использования её возможностей. |
| Провайдер | В данном случае это абстракция, предоставляющая хосты. Провайдером можно назвать группу, объединяющую собственные хосты для включения в заданный кластер. А также провайдер может включать хосты, предоставляемые в аренду сторонней организацией |
| Сервис | В данном случае это часть компонента. Например, компонент HDFS имеет сервисы: Namenode, Datanode и т.д. Это способ декомпозиции компонентов, применяемой в среде Apache. |
| Система | Система «RT.ClusterManager». |
| Хост | (от англ. Host – «владелец, принимающий гостей») – любое устройство, предоставляющее сервисы формата «клиент-сервер» в режиме сервера по каким-либо интерфейсам и уникально определённое на этих интерфейсах. В более широком смысле под хостом могут понимать любой компьютер, подключённый к локальной или глобальной сети. |
¶ 3. Назначение Системы
¶ 3.1 Вид деятельности, для автоматизации которой предназначена Система
RT.ClusterManager оптимален для упрощения развертывания и управления службами данных локально, а также в частных или общедоступных облаках.
¶ 4. Описание системы
¶ 4.1 Поддерживаемые Системой приложения
В RT.ClusterManager реализована система плагинов для поддержки различных приложений или наборов услуг, для которых создается кластер. Плагины могут быть загружены в систему из Личного Кабинета (входят в состав поставляемого архива) или напрямую из репозитория (см. описание Nexus).
Существуют 2 разновидности плагинов:
- Плагины провайдера;
- Плагины приложений.
¶ 4.1.1 Плагины провайдера
Примеры плагинов провайдера:
- System – плагин, отвечающий за инсталляцию хостов;
- VCD –плагин, отвечающий за создание и инсталляцию хостов на облачной инфраструктуре.
¶ 4.1.2 Плагины приложений
В зависимости от установленных плагинов приложений, с помощью RT.ClusterManager можно создавать кластеры для работы с этими приложениями.
RT.ClusterManager в настоящее время может использовать следующие плагины приложений:
- RT.Streaming;
- RT.Datalake;
- RT.WareHouse;
- RT.WideStore;
- RT.DataGovernance;
- RT.MDM;
- RT.DataVision.
¶ 4.1.2.1 RT.Streaming
Набор инструментов потоковой обработки данных и управления ETL-процессами.
Включается в себя распределенный брокер сообщения Apache Kafka и проект для автоматизации потоков данных Apache NIFI.
Инструмент для эффективного управления процессами изменения, выгрузки и загрузки данных, позволяющий настроить потоковую или пакетную обработку данных из различных источников.
Решает задачи корпоративной шины обмена данными: способен получать и обрабатывать данные из многочисленных внешних систем, хранить их в течение нужного для бизнеса периода времени и возвращать потребителям с удобной для них нагрузкой.
Описание приложения можно найти на сайте Ростелеком.
¶ 4.1.2.2 RT.Datalake
Фреймворк для обработки и хранения данных с набором утилит и программ из Hadoop-экосистемы. Оптимален для организации хранения большого объема неструктурированных и слабоструктурированных данных с недорогой стоимостью.
Мощный и гибкий инструмент для организации эффективного корпоративного хранилища данных.
Отвечает высоким требованиям надежности, доступности и низкой стоимости хранения данных, предназначен для обработки данных любых объемов, основан на базе Apache Hadoop.
Описание приложения можно найти на сайте Ростелеком.
¶ 4.1.2.3 RT.WareHouse
Массивно-параллельная БД для хранения структурированных данных.
Просто горизонтально масштабируется с помощью добавления дополнительных узлов. Надежность хранения за счет резервирования и зеркалирования.
Обеспечивает высокую степень производительности и отказоустойчивости благодаря гибкости горизонтального масштабирования, использованию в ядре продвинутого оптимизатора запросов и адаптации архитектуры для хранения и обработки больших массивов данных.
Описание приложения можно найти на сайте Ростелеком.
¶ 4.1.2.4 RT.WideStore
Аналитическая база данных для эффективной обработки больших набор данных. Высокая скорость выполнения аналитических функций, но урезанная версия языка запросов. Оптимальна для аналитики данных.
Аналитическая колоночная СУБД с открытым кодом для обработки широких датасетов.
Позволяет выполнять аналитические запросы в режиме реального времени на структурированных больших данных, используется для построения BI-решений и визуализации данных.
Описание приложения можно найти на сайте Ростелеком.
¶ 4.1.2.5 RT.DataGovernance
Управление корпоративным глоссарием, описание жизненного цикла данных организации, построение карты данных и единого реестра отчетов в качестве единой точки доступа к корпоративной отчетности.
Инструмент документирования данных.
Предназначен для повышения прозрачности данных и их доступности для бизнес-пользователей. RT.DataGovernance способствует более тесному сотрудничеству бизнес-подразделений и ИТ-специалистов, обеспечивая согласованность их работы.
Описание приложения можно найти на сайте Ростелеком.
¶ 4.1.2.6 RT.MDM
Классический инструмент централизации и контроля целостности (согласованности) нормативно-справочной информации, обеспечения единых процессов гармонизации и ведения справочников.
Обеспечивает полный цикл жизни эталонных мастер-данных, позволяет организовать процессное управление согласованием и утверждением пользователями записей справочников.
Описание приложения можно найти на сайте Ростелеком.
¶ 4.1.2.7 RT.DataVision
RT.DataVision представляет собой современное корпоративное веб-приложение для бизнес-аналитики. Это быстрая, лёгкая, интуитивно понятная платформа, позволяющая пользователям с любым набором навыков легко исследовать и визуализировать свои данные, от простых круговых графиков до высокодетализированных геопространственных диаграмм deck.gl.
Описание приложения можно найти на сайте Ростелеком.
¶ 4.2 Поддерживаемые облачные технологии
Для работы с облаками RT.ClusterManager использует специальный плагин VCD. Плагин поддерживает работу с облаками, управляемыми Vmware Vcloud Director с помощью технологии Terraform.
Terraform позволяет создавать облачную инфраструктуру с помощью конфигурационных файлов, в которых указываются требуемые ресурсы и их параметры.
¶ 4.3 Работа с инфраструктурой
Функциональность инфраструктуры:
- Развертывание / удаление виртуальных машин;
- Развертывание физических хостов;
- Подготовка хостов;
- Создание / удаление кластеров;
- Мониторинг состояния машин и сервисов приложений;
- Управление пользователями;
- Разграничение доступа.
¶ 4.4 Предварительные требования для установки
RT.ClusterManager устанавливается с использованием пакета Docker в вашей операционной системе.
¶ 4.4.1 Требования к ОС
Для установки Docker вам потребуется поддерживаемые версии следующих операционных систем:
- Centos 7,
- Redos 7.2/Redos7.3,
- RHEL 7,
- Ubuntu 20.04.
¶ 4.4.2 Требования к оборудованию
Минимальные требования к оборудованию для установки RT.ClusterManager и кластеров, развертываемых с его помощью представлены в таблице ниже.
|
Тип сервера |
Количество ядер центрального процессора |
Оперативная память |
Объем памяти на жестком диске |
|---|---|---|---|
| CM-server |
4 ядра |
8 Гб. |
120 Гб. |
| Master-node |
4 ядра |
16 Гб. |
120 Гб. |
| Slave-node |
5 ядер |
8 Гб. |
120 Гб. |
| Kerberos-server |
1 ядро |
2 Гб. |
40 Гб. |
В базовой конфигурации кластеров используется:
- CM-server – 1 шт. (Сервер на который непосредственно устанавливается программное обеспечение RT.ClusterManager);
- Master-node – 1-2 шт. (минимум 2 в режиме отказоустойчивости);
- Slave-node – 3 шт.;
- Kerberos-server – 1 шт., используется при включении «Керберизации» при создании кластеров (см. п.8.2.2 документа “RT.ClusterManager.Руководство администратора”).
Примечание: Для некоторых типов кластеров разбиение хостов на Master-node и Slave-node не используется. В частности, для серверов создаваемых с помощью плагина RT.Widestore используются хосты со следующей минимальной конфигурацией: ядер центрального процессора-4, ОЗУ-8Gb, HDD-120Gb.
¶ 4.5 Структура и назначение частей
Схема взаимодействия объектной модели и программного обеспечения RT.ClusterManager представлена на Рис. 1.
За создание и управление кластерами и сервисами отвечает Кластерный пакет, входящий в программное обеспечение RT.ClusterManager (на схеме помечены синим цветом).
За выполнение операций по настройке и мониторингу хостов и программного обеспечения компонентов отвечает инфраструктурный пакет программного обеспечения RT.ClusterManager (на схеме помечены зеленым цветом).
Плагины приложений обеспечивают возможность Системы расширять количество приложений или наборов услуг, для которых можно создавать кластеры.
Провайдер, объединяет в группу все хосты, используемые для конкретного кластера.
Кроме этого в состав программного обеспечения RT.ClusterManager входят функции поддержки ролевой модели разграничения доступа, мониторинга событий и хранения их логов для каждого кластера.
Объектами настройки, управления и мониторинга RT.ClusterManager являются:
- Кластеры;
- Сервисы;
- Компоненты;
- Провайдеры.
¶ 4.5.1 Объекты
При создании кластера должен быть выбран плагин, соответствующий необходимому приложению.
Плагин приложения или набора услуг с помощью которого создавался кластер включает набор от одного до нескольких компонентов, обеспечивающих работу данного кластера.
Компонент – это программное обеспечение, которое может содержать от одного до нескольких программных сервисов обеспечивающих работу данного компонента.
В свою очередь сервисы должны быть связаны с виртуальными или аппаратными хостами, на которых должно выполнятся программное обеспечение сервисов. В Системе, при помощи дополнительного системного плагина, реализована поддержка использования облачных хостов от различных провайдеров, которые также можно связывать с сервисами (см. п. 4.2).
Перед использованием хостов, в Системе создаётся провайдер, в который включаются все хосты, которые в дальнейшем будут использоваться для работы кластера. В системе нельзя использовать в одном кластере хосты, принадлежащие различным провайдерам. Но при этом, не существует ограничений для использования одного и того же провайдера в нескольких кластерах, созданных плагинами различных приложений (например, установка кластеров RT.Streaming и RT.DataLake на одни и те же хосты провайдера).
¶ 4.5.2 Структура программного обеспечения
RT.ClusterManager работает как web-приложение функционально состоящее из следующих частей:
- Frontend (фронтенд или клиентская часть RT.ClusterManager) выполняется в браузере пользователя.
- Backend (бэкенд или серверная часть RT.ClusterManager) работает на удаленном компьютере, который может находиться где угодно.
Серверная часть RT.ClusterManager состоит из программных пакетов (кластерного и инфраструктурного) которые и обеспечиваю его необходимую функциональность.
В RT.ClusterManager реализована поддержка плагинов приложений, которые содержат структуру, взаимосвязи и систему настроек для заданного типа создаваемых с помощью него кластеров.
RT.ClusterManager также использует системный плагин провайдера, который используется для обеспечения взаимосвязи хостов и сервисов кластеров, создаваемых с помощью кластерных плагинов. Участвует в создании провайдера.
Поддержка версионности плагинов обеспечивает параллельную работу кластеров созданных с помощью плагинов одного типа, но разных версий.