Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
¶ 1. Введение
¶ 1.1 Наименование и условное обозначение
Наименование системы: RT.ClusterManager.
¶ 1.2 Область применения
RT.ClusterManager – оркестратор, в котором установка, настройка и обновление кластеров производятся по нажатию кнопки в графическом интерфейсе. В результате пользователи получают стек мониторинга, готовый к интеграции с корпоративными системами.
¶ 1.3 Назначение документа
Документ “Руководство пользователя” по RT.ClusterManager содержит описание подмножества функций визуального интерфейса RT.ClusterManager для работы с кластерами ограниченных ролью “Пользователь”. Полное описание всех функций, в том числе используемая ролевая модель представлено в документе “Руководство Администратора”.
¶ 1.4 Термины, определения и сокращения
В настоящем документе использованы и определены следующие термины и сокращения:
|
Термин/Сокращение |
Определение |
| Кластер | Набор служб, работающих на группе хостов. В RT.ClusterManager вы можете создать множество кластеров с различной конфигурацией и распределением компонентов по кластерам. |
| Компонент | Компонент – это программное обеспечение, входящее в комплект заданного типа кластера, которое выполняет определенные функции. |
| Оркестратор | Сервисное программное обеспечение, установка которого выполняется на отдельный компьютер. Цель использования данной программы – учет и распределение задач исполнения процессов между активными роботами с определёнными параметрами, обеспечение взаимодействия внешних систем с исполнением процесса, а также учет и разграничение прав пользователей системы. |
| ОС | Операционная система |
| Плагин | (англ. plug-in, от plug in «подключать») — независимо компилируемый программный модуль, динамически подключаемый к основной программе и предназначенный для расширения и/или использования её возможностей. |
| Провайдер | В данном случае это абстракция, предоставляющая хосты. Провайдером можно назвать группу, объединяющую собственные хосты для включения в заданный кластер. А также провайдер может включать хосты, предоставляемые в аренду сторонней организацией. |
| Сервис | Сервис – это часть компонента. Это способ декомпозиции компонентов, применяемой в среде Apache. |
| Система | Система «RT.ClusterManager». |
| Хост | (от англ. Host – «владелец, принимающий гостей») – любое устройство, предоставляющее сервисы формата «клиент-сервер» в режиме сервера по каким-либо интерфейсам и уникально определённое на этих интерфейсах. В более широком смысле под хостом могут понимать любой компьютер, подключённый к локальной или глобальной сети. |
¶ 1.5 Краткое описание возможностей
Полностью установленный RT.ClusterManager предоставляет следующие возможности:
- Развертывание виртуальных и физических машин и объединение их в рамках провайдера для использования в составе кластера.
- Использование системных плагинов и плагинов приложений для гибкой системы обновления программного обеспечения хостов и кластеров.
- Создание кластеров с заданным программным обеспечением и поддерживаемыми платформами, удаление кластера.
- Возможность использование кеберизации кластера.
- Создание компонентов кластера, привязка хостов к сервисам, инсталляция программного обеспечения сервисов на хосты.
- Удобная система просмотра и изменения конфигурации кластеров, компонентов, сервисов и самого RT.ClusterManager.
- Просмотр событий и логов по каждому кластеру.
- Возможность контроля наиболее важных параметров кластера в виде графиков с использованием метрик.
- Система оповещения пользователей с помощью уведомлений.
- Логирование действий пользователей Системы.
- Создание пользователей, изменение профиля пользователя, поддержка ролевой модели системы разграничения доступа к функциям RT.ClusterManager, аутентификации пользователей.
¶ 1.6 Требования к квалификации
В качестве пользователей Системы выступают администраторы, отвечающие за развертывание кластеров, обеспечивающих работу заданного приложения, состоящих из фиксированного набора компонентов и выполняющие мониторинг их функционирования, их перенастройку.
Администраторы Системы должен иметь навыки работы со следующими продуктами:
- Опыт развертывания и администрирования информационных платформ и компонентов на базе Linux.
- Опыт администрирования веб-серверов (Nginx, Apache web server и подобных).
- Знание сетевых технологий и опыт реализации ключевых сетевых сервисов в распределенных информационных системах.
- Знание и опыт работы с системами контейнеризации.
- Опыт внедрения и использования систем мониторинга вычислительных ресурсов на открытых платформах (Prometheus, Grafana и подобных).
Пользователи Системы должны иметь опыт администрирования кластеров.
¶ 2. Подготовка к работе
¶ 2.1 Требования к доступам
Пользователь Системы должен иметь в Системе учетную запись с ролью, соответствующей его функциональным обязанностям.
¶ 2.2 Порядок проверки работоспособности
Первичная проверка работоспособности компонентов системы заключается в авторизации в Системе под учетной записью пользователя.
¶ 3 Основные положения
Приложение RT.ClusterManager это решение, которое упрощает развертывание и управление службами данных локально, в частных или общедоступных облаках.
Объектная модель RT.ClusterManager представлена на Рис. 1.
¶ 3.1 Хост
В данном случае хост – это компьютер, предоставляющий сервисы «клиент-сервер» (клиент-серверная сетевая архитектура) в качестве сервера. Хост может быть размещён в сети предприятия или в облаке. Хост может быть реальным (аппаратным, физическим) или быть виртуальным (когда на одном физическом сервере при помощи специального программного обеспечения размещаются два и более серверов). Хост может быть включен в кластер, в этом случае на него размещается программное обеспечение компонента одного из сервисов кластера.
¶ 3.2 Провайдер
Провайдер – в данном случае это абстракция, предоставляющая хосты. Провайдером можно назвать группу, объединяющую собственные хосты для включения в заданный кластер. А также провайдер может включать хосты, предоставляемые в аренду сторонней организацией
Например, у вас есть учетная запись Google Cloud. Далее с помощью этой записи создается необходимое количество хостов. Затем в RT.ClusterManager создаем провайдера и подключаем к нему созданные хосты.
¶ 3.3 Компонент
Компонент – это программное обеспечение, которое выполняет определенные функции в кластере. Компоненты кластера размещаются на хостах. В зависимости от функциональных возможностей компонента, RT.ClusterManager предоставляет возможность выполнять различные действия с компонентом, например “Старт”, “Стоп”, “Рестарт” и другие.
Примечание: Для выполнения действий с компонентами, изменение настроек кластеров, создания к и удаление кластеров необходима роль “Администратор”, описание этих действий представлено в документе Руководство администратора.
Примеры компонентов кластеров созданных с помощью плагинов:
- RT.DataLake: Zookeeper, HDFS, YARN, PostgreSQL, Hive, HBase, Spark и так далее.
- RT.Streaming: Zookeeper, Kafka, Nifi.
- RT.WideStore: ch, Zookeeper.
- RT.WareHouse: GP, PXF.
¶ 3.4 Сервис
Сервис – это часть компонента.
Например, при использовании плагина RT.DataLake компонент HDFS (при отключенной высокой доступности) имеет сервисы: Namenode, Secondarynamenode, Datanode, Client. Это способ декомпозиции компонентов, применяемой в среде Apache.
Для некоторых сервисов входящих в заданные компоненты возможны действий на уровне сервисов, например для кластеров созданных с помощью плагина RT.DataLake такими компонентами являются HDFS и YARN.
¶ 3.5 Кластер
Кластер – это набор служб, работающих на группе хостов. В RT.ClusterManager вы можете создать множество кластеров с различной конфигурацией и распределением компонентов по кластерам.
Один кластер допускает только ограниченный набор компонентов. Поэтому, если вы создаете кластер из плагина RT.DataLake, то на него уже не будет возможности установить компонентов из плагина RT.Streaming (необходимо создавать отдельный кластер).
¶ 4. Описание интерфейса RT.ClusterManager
¶ 4.1 Запуск Системы
Внимание: В связи с требованиям по информационной безопасности, при авторизации в Системе реализован счётчик попыток входа с неправильным паролем. После 3-х попыток авторизации с неправильным паролем учётная запись блокируется. Для разблокировки учётной записи пользователя обратитесь к администратору. После успешной авторизации счётчик сбрасывается.
Для запуска Системы необходимо в браузере в адресной строке набрать сетевое имя устройства (hostname FQDN), соответствующее её размещению. В открывшемся окне введите адрес электронной почты и пароль, а затем нажмите кнопку “Войти” (см. Рис. 2).
После выполнения авторизации откроется одна из основных форм в зависимости от того какие роли назначены пользователю, прошедшему авторизацию.
Если настроена LDAP авторизация
В случае если в RT.ClusterManager настроена LDAP авторизация, то в окне авторизации появится вкладка LDAP (см. Рис. 3). Для авторизации в этой вкладке введите “Логин” и “Пароль” и нажмите кнопку “Войти”.
Настройку авторизации LDAP выполняет администратор изменяя настройки в конфигурационном файле.
¶ 4.2 Меню пользователя
При нажатии на аватар пользователя, расположенный в правом верхнем углу формы (см. Рис. 4) откроется меню пользователя.
Меню пользователя содержит следующие пункты:
- Учетная запись – можно увидеть адрес электронной почты и телефон.
- Лицензии – Цифровой отпечаток сервера RT.ClusterManager и добавленные лицензии (см. п. 5).
- Изменение пароля – форма содержит поля для изменения пароля пользователя.
- Настройка уведомлений – можно увидеть список уведомлений назначенных пользователю, в соответствии с назначенной ролью. Можно настроить один из вариантов их получения.
- Выйти из аккаунта – Закрытие сессии пользователя.
¶ 4.2.1 Учетная запись
1. Если в меню пользователя выбрать пункт “Учетная запись”, с правой стороны формы откроется окно “Учетная запись”.
2. При входе в меню пользователя предоставляется возможность загрузки картинки для отображения аватара пользователя (см. Рис. 5). Для вызова диалога загрузки картинки нажмите на значок карандаша в левой верхней части окна.
Примечание: Здесь и далее представлен полный доступ к функциям Системы, но для конкретного пользователя, в зависимости от ролей которые были ему предоставлены, могут отсутствовать либо быть заблокированы формы, кнопки, данные.
¶ 4.2.2 Изменение пароля
1. Для изменения пароля пользователя, выберите в меню пользователя или на форме “Мой профиль” пункт “Изменение пароля”, в правой части окна откроется форма изменения пароля (см. Рис. 6).
2. Для изменения пароля пользователя заполните поля: “Старый пароль”, “Новый пароль”, “Повторите новый пароль” и нажмите кнопку “Сохранить”. Пароль будет изменен.
¶ 4.2.3 Настройка уведомлений
1. Для настройки уведомлений, выберите в меню пользователя или на форме “Мой профиль” пункт “Настройка уведомлений”, в правой части окна откроется форма “Настройка уведомлений (см. Рис. 7).
¶ 4.3 Навигация по формам, возврат к “родительской” форме
Для навигации по формам Системы используется технология “Хлебных крошек” (breadcrumbs).
При навигации по дочерним формам в верхней части окна отображается путь к заданному дочернему окну, при необходимости возврата к "родительской” форме нажмите на название родительской формы в списке.
¶ 4.4. Справка
Если на панели управления RT.ClusterManager, расположенной с левой стороны выбрать пункт “Справка”, откроется соответствующая форма (см. Рис. 8).
На форме отображается номер версии RT.ClusterManager и ссылка на документ “Документация по продуктам” размещённый в wiki.js содержащий ссылки на актуальные документы платформы управления данными.
Примечание: Для роли “Пользователь” отключен доступ к пунктам “Ключи” и “Настройки” на левой панели.
¶ 5. Провайдеры
Для того чтобы компоненты создаваемых кластеров могли использовать выделяемые им для работы серверы (хосты), должен быть создан провайдер.
Для каждого кластера, при создании выбирается единственный провайдер.
Сервисы входящие в состав компонентов устанавливаются на хосты, описанные/заданные в провайдере.
¶ 5.1 Просмотр списка провайдеров
1. На панели управления RT.ClusterManager, расположенной с левой стороны, выберите пункт “Провайдеры”, будет открыта форма “Провайдеры” (см. Рис. 9).
¶ 5.2 Просмотр данных по провайдеру
Чтобы просмотреть данные по провайдеру, на форме “Провайдеры” нажмите на его наименование в списке, откроется форма описания по выбранному провайдеру с четырьмя вкладками: Общие, Конфигурация, События, Консоль (см. Рис. 10). В левой части формы на вкладке “Общие” будет отображен список хостов у данного провайдера и их статус, в правой части формы общая информация о данном провайдере.
¶ 5.3 Просмотр параметров конфигурации провайдера
1. Чтобы просмотреть конфигурационные данные по какому либо хосту, нажмите на его наименование в списке хостов, откроется форма “Конфигурация” по выбранному хосту (см. Рис. 11).
Примечание: при нажатии на символ “i” расположенный справа от поля с параметром, можно просмотреть назначение данного параметра.
¶ 5.4 Просмотр событий по провайдеру
События по выбранному провайдеру можно просмотреть если на форме просмотра данных по выбранному провайдеру перейти на вкладку “События” (см. Рис. 12).
¶ 5.4.1 Просмотр логов по выбранному событию провайдера
Если необходимо просмотреть логи по событию, нажмите на кнопку “Открыть логи” в поле “Действия”. Откроется лог по выбранному событию (см. Рис. 13). Чтобы увидеть лог полностью пользуйтесь скролингом.
¶ 5.5 Консоль
При выполнении достаточно длительных операций с провайдером, таких например как “Валидация”, ход выполнения операции можно наблюдать на вкладке “Консоль”. После завершения операции окно на вкладке “Консоль” автоматически очищается.
¶ 6. Плагины
¶ 6.1 Загрузка плагинов
Перед созданием с помощью RT.ClusterManager кластеров заданного типа необходимо загрузить плагины. Именно плагин определяет набор компонентов, составляющих кластер заданного типа. Системные плагины необходимы для создания провайдеров и работы с облачной инфраструктурой.
Примечание: Операция по загрузке системного плагина может быть выполнена в окне создания провайдера, операция по загрузке соответствующего плагина приложения может быть выполнена в окне создания кластера.
Для загрузки плагинов необходимо:
1. На панели управления RT.ClusterManager, расположенной с левой стороны, выберите пункт “Плагины” (см. Рис. 14).
2. На открывшейся форме «Плагины» нажмите на кнопку «+» расположенную в правом верхнем углу открывшейся формы, откроется окно “Добавить плагин” (см. Рис. 15).
3. Выберите архив с плагинами на диске (см. Рис. 16). Необходимо обязательно добавить плагин: System, которому соответствует файл: RT.System.tar.gz, из комплекта поставки Системы (архив RT.ClusterManager_номер_версии.tar.gz). Имена плагинов изменять запрещено.
Плагин System - первый, основной плагин и используется для создания провайдеров, валидации хостов и т.д.
Остальные плагины, как например, Datalake и Streaming используются для создания кластеров.
4. После загрузки необходимые плагины появятся в списке плагинов (см. Рис. 17).
¶ 7. Кластеры
Форма вызывается при нажатии на пункт «Кластеры» на левой панели RT.ClusterMansger.
На форме «Кластеры» отображается список существующих кластеров (см. Рис. 18).
При большом количестве кластеров, для поиска кластера по его наименованию можно воспользоваться строкой поиска, расположенной в верхней части формы.
¶ 7.1 Просмотр данных по выбранному кластеру
При нажатии на наименование кластера в списке кластеров откроется форма на которой можно просмотреть данные по выбранному кластеру, вкладка “Общие” (см. Рис. 19).
В левой части формы, на вкладке “Общие” размещены компоненты добавленные в кластер. Для кластера у которого ещё не были добавлены компоненты, в данной области будет пусто.
В правой части формы, на вкладке “Общие” отображается общая информация по кластеру.
Кроме вкладки “Общие”, форма просмотра и редактирования данных по выбранному кластеру содержит следующие вкладки:
- Конфигурация – вкладка в свою очередь содержит вкладки (java, Idap_conf, repos, haproxi, cm, kerberos, pki) на которых задаются значения соответствующих им параметров.
- Метрики – в графическом виде отображается изменение контролируемых параметров за заданный интервал времени, кроме того имеется возможность создания метрик, которые позволят отражать хронологию их изменения на одной из осей графика.
- События – отображает список событий и логов по ним для текущего кластера.
- Консоль – форма содержит консоль по данному кластеру.
¶ 7.1.2 Настройка параметров компонентов
1. При создании компонентов кластера, для каждого из них автоматически создаются свои параметры конфигурации. Настройки параметров компонента сохраняются в соответствующих конфигурационных файлах.
2. Для просмотра сервисов компонента, необходимо на форме просмотра и редактирования данных по выбранному кластеру, на вкладке “Общие”, нажмите на наименование компонента. Откроется форма, в левой части содержащая список сервисов выбранного компонента и на каких хостах установлены эти сервисы, в правой части будет отображен полный список хостов провайдера (см. Рис. 20).
3. Для просмотра конфигурационных файлов компонента, перейдите на вкладку “Конфигурация” (см. Рис. 21).
Примечание: при наведении на символ “i” расположенный справа от поля с параметром (там где он есть) , можно просмотреть назначение данного параметра.
¶ 7.2 Конфигурация кластера
1. Форма конфигурация кластера вызывается, если на форме просмотра данных по выбранному кластеру (см. Рис. 19), нажать на вкладку “Конфигурация” (см. Рис. 22).
2. Параметры конфигурации автоматически создаются при создании кластера в виде набора конфигурационных файлов которым соответствуют вкладки формы. При необходимости параметры конфигурации какого либо из конфигурационных файлов могут быть изменены администратором.
¶ 7.3 Метрики
Для компонентов кластера предусмотрен набор основных контролируемых показателей, динамика изменений по которым выводится в графическом виде на форме Метрики.
1. Форма метрики вызывается, если на форме просмотра и редактирования данных по выбранному кластеру, нажать на вкладку “Метрики” (см. Рис. 23).
2. Для выбора компонента по которому необходимо просмотреть динамику изменений показателей, нажмите на галочку в поле “Компонент”, расположенного в верхней части формы и выберите из списка нужный. Будут выведены графики изменения показателей по данному компоненту.
Для анализа загрузки хостов удобно пользоваться графиками из серии *_node_exporter:
- Load_AVG_node_exporter - средняя загрузка, вычисляется как длина очереди выполнения в операционной системе, где единица означает, что очередь для одного ядра заполнена, а значение выше единицы — что есть процессы, которые ожидают своей очереди на выполнение (в случае многоядерных систем, значение данной метрики > количества ядер свидетельствует о наличии процессов, ожидающих своей очереди),
- Mem_free_node_exporter - обозначает объем свободной памяти, оставшийся в системе, не включая кэши и буферы, которые можно очистить,
- Disk_IO_node_exporter - общая нагрузка ввода-вывода на ноды,
- Disk_Free_node_exporter - свободное место на диске,
- Proc_runing_node_exporter - количество запущенных процессов.
Например для кластеров созданных на базе плагина RT.DataLake, чтобы их увидеть выберите в верхней части формы компоненту hdfs, для того чтобы увидеть эти графики прокрутите список графиков к нижней части списка (см. Рис. 24) .
Примечание: Для продуктивных кластеров созданных с помощью плагина отличного от RT.DataLake также имеются компоненты, для которых реализованы графики серии *_node_exporter.
3. Для изменения диапазона (отображаемый диапазон времени на графике) изменения показателей, нажмите на галочку в поле “Диапазон”, расположенного в верхней части формы и выберите из списка нужный. Будут изменены временные диапазоны изменения показателей по данному компоненту.
4. Для изменения интервала (через какой интервал выполняется измерение показателя) изменения показателей, нажмите на галочку в поле “Интервал”, расположенного в верхней части формы и выберите из списка нужный. Будут изменены интервалы изменения показателей по данному компоненту.
¶ 7.4 События и логи
1. Форма просмотра событий по выбранному кластеру вызывается, если на форме просмотра и редактирования данных (см. Рис. 19), нажать на вкладку “События” (см. Рис. 25). На форме события отсортированы по дате по убыванию (т.е. последнее события находится в начале списка). Для просмотра более старых событий используйте полосу скролинга в правой части формы.
2. Чтобы просмотреть логи по выбранному событию нажмите на надпись “Открыть логи”, откроется окно с логами по данному событию (см. Рис. 26). Лог может быть скопирован с помощью кнопки “Копировать”, расположенной в правом верхнем углу окна, для последующей вставки в куда либо. Для возврата к списку событий нажмите на кнопку “Закрыть” в нижней части окна.
3. В правом верхнем углу расположена копка выбора операций по выбранному действию. Выбирая операцию можно просмотреть относящиеся в ней логи (см. Рис.26).
4. Если в столбце “Состояние” статус события “Ошибка” и причины ошибки были исправлены, можно выполнить операцию по которой формировалось событие повторно нажав на надпись “Перезапустить” в столбце “Действия”. В результате должна появится новая строка с событием отражающим результат выполнения операции.
¶ 7.5 Консоль
При выполнении достаточно длительных операций с кластером, ход выполнения операции можно наблюдать на вкладке “Консоль”. После завершения операции окно на вкладке “Консоль” автоматически очищается.