Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
¶ 1. Введение
Для создания кластеров содержащих программное обеспечение входящее в платформы управления данными удобно использовать RT.ClusterManager, содержащий набор необходимых функций для развертывания, управления и мониторинга компонент кластера с помощью визуального интерфейса в режиме «единого окна».
В RT.ClusterManager реализована система плагинов:
- Плагины провайдера (в зависимости от используемого плагина позволяют работать в Публичном облаке или On-Premise);
- Плагины приложений (позволяют создавать кластеры и устанавливать на хосты кластера соответствующие приложению компоненты).
Система плагинов упрощает поддержку версионирования и обновления компонентов программного обеспечения кластеров.
В частности фреймворк для обработки и хранения данных с набором утилит и программ из Hadoop-экосистемы включён в плагин RT.DataLake.
¶ 2. Установка RT.ClusterManager
Минимальный перечень действий, которые нужно выполнить для установки RT.ClusterManager представлен в документе RT.ClusterManager. Быстрый старт.
Более подробно про установку программного обеспечения RT.ClusterManager можно прочитать в документе Инструкция по установке программного обеспечения RT.ClusterManager.
Полный список документации по продукту: RT.ClusterManager.
¶ 3. Создание кластера с помощью плагина RT.DataLake
Перечень действий, которые нужно выполнить для создания кластера с помощью плагина RT.DataLake используя RT.ClusterManager представлен в документе RT.DataLake. Быстрый старт.
¶ 4. Работа с кластером
¶ 4.1 Управление компонентами кластера
После того как выполнена инсталляция компонентов, и вы убедились что компоненты работают, на форме настройки компонента становятся доступны действия над компонентами и сервисами компонентов.
Примечание: Перечень доступных действий зависит от выбранного компонента. Для ряда компонентов доступны действия над сервисами и даже отдельными нодами (хостами) сервисов.
Для запуска действия выберите компонент кластера на форме: “Кластеры → <Наименование выбранного кластера> (вкладка “Общие”)” (см. Рис. 1).
Компоненты кластера находящиеся “в рабочем” состоянии помещаются зелёной галочкой. Компоненты которые по какой-то причине вышли из “рабочего” состояния помечаются красным крестом.
Примечание: Ознакомиться с описанием управление компонентами кластера можно также в п. 8.4.5 документа RT.ClusterMeneger. Руководство администратора.
¶ 4.1.1 Операция “Старт”
Операция выполняет запуск всех сервисов компонента. Операция обычно выполняется после операции “Стоп”
1. Для запуска операции нажмите на кнопку “Старт” в правом верхнем углу формы (см. Рис. 2), начнётся процесс запуска всех сервисов компонента.
При успешном запуске операции, в правом верхнем углу формы кратковременно будет выдано сообщение “Успешно. Действие запущено, ожидайте…”.
На странице со списком компонентов, компонент у которого выполняются какие либо операции помечается круглыми стрелочками (см. Рис. 3).
2. Проверить результаты выполнения операции можно на форме “События”, операция “Start” (см. Рис. 4).
3. Лог выполнения операции можно просмотреть нажав на ссылку “Открыть логи”. Лог операции может содержать несколько логов, выбрать лог для просмотра можно нажав на дату и время лога (см. Рис. 5).
4. Если в результате выполнения операции возникнет ошибка, операцию можно перезапустить нажав на ссылку “Перезапустить” (см. Рис. 6).
¶ 4.1.2 Операция “Стоп”
Операция выполняет останов всех сервисов компонента.
1. Для запуска операции нажмите на кнопку “Стоп” в правом верхнем углу формы, начнётся процесс остановки всех сервисов компонента.
2. Проверить результаты выполнения операции можно на форме “События”, операция “Stop”.
На странице со списком компонентов, компонент после завершения операции будет отображаться со значком паузы (см. Рис. 7).
¶ 4.1.3 Операция “Рестарт”
Операция выполняет перезапуск всех сервисов компонента.
1. Для запуска операции нажмите на кнопку “Рестарт” в правом верхнем углу формы, начнётся процесс перезапуска сервисов компонента.
2. Проверить результаты выполнения операции можно на форме “События”, операция “Restart”.
¶ 4.1.4 Операция “Переконфигурировать”
Операция выполняется когда необходимо чтобы вступили в действия изменения настроек конфигурации.
1. Для запуска операции нажмите на кнопку “…” в правом верхнем углу формы, а затем в открывшемся списке команд выберите “Переконфигурировать” (см. Рис. 7), начнётся процесс выполнения операции.
2. Проверить результаты выполнения операции можно на форме “События”, операция “Configure”.
¶ 4.1.5 Операция “Decommiss_nodes”
Операция выполняется когда необходимо вывести хост из работы, например, для обслуживания или удаления хоста из кластера.
1. Для запуска операции нажмите на кнопку “…” в правом верхнем углу формы, а затем в открывшемся списке команд выберите “Decommiss_nodes”.
Откроется окно “Указать атрибуты для decommiss_nodes” (см. Рис 8.), в поле “decommiss_nodes” введите наименование отключаемой ноды и нажмите кнопку “Запустить” . Начнётся процесс выполнения операции.
2. Проверить результаты выполнения операции можно на форме “События”, операция “decommiss_nodes”.
¶ 4.1.6 Операция “recommiss_nodes”
Операция выполняется когда необходимо ввести хост в работу, например, после завершения обслуживания.
1. Для запуска операции нажмите на кнопку “…” в правом верхнем углу формы, а затем в открывшемся списке команд выберите “recommiss_nodes”.
Откроется окно “Указать атрибуты для recommiss_nodes” (см. Рис 9.), в поле “recommiss_nodes” введите наименование подключаемой ноды и нажмите кнопку “Запустить” . Начнётся процесс выполнения операции.
2. Проверить результаты выполнения операции можно на форме “События”, операция “recommiss_nodes”.
¶ 4.1.7 Операция “start_<наименование сервиса>”
Операция выполняется когда необходимо запустить сервис на заданном хосте.
Например для компонента:
hdfs - возможны следующие варианты:
- start_namenode,
- start_secondsrynamenode,
- start_datanode,
- start_journalnode,
- start_zkfs.
yarn - возможны следующие варианты:
- start_resursmanager,
- start_timelineserver,
- start_historyserver,
- start_nodemanager.
1. Для запуска операции нажмите на кнопку “…” в правом верхнем углу формы, а затем в открывшемся списке команд выберите “start_<наименование сервиса>”.
Откроется окно “Указать атрибуты для hosts” (см. Рис 10.), в поле “hosts” введите наименование ноды, на которой будет выполнятся запуск сервиса и нажмите кнопку “Запустить” . Начнётся процесс выполнения операции.
2. Проверить результаты выполнения операции можно на форме “События”, операция “start_<наименование сервиса>”.
¶ 4.1.8 Операция “stop_<наименование сервиса>”
Операция выполняется когда необходимо остановить сервис на заданном хосте.
Например для компонента:
hdfs - возможны следующие варианты:
- stop_namenode,
- stop_secondsrynamenode,
- stop_datanode,
- stop_journalnode,
- stop_zkfs.
yarn - возможны следующие варианты:
- stop_resursmanager,
- stop_timelineserver,
- stop_historyserver,
- stop_nodemanager.
1. Для запуска операции нажмите на кнопку “…” в правом верхнем углу формы, а затем в открывшемся списке команд выберите “stop_<наименование сервиса>”.
Откроется окно “Указать атрибуты для hosts” (см. Рис 11.), в поле “hosts” введите наименование ноды, на которой будет выполнятся останов сервиса и нажмите кнопку “Запустить” . Начнётся процесс выполнения операции.
2. Проверить результаты выполнения операции можно на форме “События”, операция “stop_<наименование сервиса>”.
¶ 4.1.9 Операция “restart_<наименование сервиса>”
Операция выполняется когда необходимо перезапустит сервис на заданном хосте.
Например для компонента:
hdfs - возможны следующие варианты:
- restart_namenode,
- restart_secondsrynamenode,
- restart_datanode,
- restart_journalnode,
- restart_zkfs.
yarn - возможны следующие варианты:
- restart_resursmanager,
- restart_timelineserver,
- restart_historyserver,
- restart_nodemanager.
1. Для запуска операции нажмите на кнопку “…” в правом верхнем углу формы, а затем в открывшемся списке команд выберите “restart_<наименование сервиса>”.
Откроется окно “Указать атрибуты для hosts” (см. Рис 12.), в поле “hosts” введите наименование ноды, на которой будет выполнятся останов сервиса и нажмите кнопку “Запустить” . Начнётся процесс выполнения операции.
2. Проверить результаты выполнения операции можно на форме “События”, операция “restart_<наименование сервиса>”.
¶ 4.1.10 Операция “maintenance_nodes”
Операция (используется только для компонента hdfs) позволяет избежать ненужной репликации блоков, позволяя коэффициенту репликации блоков быть меньше настроенного уровня.
1. Для запуска операции нажмите на кнопку “…” в правом верхнем углу формы, а затем в открывшемся списке команд выберите “maintenance_nodes”.
Откроется окно “Указать атрибуты для in_maintenance_node” (см. Рис. 13.), в поле “in_maintenance_node” введите наименование подключаемой ноды и нажмите кнопку “Запустить” . Начнётся процесс выполнения операции.
¶ 4.1.10 Операция “un_maintenance_nodes”
Операция "un_maintenance_nodes" отменяет действие операции "maintenance_nodes", запуск операции выполняется аналогично.
¶ 4.2. Переход по ссылке в интерфейс сервиса компонента кластера
Для сервисов которые имеют собственный web-интерфейс в RT.ClusterManager реализована возможность перехода с хоста на котором он установлен в эти интерфейсы (эндпойнты).
Примечание: Переход в собственный интерфейс сервисов из RT.ClusterManager возможен по IP адресу или по доменному имени если настроен DNS. Настройка перехода выполняется с помощью параметра конфигурации кластера endpoints.by_ipv4 (см. документ “Настройка конфигурации кластера RT.DataLake").
Примечание: Ознакомиться с описанием перехода по ссылке в интерфейс сервиса компонента кластера можно также в п. 8.4.6 документа RT.ClusterMeneger. Руководство администратора.
Для того чтобы воспользоваться этой возможностью:
Для запуска действия выберите компонент кластера на форме: “Кластеры → <Наименование выбранного кластера> (вкладка “Общие”)” (см. Рис. 1).
1.На форме “Кластеры → <Наименование выбранного кластера> (вкладка “Общие”)”, выберите нужный компонент кластера, нажав на него.
2. В открывшейся форме, на вкладке “Общие”, слева отобразится список сервисов компонента, ниже названия сервиса хосты на которых он установлен. Выберите сервис нажав на него, справа отобразится общий список хостов и их статус.
3. Если возможен переход в web-интерфейс сервиса, то наименования хостов отображаются как гиперссылки (см. Рис. 14).
4. При нажатии на гиперссылку будет открыто новое окно браузера с web-интерфейсом сервиса (см. Рис. 15).
5. При открытии сервисов может понадобится авторизация, в этом случае откроется соответствующее окно (см. Рис. 16).
5. Введите логин и пароль.
Примеры web-интерфейсов для плагина RT.DataLake представлены в п.3 документа “Процесс установки сервисов на основании плагина RT.DataLake”.