Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
В данном документе содержится последовательность действий для создания и запуска в работу кластера на основании плагина RT.DataLake в RT.ClusterManager с примером.
1. Определите конфигурацию хостов для установки RT.ClusterManager и создания кластера. Имя хоста должно соответствовать его назначению.
Примечание: При заведении хостов используйте полные имена вместе с доменом (FQDN)
Пример конфигурации:
Имя хоста |
ОЗУ |
Количество ядер центрального процессора |
Объем HD |
Примечание |
rt-cm.corp.local | 8 Gb | 4 ядра | 120 Gb | Хост для RT.ClusterManager |
rt-dc.corp.local | 2 Gb | 1 ядро | 40 Gb | Хост для Kerberos-server |
rt-dl-m1.corp.local | 16 Gb | 8 ядер | 120 Gb | Хост master-node1 для кластера RT.DataLake |
rt-dl-m2.corp.local | 16 Gb | 8 ядер | 120 Gb | Хост master-node2 для кластера RT.DataLake |
rt-dl-s1.corp.local | 8 Gb | 4 ядра | 1 Tb | Хост slave-node1 для кластера RT.DataLake |
rt-dl-s2.corp.local | 8 Gb | 4 ядра | 1 Tb | Хост slave-node2 для кластера RT.DataLake |
rt-dl-s2.corp.local | 8 Gb | 4 ядра | 1 Tb | Хост slave-node3 для кластера RT.DataLake |
Примечание: Объем дисков на slave-node зависит от желаемого объема хранения
Рекомендации по размерам разделов дисков (для on-premise установок) представлены в документе “Рекомендации по разбиению дисков для хостов”
Примечание: Необходимое количество ядер и ОЗУ может варьироваться от количества установленных компонент и роста нагрузки. За более точным расчетом, обратитесь в техническую поддержку.
2. Для on-premise установок выполните подготовку хостов, установку программного обеспечения RT.ClusterManager, первичный вход в RT.ClusterManager и создание “главного” пользователя как описано в документе «Инструкция по установке программного обеспечения RT.ClusterManager», в частности:
а) В случае необходимости выполните настройку локального репозитория (см. п.2.2 указанного документа).
б) Выполните подготовку хостов, создайте пользователя ansible, сгенерируйте и разместите на хосты ключ шифрования (см. п.2.3 указанного документа).
в) Выполните установку RT.ClusterManager (см. п.3 указанного документа) на хост rt-cm.corp.local, в том числе создание пользователя RT.ClusterManager с ролью суперадминистратор.
3. Если вы используете Kerberos-server (для on-premise установок), который представлен во второй строке примера (хост с именем rt-dc.corp.local), необходимо выполнить его инсталляцию. В настоящее время возможны 2 варианта его реализации:
4. Выполните предварительные и основные действия по созданию кластера, его компонентов , их настройке и инсталляции их программного обеспечения, описанные в документе «RT.ClusterManager. Руководство администратора», в частности:
а) Загрузите плагины RT.System и RT.DataLake (см. п. 7.1 указанного документа) - плагины находится внутри полученного архива из Ростелеком.
б) Добавьте приватные ключи от пользователя ansible, название можно указать например “DataLake” (для on-premise установок см. п. 11.1 указанного документа).
Значение ключа можно получить в терминале Linux хоста командой:
cat /home/ansible/.ssh/id_rsa
в) Добавьте провайдер:
Если хосты On-Premise:
То в соответствии с п.7.2.2 указанного документа.
Для добавления хостов в провайдер, удобно воспользоваться файлом hosts.json – см. п. 7.2.2.1 указанного документа.
Пример содержания файла (где ansible_ssh_private_key_file – это имя ключа созданного на шаге 4.б, названия хостов соответствуют названию из примера шага 1) :
{
"rt-dl-m1.corp.local" : null,
"rt-dl-m2.corp.local" : null,
"rt-dl-s1.corp.local" : null,
"rt-dl-s2.corp.local" : null,
"rt-dl-s3.corp.local" : null,
"default": {
"ansible_user" : "ansible",
"ansible_ssh_private_key_file" : "DataLake"
}
}
Выполните валидацию появившихся после загрузки файла hosts.json хостов как указано в инструкции (см. шаг 10, п. 7.2.2 указанного документа).
Если хосты облачные - Публичное облако:
то в соответствии с п.7.2.3 указанного документа.
г) Получите и активируйте лицензию на основании цифрового отпечатка сервера RT.ClusterManager (см. п. 5.2 указанного документа).
д) Добавьте кластер с помощью плагина RT.DataLake (см. п. 8.1 указанного документа), если используете Kerberos-server, не забудьте включить соответствующий переключатель в окне создания кластера.
е) Если вы используете Kerberos-server, проверьте правильно ли установлен переключатель вариантов Kerberos-server, для чего во вкладке «Конфигурация» (см. п. 8.2 указанного документа), в правом окне выберите вкладку «kerberos», параметр repos.kdc_type по умолчанию = active_directory. Настройте другие параметры вкладки «kerberos» в соответствии с настройками вашего Kerberos-server (Назначение параметров указано в п. 8.2.2 указанного документа). Если в качестве Kerberos-server вы используете FreeIPA то выполните настройки как указано в документе “Использование FreeIPA в качестве контроллера домена”.
ж) Если при установке использовался локальный репозиторий то необходимо поменять адреса репозитория (см. п. 8.2.1 указанного документа), для чего войдите в созданный кластер, во вкладке «Конфигурация», в правом окне выберите вкладку «repos». Адреса репозитория нужно указать в следующем формате:
http://полный_адрес_машины_с_репозиторием:порт/название_репозиториев.
Примечание: При использовании для установки кластера операционной системы “РЕД ОС” во вкладке «Конфигурация» созданного кластера, на вкладке «repos» переменные:
- rt-redos-os-repo,
- rt-redos-updates-repo,
- rt-redos-kernels-repo,
по умолчанию, ссылаются на аналогичные переменные в docker-compose.yml, которые ведут на официальные репозитории REDOS7.3 certified:
- http://repo.red-soft.ru/redos/7.3c/x86_64/os/
- http://repo.red-soft.ru/redos/7.3c/x86_64/updates/
- http://repo.red-soft.ru/redos/7.3c/x86_64/kernels/
при использовании локального репозитория необходимо создать зеркала данных репозиториев и и указать путь к ним в переменных на вкладке «repos».
Используется начиная с плагина версии 322.4.0.0, 300.4.0.0.
з) Определитесь со списком компонентов вашего кластера, создайте компоненты кластера (см. п. 8.4.1 указанного документа), в соответствии с п. 2 документа “Процесс установки компонентов на основании плагина RT.DataLake”.
Примечание: Есть возможность вместо компонента “postgres” подключить внешнюю СУБД Postgres не входящую в созданный кластер. Настройки которые в этом случае необходимо произвести описаны в документе “Подключение к кластеру, создаваемому с использованием плагина RT.DataLake внешней СУБД Postgres”. Эти настройки должны быть выполнены до шага 4.к.
и) Добавьте хосты для компонентов (см. п. 8.4.2 указанного документа), в соответствии с п. 2 документа “Процесс установки компонентов на основании плагина RT.DataLake”.
к) Инсталлируйте программное обеспечение компонентов на хосты (см. п. 8.4.4 указанного документа).
л) Проверку работы компонентов после успешной их инсталляции можно выполнить как указано в п. 3 документа “Процесс установки компонентов на основании плагина RT.DataLake”.
Примечание: Компонент ranger можно включать и отключать после его инсталляции, для чего:
- Перейдите в «Кластеры» -> «выбранный кластер» -> «ranger» -> «Конфигурация» -> «вкладка ranger_plugin».
- Для параметра «enabled» нажмите соответственно кнопку «True» или «False» для включения или отключения компонента.
3. Нажмите действие «Переконфигурировать» в правом верхнем углу формы компонента ranger.
Примечание: При необходимости изменить значение параметров dfs.namenode.name.dir и dfs.datanode.data.dir (в конфигурации компонента hdfs, вкладка hdfs-site), изменение должно выполняться для всех хостов связанных с компонентом.
Примечание: Действия, описанные в шаге 4 можно также выполнить с помощью Wizard, как указано в п.6 документа «RT.ClusterManager. Руководство администратора».