Важно: Данный раздел актуален для Платформы данных On-Premise.
¶ 1. Введение
В данном документе содержится последовательность действий для создания и запуска в работу кластера на основании плагина RT.DataLakeSecurity в RT.ClusterManager с примером.
RT.ClusterManager здесь выступает как инструмент управления кластерными решениями хранения и обработки данных, который позволяет эффективно создавать кластера с помощью плагинов, управлять состоянием и конфигурациями компонентов, осуществлять полный мониторинг кластеров, управлять пользователями и правами доступа к данным.
Кластер создаваемый с помощью плагина RT.DataLakeSecurity представляет собой подсистему безопасности для кластера создаваемого с помощью плагина RT.DataLake. Плагин RT.DataLake позволяет создать эффективное корпоративное хранилище данных основанное на базе Apache Hadoop.
Для реализации полноценной системы корпоративного хранилища с компонентом безопасности необходимо:
- В интерфейсе RT.ClusterManager создайте кластер используя плагин RT.DataLakeSecurity. Последовательность действий представлена в п. 2 этого документа.
- В интерфейсе RT.ClusterManager создайте кластер используя плагин RT.DataLake. Последовательность действий представлена в документе “RT.DataLake. Быстрый старт”.
Примечание: В последовательности действий п. 2 текущего документа и в документе “RT.DataLake. Быстрый старт” содержатся действия по подготовке хоста и установке RT.ClusterManager, эти действия необходимо выполнить только 1 раз, соответственно и выделение хоста для RT.ClusterManager в примерах выполняется только 1 раз. Последовательность создания кластеров с помощью плагинов RT.DataLakeSecurity и RT.DataLake (шаг 1 и шаг 2) не важна.
3. Свяжите оба кластера, созданных на шаге 1 и шаге 2, используя механизм линковки, как указано в п. 8.8 документа “RT.ClusterManager. Руководство администратора". Ведущим кластером (от которого создается связь) должен выступать кластер созданный с помощью плагина RT.DataLakeSecurity.
4. Для кластера созданного с помощью плагина RT.DataLake необходимо выполнить следующее:
а) В соответствии с описанием в п. 8.4.3 “Настройка параметров компонентов” документа “RT.ClusterManager. Руководство администратора" для каждой из компонент кластера, для которых надо включить Ranger, в файлах конфигурации переключить параметр ranger_plugin.enabled в значение True (см. Рис. 1).
б) Нажмите кнопку “Сохранить”, в нижней части формы
в) В соответствии с описанием в п. 8.4.5 "Управление компонентами” документа “RT.ClusterManager. Руководство администратора" для каждой из компонент кластера, для которых в файлах конфигурации изменялся параметр ranger_plugin_enabled необходимо выполнить операцию “Переконфигурировать”.
¶ 2. Последовательность действий
1. Определите конфигурацию хостов для установки RT.ClusterManager и создания кластера. Имя хоста должно соответствовать его назначению.
Примечание: При заведении хостов используйте полные имена вместе с доменом (FQDN)
Пример конфигурации:
|
Имя хоста |
ОЗУ |
Количество ядер центрального процессора |
Объем HD |
Примечание |
| rt‑cm.corp.local | 8 Gb | 4 ядра | 120 Gb | Хост для RT.ClusterManager |
| rt‑dc.corp.local | 2 Gb | 1 ядро | 40 Gb | Хост для Kerberos-server |
| rt‑dl‑m1.corp.local | 8 Gb | 4 ядра | 120 Gb | Хост для кластера RT.DataLakeSecurity |
| rt‑dl‑m2.corp.local | 8 Gb | 4 ядра | 120 Gb | Хост для кластера RT.DataLakeSecurity |
| rt‑dl‑m3.corp.local | 8 Gb | 4 ядра | 120 Gb | Хост для кластера RT.DataLakeSecurity |
Примечание: Объем дисков на slave-node зависит от желаемого объема хранения, рекомендации по размерам разделов дисков представлены в документе “Рекомендации по разбиению дисков для хостов”.
Примечание: Необходимое количество ядер и ОЗУ может варьироваться от количества установленных компонент и роста нагрузки. За более точным расчетом, обратитесь в техническую поддержку.
2. Выполните подготовку хостов, установку программного обеспечения RT.ClusterManager, первичный вход в RT.ClusterManager и создание “главного” пользователя как описано в документе «Инструкция по установке программного обеспечения RT.ClusterManager», в частности:
а) В случае необходимости выполните настройку локального репозитория (см. п.2.2 указанного документа).
б) Выполните подготовку хостов, создайте пользователя ansible, сгенерируйте и разместите на хосты ключ шифрования (см. п.2.3 указанного документа).
в) Выполните установку RT.ClusterManager (см. п.3 указанного документа) на хост rt-cm.corp.local, в том числе создание пользователя RT.ClusterManager с ролью суперадминистратор.
3. Если вы используете Kerberos-server, который представлен во второй строке примера (хост с именем rt-dc.corp.local), необходимо выполнить его инсталляцию. В настоящее время возможны 2 варианта его реализации:
- Active directory. Инструкция по инсталляции представлена в документе “Установка службы каталогов Active Directory на Windows Server 2016”.
- FreeIPA. Инструкции по инсталляции можем предоставить по запросу, сервер необходимо инсталлировать самостоятельно.
4. Выполните предварительные и основные действия по созданию кластера, его компонентов , их настройке и инсталляции их программного обеспечения, описанные в документе «RT.ClusterManager. Руководство администратора», в частности:
а) Загрузите плагины RT.System и RT.DataLakeSecurity (см. п. 7.1 указанного документа) - плагины находится внутри полученного архива из Ростелеком.
б) Добавьте приватные ключи от пользователя ansible, название можно указать например “DataLakeSecurity” (см. п. 10.1 указанного документа).
Значение ключа можно получить в терминале Linux хоста командой:
cat /home/ansible/.ssh/id_rsaв) Добавьте провайдер:
Если хосты On-Premise:
То в соответствии с п.7.2.2 указанного документа.
Для добавления хостов в провайдер, удобно воспользоваться файлом hosts.json – см. п. 7.2.2.1 указанного документа.
Пример содержания файла (где ansible_ssh_private_key_file – это имя ключа созданного на шаге 4.б, названия хостов соответствуют названию из примера шага 1) :
{
"rt-dl-m1.corp.local" : null,
"rt-dl-m2.corp.local" : null,
"rt-dl-m3.corp.local" : null,
"default": {
"ansible_user" : "ansible",
"ansible_ssh_private_key_file" : "DataLakeSecurity"
}
}Выполните валидацию появившихся после загрузки файла hosts.json хостов как указано в инструкции (см. шаг 10, п. 7.2.2 указанного документа).
Если хосты облачные - Публичное облако:
то в соответствии с п.7.2.3 указанного документа.
г) Получите и активируйте лицензию на основании цифрового отпечатка сервера RT.ClusterManager (см. п. 5.2 указанного документа).
д) Добавьте кластер с помощью плагина RT.DataLakeSecurity (см. п. 8.1 указанного документа), если используете Kerberos-server, не забудьте включить соответствующий переключатель в окне создания кластера.
е) Если вы используете Kerberos-server, проверьте правильно ли установлен переключатель вариантов Kerberos-server, для чего во вкладке «Конфигурация» (см. п. 8.2 указанного документа), в правом окне выберите вкладку «kerberos», параметр repos.kdc_type по умолчанию = active_directory. Настройте другие параметры вкладки «kerberos» в соответствии с настройками вашего Kerberos-server (Назначение параметров указано в п. 8.2.2 указанного документа). Если в качестве Kerberos-server вы используете FreeIPA то выполните настройки как указано в документе “Использование FreeIPA в качестве контроллера домена”.
ж) Если при установке использовался локальный репозиторий то необходимо поменять адреса репозитория (см. п. 8.2.1 указанного документа), для чего войдите в созданный кластер, во вкладке «Конфигурация», в правом окне выберите вкладку «repos». Адреса репозитория нужно указать в следующем формате:
http://полный_адрес_машины_с_репозиторием:порт/название_репозиториев.
Примечание: При использовании для установки кластера операционной системы “РЕД ОС” во вкладке «Конфигурация» созданного кластера, на вкладке «repos» переменные:
- rt-redos-os-repo,
- rt-redos-updates-repo,
- rt-redos-kernels-repo,
по умолчанию, ссылаются на аналогичные переменные в docker-compose.yml, которые ведут на официальные репозитории REDOS7.3 certified:
- http://repo.red-soft.ru/redos/7.3c/x86_64/os/
- http://repo.red-soft.ru/redos/7.3c/x86_64/updates/
- http://repo.red-soft.ru/redos/7.3c/x86_64/kernels/
при использовании локального репозитория необходимо создать зеркала данных репозиториев и и указать путь к ним в переменных на вкладке «repos».
Используется начиная с плагина версии 1.0.0
з) Определитесь со списком компонентов вашего кластера, создайте компоненты кластера (см. п. 8.4.1 указанного документа), в соответствии с п. 2 документа “Процесс установки компонентов на основании плагина RT.DataLakeSecurity”.
и) Добавьте хосты для компонентов (см. п. 8.4.2 указанного документа), в соответствии с п. 2 документа “Процесс установки компонентов на основании плагина RT.DataLakeSecurity”.
к) В случае если для компонента Ranger будет использоваться внешняя база данных Postgres, как её подготовить указано в п. 4. “Подготовка базы данных и настройка для компонента Ranger” документа “Параметры конфигурации Ranger”.
л) Инсталлируйте программное обеспечение компонентов на хосты (см. п. 8.4.4 указанного документа).
м) Проверку работы компонентов после успешной их инсталляции можно выполнить как указано в п. 3 документа “Процесс установки компонентов на основании плагина RT.DataLakeSecurity”.
Примечание: Действия, описанные в шаге 4 можно также выполнить с помощью Wizard, как указано в п.6 документа «RT.ClusterManager. Руководство администратора».
Примечание: С описанием параметров конфигурации компонентов Ranger и Knox можно ознакомится соответственно в документах "Параметры конфигурации Ranger" и “Параметры конфигурации Knox”.