Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
В данном документе содержится последовательность действий для создания и запуска в работу кластера на основании плагина RT.StreamingKafka в RT.ClusterManager с примером.
1. Определите конфигурацию хостов для установки RT.ClusterManager и создания кластера. Имя хоста должно соответствовать его назначению.
Примечание. При заведении хостов используйте полные имена вместе с доменом (FQDN).
Пример конфигурации:
| Имя хоста | ОЗУ | Количество ядер центрального процессора | Объём HD | Примечание |
|---|---|---|---|---|
| rt-cm.corp | 8 Gb | 4 ядра | 120 Gb | Хост для RT.ClusterManager |
| rt-dc.corp | 2 Gb | 1 ядро | 40 Gb | Хост для Kerberos-server |
| rt-sk-m1.corp | 8 Gb | 2 ядра | от 100 Gb | Хост для RT.StreamingKafka (компоненты Zookeeper и Kafka) |
| rt-sk-m2.corp | 8 Gb | 2 ядра | от 100 Gb | Хост для RT.StreamingKafka (компоненты Zookeeper и Kafka) |
| rt-sk-m3.corp | 8 Gb | 2 ядра | от 100 Gb | Хост для RT.StreamingKafka (компоненты Zookeeper и Kafka) |
Примечание. Необходимое количество ядер и ОЗУ может варьироваться от количества установленных компонент и роста нагрузки. За более точным расчетом, обратитесь в техническую поддержку.
Примечание. Объем диска вирьируется от объема поступающих данных и длительности хранения. Для хранения больших объемов данных, следует пропорционально увеличить объем дискового пространства.
Важно: Данный раздел актуален для Платформы данных On-Premise.
2. Выполните подготовку хостов, установку программного обеспечения RT.ClusterManager, первичный вход в RT.ClusterManager и создание “главного” пользователя как описано в документе «Инструкция по установке программного обеспечения RT.ClusterManager», в частности:
а) В случае необходимости выполните настройку локального репозитория (см. п.2.2 указанного документа).
б) Выполните подготовку хостов, создайте пользователя ansible, сгенерируйте и разместите на хосты ключ шифрования (см. п.2.3 указанного документа).
в) Выполните установку RT.ClusterManager (см. п.3 указанного документа) на хост rt-cm.corp, в том числе создание пользователя RT.ClusterManager с ролью суперадминистратор.
3. Если вы используете Kerberos-server, который представлен во второй строке примера (хост с именем rt-dc.corp), необходимо выполнить его инсталляцию. В настоящее время возможны 2 варианта его реализации:
4. Выполните предварительные и основные действия по созданию кластера, его компонент, их настройке и инсталляции их программного обеспечения, описанные в документе «RT.ClusterManager. Руководство администратора», в частности:
а) Загрузите плагины RT.System и RT.StreamingKafka (см. п. 7.1 указанного документа) – плагины находятся внутри полученного архива из Ростелеком
б) Добавьте приватные ключи от пользователя ansible, название можно указать например “StreamingKafka” (см. п. 11.1 указанного документа).
Значение ключа можно получить в терминале Linux хоста командой:
cat /home/ansible/.ssh/id_rsaв) Добавьте провайдер:
Если хосты On-Premise:
То в соответствии с п.7.2.2 указанного документа.
Для добавления хостов в провайдер, удобно воспользоваться файлом hosts.json – см. п. 7.2.2.1 указанного документа.
Пример содержания файла (где ansible_ssh_private_key_file – это имя ключа, созданного на шаге 4.б, названия хостов соответствуют названию из примера шага 1):
{
"rt-sk-m1.corp" : null,
"rt-sk-m2.corp" : null,
"rt-sk-m3.corp" : null,
"default": {
"ansible_user" : "ansible",
"ansible_ssh_private_key_file" : "StreamingKafka"
}
}Выполните валидацию появившихся после загрузки файла hosts.json хостов? как указано в инструкции (см. шаг 10, п. 7.2.2 указанного документа).
Если хосты облачные - Публичное облако:
то в соответствии с п.7.2.3 указанного документа.
г) Получите и активируйте лицензию на основании цифрового отпечатка сервера RT.ClusterManager (см. п. 5.2 указанного документа).
Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
д) Добавьте кластер с помощью плагина RT.StreamingKafka (см. п. 8.1 указанного документа), если используете Kerberos-server, не забудьте включить соответствующий переключатель в окне создания кластера.
е) Если вы используете Kerberos-server, проверьте правильно ли установлен переключатель вариантов Kerberos-server, для чего во вкладке «Конфигурация» (см. п. 8.2 указанного документа), в правом окне выберите вкладку «kerberos», параметр repos.kdc_type по умолчанию = active_directory. Настройте другие параметры вкладки «kerberos» в соответствии с настройками вашего Kerberos-server (Назначение параметров указано в п. 8.2.2 указанного документа). Если в качестве Kerberos-server вы используете FreeIPA то выполните настройки как указано в документе “Использование FreeIPA в качестве контроллера домена”.
ж) Если при установке использовался локальный репозиторий то необходимо поменять адреса репозитория (см. п. 8.2.1 указанного документа), для чего войдите в созданный кластер, во вкладке «Конфигурация», в правом окне выберите вкладку «repos». Адреса репозитория нужно указать в следующем формате:
http://полный_адрес_машины_с_репозиторием:порт/название_репозиториев.
з) Определитесь со списком компонентов вашего кластера, создайте компоненты кластера (см. п. 8.4.1 указанного документа), в соответствии с п. 2 документа “Процесс установки компонентов на основании плагина RT.DataLake”.
и) Добавьте хосты для компонентов (см. п. 8.4.2 указанного документа), в соответствии с п. 2 документа “Процесс установки компонентов на основании плагина RT.DataLake”.
к) Инсталлируйте программное обеспечение компонентов на хосты (см. п. 8.4.4 указанного документа).
л) Проверку работы компонентов после успешной их инсталляции можно выполнить как указано в п. 3 документа “Процесс установки компонентов на основании плагина RT.DataLake”.
Примечание: Действия, описанные в шаге 4 можно также выполнить с помощью Wizard, как указано в п.6 документа «RT.ClusterManager. Руководство администратора».