Важно: Данный раздел актуален для Платформы данных в Публичном облаке и On-Premise.
¶ 1 Введение
Примечание: Непосредственно операции по подготовке к созданию и созданию кластера описаны в документации к RT.ClusterManager. Данные о порядке создания компонент и по распределению сервисов компонент по нодам, описанные в данном документе, относятся к операциям описанным в п. 8.4.1 и п. 8.4.2 документа “RT.ClusterManager. Руководство администратора”.
¶ 1.1 Конфигурация кластера из 3 нод
Предлагаемая конфигурация кластеров, создаваемых на основании плагина «RT.StreamingKafka», состоит из 3 нод, принадлежащих одному провайдеру, и отдельного сервера для установки RT.ClusterManager, который не входит в состав кластера:
- m-1,
- m-2,
- m-3.
В данном описании ноды – сервера (хосты) на базе операционных систем семейства Linux, которые будут включены в кластер.
Важно: При развёртывании стандартного кластера необходимо строго придерживаться порядка установки компонентов, указанного в таблицах ниже. В иных случаях существует возможность частично откорректировать распределение.
Примечание: В RT.ClusterManager версии 2.Х-ХХ был изменен дизайн и терминология, поменялись местами термины “Компонент” и “Сервис”. Так в RT.ClusterManager версии 1.Х-ХХ: Zookeeper, HDFS … были сервисами, и входящие в них элементы программного обеспечения которые привязывались к нодам назывались компонентами, а в RT.ClusterManager версии 2.Х-ХХ: Zookeeper, HDFS … стали компонентами, и входящие в них элементы программного обеспечения которые привязываются к нодам называются сервисами. В данном документе используется терминология RT.ClusterManager версии 2.Х-ХХ.
¶ 2 Распределение сервисов по нодам - плагин «RT.StreamingKafka»
В следующей таблице представлен порядок распределения по нодам компонентов и их сервисов на основании плагина «RT.StreamingKafka»:
Важно: При установке, придерживайтесь порядка компонент, указанных в таблицах.
¶ 2.1 Конфигурация из 3 нод
| № | Компонент | Назначение | Распределение сервисов по нодам |
|---|---|---|---|
| 1 | zookeeper |
Программная служба для координации распределенных систем. Проверка статуса - см. п. 3.1 |
server - m-1, m-2, m-3 |
| 2 | kafka |
Распределённое хранилище событий и платформа потоковой обработки. Проверка статус - см. п. 3.2 |
kafka - m-1, m-2, m-3 |
Важно: Данный раздел актуален для Платформы данных On-Premise.
¶ 3 Проверка статуса компонентов
¶ 3.1 Проверка статуса zookeeper
Для проверки статуса zookeeper на каждом хосте, на котором установлен сервис zookeeper server можно воспользоваться командой:
/usr/lib/zookeeper/bin/zkServer.sh statusПри корректно работающем сервисе в выводе должен быть упомянут путь до файла конфигурации, используемый сетевой порт, сетевой адрес/имя, статус SSL и режим работы сервиса (Mode: leader или follower. На одном хосте должен быть режим – leader, на остальных – follower) :
¶ 3.2 Проверка статуса kafka
Для проверки статуса kafka необходимо проверить, запущен ли прием на порту:
netstat -tlpn | grep 9092