22.01.2025
Новый функционал
- Теперь установка компонент Spark/Hive будет проходить быстрее.
- Файлы конфигурации
\*-env.sh компонентов Hive, HDFS, Zookeeper стали доступны для редактирования в формате PlainText.
- Добавлены кастомные настройки в
krb5.conf.
- Файлы конфигурации
log4j компонентов HDFS, Hive, Zookeeper стали доступны для редактирования в формате PlainText.
- Улучшена работа функционала по добавлению эндпойнтов.
- Реализовано добавление JMX-метрик для JournalNode.
- Добавлена возможность изменения размера Heap для сервисов Yarn.
Исправленные ошибки
- Исправлена ошибка перехода в керберизированный Zeppelin через Knox.
- Исправлена ошибка установки Hue, если упало создание эндпойнта.
- Исправлена ошибка, связанная с некорректной подстановкой директорий
log-dirs и local-dirs в yarn-site.xml.
- Исправлена ошибка отсутствия прав для выполнения примеров в Zeppelin notebook.
- Исправлена ошибка реконфигурации компонента Hdfs после вывода диска из кластера.
- Исправлена ошибка отображения «фантомных» нод в статусе
Decomissioned.
- Исправлена ошибка, из-за которой сервис
checker-agent не запускался после перезагрузки машины.
Известные неисправленные ошибки
- Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по IP редиректит по доменным именам со
standby на active.
- Нет графиков в метриках для Spark и Spark24 при единовременной установке.
- Керберизированный Hue авторизует с неверно заполненными логином и паролем.
- Не устанавливается Spark24.
- Ошибки при переходе в Hdfs UI через Knox в керберезированном кластере.
Совместимость
- Протестировано с RT.ClusterManager 2.7.0.
Ссылка на плагин
Ссылка на архив для офлайн-установки
30.10.2024
Новый функционал
- Плагин RT.Datalake разделен на плагины RT.DatalakeSecurity (Ranger, Knox, Solr) и RT.Datalake (остальные компоненты).
- Установка кластера RT.DatalakeSecurity и линковка с кластером RT.Datalake теперь описана в документации: RT.DataLakeSecurity. Быстрый старт.
- Реализована керберизация кластера с поддержкой freeipa.
- Добавлен новый компонент Hue.
- Добавлена возможность выбора движка Tez как engine для Hive.
- Добавлена возможность редактирования
\*-env.sh файлов конфигурации для всех сервисов.
- Добавлена конфигурация
pki.
- Добавлены кастомные настройки и файлы конфигурации для Zeppelin.
- Добавлен эндпойнт для перехода на статистику HAProxy.
- Добавлена возможность редактирования файла конфигурации
hbase\_policy компонента HBase.
- Добавлена поддержка RedOS 7.3.3, RedOS 7.3.4 certified.
- Добавлена возможность редактирования параметра
yarn.nodemanager.resource.cpu-vcores.
- Добавлена возможность установки Spark с внешней базой данных Postgresql.
- Добавлена возможность установки Hive с внешней базой данных Postgresql.
- Добавлена возможность установки Hue с внешней базой данных Postgresql.
- Добавлена возможность установки HAProxy в керберизированном режиме на отдельный хост.
- Пакет
pyspark устанавливается при установке Spark.
- Добавлена возможность конфигурации Capacity Scheduler через plaintext.
Исправленные ошибки
- Исправлена ошибка при установке HDFS c параметром
dfs.namenode.name.dir.
- Исправлено отображение метрик в керберизированном кластере для компонента Yarn.
- Исправлена работа рекоммиссии при выполнении на нескольких нодах кластера.
- Добавлены эндпойнты для сервисов Spark24, HBase.
- HAProxy теперь может определить активную ноду в керберизированном режиме для Yarn и HDFS. Ранее в керберизированном кластере HAProxy считала обе «Namenode» неактивными. Исправлено для ОС RedOS.
- Исправлена ошибка установки HDFS, если заранее был распределен Yarn.
- Исправлена ошибка установки Sqoop на RedOS 7.3.3.
- Убрали дублирующие настройки в
container-executor.
- Исправлена ошибка включения Capacity Scheduler.
- Исправлены названия легенд в графиках.
- Исправлена ошибка при установке HDFS с несколькими значениями
dfs.namenode.name.dir.
- Исправлена ошибка включения компонента Ranger для компонента Yarn без режима «Высокой доступности» в керберизированном кластере.
- Исправлено отображение паролей в логах Hive.
Известные неисправленные ошибки
- Чекер-агент не запускается после перезагрузки сервера.
- Эндпойнт Knox в режиме работы по IP ведет на имя хоста.
- Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по IP редиректит по доменным именам со
standby на active.
- Zeppelin открывает страницу логина под пользователем
anonymous.
- Нет графиков в метриках для Spark и Spark24 при единовременной установке.
- Керберизированный Hue авторизует с неверно заполненными логином и паролем.
Совместимость
- Протестировано с RT.ClusterManager 2.7.0.
Ссылка на плагин
Ссылка на архив для офлайн-установки
27.07.2024
Новый функционал
- Плагин RT.Datalake разделен на плагины RT.DatalakeSecurity (Ranger, Knox, Solr) и RT.Datalake (остальные компоненты).
- Установка кластера RT.DatalakeSecurity и линковка с кластером RT.Datalake теперь описана в документации: RT.DataLakeSecurity. Быстрый старт.
- Реализована керберизация кластера с поддержкой freeipa.
- В плагин добавлен новый компонент Flume.
- В плагин добавлен новый компонент Hue.
- Добавлена возможность выбора движка tez как engine для hive.
- Обновлена версия zookeeper до 3.7.0.
- Добавлены возможность редактирования
\*-env.sh файлов конфигурации для всех сервисов.
- Добавлена вкладка pki в RT.Datalake для RedOS.
- Добавлены кастомные настройки для Zeppelin и файлы конфигурации для него.
- Добавлен эндпойнт для перехода на статистику Haproxy.
- Добавлена возможность редактирования файла конфигурации
hbase\_policy компонента HBase.
- Добавлена поддержка RedOS 7.3.3, RedOS 7.3 certified.
- Добавлена возможность редактирования параметра
yarn.nodemanager.resource.cpu-vcores.
- Добавлена возможность установки Spark с внешней базой данных postgres.
- Добавлена возможность установки Hive с внешней базой данных postgres.
- Добавлена возможность установки RT.DataLake с внешней базой данных.
- Добавлена возможность установки HAProxy в керберизированном режиме на отдельный хост.
Исправленные ошибки
-
Исправлена ошибка при установке hdfs c параметром dfs.namenode.name.dir.
-
Исправлено отображение метрик в керберизированном кластере для компонента Yarn.
-
Исправлена работа рекоммиссии при выполнении на нескольких нод кластера.
-
Добавлены эндпойнты для Spark24, для Hbase сервиса Regionserver.
-
Haproxy (также Knox) теперь может определить активную ноду в керберизированном режиме для Yarn и HDFS. В керберизированном кластере Haproxy считала обе «Namenode» неактивными. Исправлено для ОС RedOS.
-
Добавлены кастомные настройки для Spark24.
-
Исправлена ошибка операции «Переконфигурировать» для Sqoop.
-
Исправлена ошибка установки hdfs, если заранее был распределен Yarn.
-
Исправлена ошибка установки Sqoop на RedOS 7.3.3.
-
Удалены лишние настройки в container-executor.
-
Исправлена ошибка включения Capacity Scheduler.
Известные неисправленные ошибки
-
Некорректные названия легенд в графиках.
-
Чекер-агент не запускается после перезагрузки сервера.
-
Эндпойнт Knox в режиме работы по IP ведёт на имя хоста.
-
Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по IP редиректит по доменным именам со standby на active.
-
Zeppelin открывает страницу логина под пользователем anonymous.
-
Нет графиков в метриках для Spark и Spark24 при единовременной установке.
-
При изменении пароля принципала падает установка кластера.
-
В керберезированном кластере с включенным и выключенным режимом «Высокая доступность» не работает соединение в плагине после включения плагина Ranger в hdfs.
Совместимость
- Протестировано с RT.ClusterManager 2.7.0.
Ссылка на плагин
31.10.2023
Новый функционал
- Добавлен новый компонент Knox.
- Поддержка работы Knox в керберизированном кластере.
- Поддержка работы Knox в кластере с отказоустойчивыми компонентами.
- Добавлены метрики для компонента Knox.
- Добавлен эндпойнт для компонента Knox.
- Добавлены кастомные настройки и файлы конфигураций для Hive, Yarn, Spark24 и Ranger.
- Добавлена возможность включения режима работы эндпойнтов по IP адресам.
Исправленные ошибки
- Теперь в настройках компонент можно скрывать чувствительные данные.
Известные неисправленные ошибки
-
Операция recommiss\_nodes для одной ноды, рекоммиссует сразу несколько декоммиссованных нод одного сервиса.
-
Некорректные названия легенд в метриках компонентов.
-
Чекер-агент не запускается после перезагрузки сервера.
-
Отсутствуют эндпойнты для Spark24, Hbase regionserver.
-
Эндпойнт Knox в режиме работы по IP ведет на имя хоста.
-
Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по IP редиректит по доменным именам со standby на active.
-
При переходе в керберизированный Zeppelin через Knox логинится под anonymous, после выбора любого элемента меню, логинится под именем пользователя на которого получен тикет.
Совместимость
Протестировано с RT.ClusterManager 2.3.1
24.06.2023
Новый функционал
- Добавлен значок декомиссии в плагин для компонента
hdfs.
- Добавлена легенда в графики.
- Добавлены отдельные поля для логина и пароля репозитория.
- Добавлены посервисные операции для всех компонент.
- Spark2 выделен в отдельную компоненту. Spark2 теперь отделен от Spark3.
- Добавлен режим высокой доступности для компонента Ranger.
- Добавлены эндпойнты для всех компонент у которых есть UI.
- Добавлены графики состояния хостов (node-exporter).
- Добавлена операция ввода нод Hadoop в режим maintenance.
- Добавлена операция вывода нод Hadoop в режим unmaintenance.
- Добавлены групповые конфиги.
Исправленные ошибки
-
Исправлена установка кластера в режиме НА при установке haproxy у различных компонент на одни и те же машины.
-
Исправлена проблема операций старта и стопа для сервиса zkfc компонента hdfs.
-
Исправлена проблема операций старта и стопа для сервиса journalnode компонента hdfs.
-
Исправлена конфигурация чекер-агента для проверки еще не установленных выбранных компонент.
-
Исправлен симлинк для sqoop на правильную версию hive (3.1.2).
-
Исправлена переконфигурация hdfs для машин где установлен только hadoop-client.
-
Исправлена работа spark context при дефолтной конфигурации Zeppelin.
Известные неисправленные ошибки
- Операция
recommiss\_nodes для одной ноды рекоммиссует сразу несколько декоммиссованных нод одного сервиса.
- Некорректные названия легенд в метриках компонентов.
- Отсутствуют кастомные настройки для Spark24.
- После переконфигурации падает sqoop.
- Некорректные названия легенд в графиках.
- Чекер-агент не запускается после ребута.
Совместимость
Протестировано с RT.ClusterManager 2.1.1 и RT.ClusterManager 2.2.0.