Разделение плагина RT.Datalake на плагины RT.DatalakeSecurity (Ranger, Knox, Solr) и RT.Datalake (остальные компоненты)
Описание установки кластера RT.DatalakeSecurity и линковки с кластером RT.Datalake в документации: RT.DataLakeSecurity. Быстрый старт
Реализована керберизация кластера с поддержкой freeipa
В плагин добавлен новый компонент Flume
В плагин добавлен новый компонент Hue
Добавлена возможность выбора движка tez как engine для hive
Обновлена версия zookeeper до 3.7.0
Добавлены возможность редактирования *-env.sh файлов конфигурации для всех сервисов
Добавлена вкладка pki в RT.Datalake для RedOs
Добавлены кастомные настройки для Zeppelin и файлы конфигурации для него
Добавлен эндпойнт для перехода на статистику Haproxy
Добавлена возможность редактирования файла конфигурации hbase_policy компонента HBase
Добавлена поддержка RedOS7.3.3, RedOs7.3certified
Добавлена возможность редактирования параметра yarn.nodemanager.resource.cpu-vcores
Добавлена возможность установки Spark с внешней базой данных postgres
Добавлена возможность установки Hive с внешней базой данных postgres
Добавлена возможность установки RT.DataLake с внешней базой данных
Добавлена возможность установки HAProxy в керберизированном режиме на отдельный хост
Исправлена ошибка при установке hdfs c параметром dfs.namenode.name.dir
Исправлено отображение метрик в керберизированном кластере для компонента Yarn
Исправлена работа рекоммиссии при выполнении на нескольких нод кластера
Добавлены эндпойнты для Spark24, для Hbase сервиса «Regionserver»
Haproxy (также Knox) теперь может определить активную ноду в керберизированном режиме для Yarn и HDFS. В керберизированном кластере Haproxy считала обе «Namenode» неактивными. Исправлено для ОС Redos
Добавлены кастомные настройки для Spark24
Исправлена ошибка операции «Переконфигурировать» для Sqoop
Исправлена ошибка установки Hdfs, если заранее был распределен Yarn
Исправлена ошибка установки Sqoop на RedOs7.3.3
Убрали лишние настройки в «container-executor»
Исправлена ошибка включения Capacity Scheduler
Некорректные названия легенд в графиках
Чекер-агент не запускается после ребута
Эндпойнт Knox в режиме работы по ip ведёт на имя хоста
Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по ip редиректит по доменным именам со standby на active
Zeppelin открывает страницу логина под пользователем «anonymous»
Нет графиков в метриках для Spark и Spark24 при единовременной установке
При изменении пароля принципала падает установка кластера
В керберезированном кластере без режима «Высокая доступность», также с режимом «Высокая доступность», не работает соединение в плагине, после включения плагина Ranger в Hdfs
Протестировано с RT.ClusterManager 2.7.0
https://repo.data.rt.ru/repository/rt.datalake/RT.DataLake-322.4.0.1.tar.gz
Добавлен новый компонент Knox
Поддержка работы Knox в керберизированном кластере
Поддержка работы Knox в кластере с отказоустойчивыми компонентами
Добавлены метрики для компонента Knox
Добавлен эндпойнт для компонента Knox
Добавлены кастомные настройки и файлы конфигураций для Hive, Yarn, Spark24 и Ranger
Добавлена возможность включения режима работы эндпойнтов по ip адресам
Добавлено скрытие чувствительных данных в настройках компонент
Операция "recommiss_nodes" для одной ноды, рекоммиссует сразу несколько декоммиссованных нод одного сервиса
Некорректные названия легенд в метриках компонентов
Чекер-агент не запускается после ребута
Отсутствуют эндпойнты для Spark24, Hbase regionserver
Эндпойнт Knox в режиме работы по ip ведёт на имя хоста
Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по ip редиректит по доменным именам со standby на active
При переходе в керберизированный Zeppelin через Knox логинится под "anonymous", после выбора любого элемента меню, логинится под именем пользователя на которого получен тикет
Протестировано с RT.ClusterManager 2.3.1
Добавление иконки декомиссии в плагин для компонента «Hdfs»
Добавлена легенда в графики
Добавлены отдельные поля для логина и пароля репозитория
Добавлены посервисные операции для всех компонент
Выделили Spark2 в отдельную компоненту (отделили Spark2 от Spark3)
Добавлен режим «Высокой доступности» для компонента «Ranger»
Добавлены эндпойнты для всех компонент у которых есть UI
Добавлены графики состояния хостов (node-exporter)
Добавлена операция ввода нод Hadoop в режим maintenance
Добавлена операция вывода нод Hadoop в режим unmaintenance
Добавлены групповые конфиги
Исправили установку кластера в режиме «НА» при установке "haproxy" у различных компонент на одни и те же машины
Исправлена проблема операций старта и стопа для сервиса «zkfc» компонента «hdfs»
Исправлена проблема операций старта и стопа для сервиса «journalnode» компонента «hdfs»
Исправлена конфигурация чекер-агента для проверки ещё не установленных выбранных компонент
Исправлен симлинк для sqoop на правильную версию hive (3.1.2)
Исправлена переконфигурация hdfs для машин где установлен только hadoop-client
Исправлена работа spark context при дефолтной конфигурации Zeppelin
Операция "recommiss_nodes" для одной ноды, рекоммиссует сразу несколько декоммиссованных нод одного сервиса
Некорректные названия легенд в метриках компонентов
Отсутствуют кастомные настройки для Spark24
После переконфигурации падает sqoop
Некорректные названия легенд в графиках
Чекер-агент не запускается после ребута
Протестировано с RT.ClusterManager 2.1.1, RT.ClusterManager 2.2.0