Разделение плагина RT.Datalake на плагины RT.DatalakeSecurity (Ranger, Knox, Solr) и RT.Datalake (остальные компоненты).
Описание установки кластера RT.DatalakeSecurity и линковки с кластером RT.Datalake: https://docs.data.rt.ru/Документация/RT_DataLake/DLS_FSTEK/Quick_start
Реализована керберизация кластера с поддержкой freeipa.
Добавлен новый компонент Hue.
Добавлена возможность выбора движка Tez как engine для Hive.
Добавлена возможность редактирования *-env.sh файлов конфигурации для всех сервисов.
Добавлена конфигурация pki.
Добавлены кастомные настройки и файлы конфигурации для Zeppelin.
Добавлен эндпойнт для перехода на статистику HAProxy.
Добавлена возможность редактирования файла конфигурации hbase_policy компонента HBase.
Добавлена поддержка RedOs7.3.3, RedOs7.3.4 certified.
Добавлена возможность редактирования параметра yarn.nodemanager.resource.cpu-vcores.
Добавлена возможность установки Spark с внешней базой данных Postgresql.
Добавлена возможность установки Hive с внешней базой данных Postgresql.
Добавлена возможность установки Hue с внешней базой данных Postgresql.
Добавлена возможность установки HAProxy в керберизированном режиме на отдельный хост.
Пакет pyspark устанавливается при установке Spark.
Добавлена возможность конфигурации Capacity Scheduler через plaintext.
Исправлена ошибка при установке HDFS c параметром dfs.namenode.name.dir.
Исправлено отображение метрик в керберизированном кластере для компонента Yarn.
Исправлена работа “рекоммиссии” при выполнении на нескольких нодах кластера.
Добавлены эндпойнты для сервисов Spark24, HBase.
HAProxy теперь может определить активную ноду в керберизированном режиме для Yarn и HDFS. Ранее, в керберизированном кластере HAProxy считала обе «Namenode» неактивными. Исправлено для ОС RedOs.
Исправлена ошибка установки HDFS, если заранее был распределен Yarn.
Исправлена ошибка установки Sqoop на RedOs 7.3.3.
Убрали дублирующие настройки в «container-executor».
Исправлена ошибка включения Capacity Scheduler.
Исправлены названия легенд в графиках.
Исправлена ошибка при установке HDFS с несколькими значениями dfs.namenode.name.dir.
Исправлена ошибка включения компонента "Ranger" для компонента "Yarn" без режима Высокой доступности в керберизированном кластере.
Исправлено отображение паролей в логах Hive.
Чекер-агент не запускается после перезагрузки сервера.
Эндпойнт Knox в режиме работы по ip ведёт на имя хоста.
Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по ip редиректит по доменным именам со standby на active.
Zeppelin открывает страницу логина под пользователем «anonymous».
Нет графиков в метриках для Spark и Spark24 при единовременной установке.
Керберизированный Hue авторизует с неверно заполненными логином и паролем.
Протестировано с RT.ClusterManager 2.7.0.
https://repo.data.rt.ru/repository/rt.datalake/RT.DataLake-300.4.0.2.tar.gz
https://repo.data.rt.ru/repository/rt.datalake_arch/RT.Datalake_300.4.0.2-1.tar.gz
Разделение плагина RT.Datalake на плагины RT.DatalakeSecurity (Ranger, Knox, Solr) и RT.Datalake (остальные компоненты).
Описание установки кластера RT.DatalakeSecurity и линковки с кластером RT.Datalake в документации: RT.DataLakeSecurity. Быстрый старт
Реализована керберизация кластера с поддержкой freeipa.
В плагин добавлен новый компонент Flume.
В плагин добавлен новый компонент Hue.
Добавлена возможность выбора движка tez как engine для hive.
Обновлена версия zookeeper до 3.7.0.
Добавлены возможность редактирования *-env.sh файлов конфигурации для всех сервисов.
Добавлена вкладка pki в RT.Datalake для RedOs.
Добавлены кастомные настройки для Zeppelin и файлы конфигурации для него.
Добавлен эндпойнт для перехода на статистику Haproxy.
Добавлена возможность редактирования файла конфигурации hbase_policy компонента HBase.
Добавлена поддержка RedOS7.3.3, RedOs7.3certified.
Добавлена возможность редактирования параметра yarn.nodemanager.resource.cpu-vcores.
Добавлена возможность установки Spark с внешней базой данных postgres.
Добавлена возможность установки Hive с внешней базой данных postgres.
Добавлена возможность установки RT.DataLake с внешней базой данных.
Добавлена возможность установки HAProxy в керберизированном режиме на отдельный хост.
Исправлена ошибка при установке hdfs c параметром dfs.namenode.name.dir.
Исправлено отображение метрик в керберизированном кластере для компонента Yarn.
Исправлена работа рекоммиссии при выполнении на нескольких нод кластера.
Добавлены эндпойнты для Spark24, для Hbase сервиса «Regionserver».
Haproxy (также Knox) теперь может определить активную ноду в керберизированном режиме для Yarn и HDFS. В керберизированном кластере Haproxy считала обе «Namenode» неактивными. Исправлено для ОС Redos.
Добавлены кастомные настройки для Spark24.
Исправлена ошибка операции «Переконфигурировать» для Sqoop.
Исправлена ошибка установки Hdfs, если заранее был распределен Yarn.
Исправлена ошибка установки Sqoop на RedOs7.3.3.
Убрали лишние настройки в «container-executor».
Исправлена ошибка включения Capacity Scheduler.
Некорректные названия легенд в графиках.
Чекер-агент не запускается после ребута.
Эндпойнт Knox в режиме работы по ip ведёт на имя хоста.
Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по ip редиректит по доменным именам со standby на active.
Zeppelin открывает страницу логина под пользователем «anonymous».
Нет графиков в метриках для Spark и Spark24 при единовременной установке.
При изменении пароля принципала падает установка кластера.
В керберезированном кластере без режима «Высокая доступность», также с режимом «Высокая доступность», не работает соединение в плагине, после включения плагина Ranger в Hdfs.
Протестировано с RT.ClusterManager 2.7.0.
https://repo.data.rt.ru/repository/rt.datalake/RT.DataLake-322.4.0.1.tar.gz
Добавлен новый компонент Knox.
Поддержка работы Knox в керберизированном кластере.
Поддержка работы Knox в кластере с отказоустойчивыми компонентами.
Добавлены метрики для компонента Knox.
Добавлен эндпойнт для компонента Knox.
Добавлены кастомные настройки и файлы конфигураций для Hive, Yarn, Spark24 и Ranger.
Добавлена возможность включения режима работы эндпойнтов по ip адресам.
Добавлено скрытие чувствительных данных в настройках компонент.
Операция "recommiss_nodes" для одной ноды, рекоммиссует сразу несколько декоммиссованных нод одного сервиса.
Некорректные названия легенд в метриках компонентов.
Чекер-агент не запускается после ребута.
Отсутствуют эндпойнты для Spark24, Hbase regionserver.
Эндпойнт Knox в режиме работы по ip ведёт на имя хоста.
Эндпойнт отказоустойчивого сервиса Yarn RM в режиме работы по ip редиректит по доменным именам со standby на active.
При переходе в керберизированный Zeppelin через Knox логинится под "anonymous", после выбора любого элемента меню, логинится под именем пользователя на которого получен тикет.
Протестировано с RT.ClusterManager 2.3.1
Добавление иконки декомиссии в плагин для компонента «Hdfs».
Добавлена легенда в графики.
Добавлены отдельные поля для логина и пароля репозитория.
Добавлены посервисные операции для всех компонент.
Выделили Spark2 в отдельную компоненту (отделили Spark2 от Spark3).
Добавлен режим «Высокой доступности» для компонента «Ranger».
Добавлены эндпойнты для всех компонент у которых есть UI.
Добавлены графики состояния хостов (node-exporter).
Добавлена операция ввода нод Hadoop в режим maintenance.
Добавлена операция вывода нод Hadoop в режим unmaintenance.
Добавлены групповые конфиги.
Исправили установку кластера в режиме «НА» при установке "haproxy" у различных компонент на одни и те же машины.
Исправлена проблема операций старта и стопа для сервиса «zkfc» компонента «hdfs».
Исправлена проблема операций старта и стопа для сервиса «journalnode» компонента «hdfs».
Исправлена конфигурация чекер-агента для проверки ещё не установленных выбранных компонент.
Исправлен симлинк для sqoop на правильную версию hive (3.1.2).
Исправлена переконфигурация hdfs для машин где установлен только hadoop-client.
Исправлена работа spark context при дефолтной конфигурации Zeppelin.
Операция "recommiss_nodes" для одной ноды, рекоммиссует сразу несколько декоммиссованных нод одного сервиса.
Некорректные названия легенд в метриках компонентов.
Отсутствуют кастомные настройки для Spark24.
После переконфигурации падает sqoop.
Некорректные названия легенд в графиках.
Чекер-агент не запускается после ребута.
Протестировано с RT.ClusterManager 2.1.1, RT.ClusterManager 2.2.0.