Важно: Данный раздел актуален для Платформы данных On-Premise.
¶ 1. ОБЩИЕ СВЕДЕНИЯ
Внимание: Данный документ описывает установку из пакетов напрямую. Для установки RT.DataLake с помощью RT.ClusterManager воспользуйтесь документами из раздела RT.ClusterManager.
RT.DataLake представляет собой масштабируемую платформу с открытым исходным кодом, предназначенную для хранения, обработки и анализа больших объёмов данных.
Платформа спроектирована так, чтобы обеспечить быструю, лёгкую и незатратную загрузку данных различного формата из большого количества источников.
Платформа представляет собой комплекс сервисов, которые обеспечивают не только хранение и обработку данных, но и управление, безопасность и операции.
Платформа включает в себя Hadoop, который состоит из MapReduce, Hadoop Distributed File System (HDFS) и Yet Another Resource Negotiator (YARN), а также другие компоненты экосистемы Hadoop.
Все компоненты интегрированы друг с другом и протестированы на совместимость.
Доступны следующие варианты установки RT.DataLake:
- Установка пакетов дистрибутива вручную средствами операционной системы.
- Установка пакетов дистрибутива автоматизированно с использованием RT.ClusterManager.
Данный документ освещает тему ручной установки средствами операционной системы RedOS. При развертывании программного обеспечения на других операционных системах могут быть отличия в названии менеджера пакетов (в deb-подобных системах используется менеджер пакетов apt-get вместо yum), а также в специфичных для системы файлах конфигурации (например, в таких как список установленных репозиториев и т.д.)
¶ 2. Системные требования
¶ 2.1 Рекомендации по аппаратному обеспечению
Рабочие нагрузки Hadoop и HBase, как правило, сильно различаются, и требуется опыт, чтобы правильно предвидеть объёмы хранения, вычислительной мощности и межузловой связи, которые потребуются для различных видов работ. Этот раздел даёт представление о выборе подходящих аппаратных компонентов для оптимального баланса между производительностью и начальными, а также текущими затратами.
Hadoop — это программная среда, которая поддерживает крупномасштабный распределённый анализ данных на обычных серверах. Ростелеком является основным участником инициатив с открытым исходным кодом (Hadoop, HDFS, Hive) и имеет обширный опыт управления кластерами Hadoop производственного уровня. Ростелеком рекомендует следовать принципам проектирования, которые обеспечивают крупномасштабное развёртывание.
Для кластера Hadoop критически важно точно предсказать размер, тип, частоту и задержку выполняемых заданий анализа. Приступая к Hadoop, начните с малого и приобретите опыт, измеряя фактические рабочие нагрузки в ходе пилотного проекта. Таким образом, можно легко масштабировать пилотную среду без внесения каких-либо значительных изменений в существующие серверы, программное обеспечение, стратегии развёртывания и сетевые подключения.
¶ 2.1.1 Типичный кластер Hadoop
Кластеры Hadoop имеют два типа машин:
- Masters — HDFS NameNode, YARN ResourceManager.
- Slaves — HDFS DataNodes, YARN NodeManager.
Узлы DataNodes и NodeManager размещаются или разворачиваются совместно для оптимального размещения данных.
Ростелеком рекомендует разделять узлы Master и Slave, потому что:
- Рабочие нагрузки задач / приложений на подчинённых узлах (Slave) должны быть изолированы от главных (Master).
- Подчинённые узлы часто выводятся из эксплуатации для обслуживания.
В целях оценки можно развернуть Hadoop с помощью установки с тремя узлами (главные процессы находятся на первых двух машинах и подчинённые процессы находятся на всех машинах кластера).
Для небольшого двухузлового кластера можно установить NameNode и ResourceManager на главном узле, а DataNode и NodeManager — на подчинённом узле.
Кластеры из трёх или более машин обычно используют один NameNode и ResourceManager со всеми другими узлами в качестве подчинённых узлов. Высокодоступный кластер (High-Availability HA) будет использовать первичный и вторичный NameNode, а также может использовать первичный и вторичный ResourceManager.
Как правило, кластер Hadoop от среднего до большого размера состоит из двух- или трёхуровневой архитектуры, построенной на основе установленных в стойку серверов. Каждая стойка серверов соединяется между собой с помощью коммутатора 1 Gigabyte Ethernet (GbE). Каждый коммутатор уровня стойки подключается к коммутатору уровня кластера (который обычно представляет собой коммутатор 10GbE с большей плотностью портов). Эти коммутаторы уровня кластера могут также взаимодействовать с другими коммутаторами уровня кластера или даже подключаться к другому уровню инфраструктуры коммутации.
¶ 2.1.2 Типичные шаблоны рабочих нагрузок для Hadoop
Дисковое пространство, пропускная способность ввода-вывода (требуемая для Hadoop) и вычислительная мощность (необходимая для процессов MapReduce) являются наиболее важными параметрами для точного определения размера оборудования.
¶ 2.1.3 Раннее развертывание
Когда команда только начинает работать с Hadoop, обычно лучше начать с малого и получить опыт, измеряя фактические рабочие нагрузки во время пилотного проекта. Мы рекомендуем начать с относительно небольшого пилотного кластера, подготовленного для «сбалансированной» рабочей нагрузки.
¶ 2.1.4 Рекомендации по аппаратному обеспечению серверного узла
Следует использовать рекомендации по оборудованию серверных узлов в качестве передовых методов для выбора количества узлов, вариантов хранения на узел (количество дисков, размер дисков, MTBF и стоимость репликации сбоев дисков), вычислительной мощности на узел (сокеты, ядра, тактовая частота), ОЗУ на узел и возможности сети (количество, скорость портов).
¶ 2.1.5 Другие вопросы
Помимо аппаратного обеспечения, должны учитываться такие факторы, как использование кодирования стирания для ёмкости хранилища, вес серверных стоек, масштабируемость кластера и другие факторы для кластера Hadoop.
¶ 2.1.6 Заключение
Достижение оптимальных результатов от реализации Hadoop начинается с выбора правильных аппаратных и программных стеков. Усилия, затраченные на этапах планирования, могут значительно окупиться с точки зрения производительности и общей стоимости владения (TCO), связанной с окружающей средой.
¶ 2.2 Требования к операционной системе
Поддерживается система RED OS7.2/7.3, Centos 7, RHEL 7, Ubuntu 20.04
¶ 2.3 Требования к программному обеспечению
На каждый хост необходимо установить следующее программное обеспечение:
- yum/apt;
- scp;
- curl;
- unzip;
- tar;
- wget;
- gcc;
- OpenSSL (v1.01, build 16 или более новый);
- Python (с python-devel).
Также необходимо проинсталлировать JDK, установка которого описана в п. 2.4.
¶ 2.4 Требования к JDK
Ваша система должна иметь Java Development Kit (JDK), корректно установленный на всех узлах кластера.
Требования к JDK представлены в таблице ниже.
Таблица 2— Поддерживаемые JDK
|
Наименование |
Поддерживаемые версии |
|---|---|
| Liberica Java | bellsoft-java8 (версия выше 302) |
| OpenJDK | JDK8 (версия выше 151) |
|
Внимание. Перед включением Kerberos в кластер необходимо проверить, что включено использование криптографии Java (Java Cryptography Extension (JCE)) на всех узлах кластера. Для получения дополнительной информации см. п. 2.1.4.2. |
В следующих разделах описано, как установить и настроить JDK.
¶ 2.4.1 Установка Open JDK 1.8 вручную
Выполните следующие действия для ручной установки JDK 1.8:
1. Если у вас нет каталога /usr/java, создайте его:
mkdir /usr/java2. Загрузите 64-разрядный JDK для Oracle (jdk-8u51-linux-x64.tar.gz) с официального сайта Oracle.
3. Установите загруженный JDK, используя команду:
yum install java-1.8.0-openjdk-devel4. Проверьте версию. Она должна быть выше версии 151:
java –versionВы увидите вывод, похожий на следующий:
openjdk version "1.8.0_161"
OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)5. Создайте символическую ссылку (симлинк) для JDK:
ln -s /usr/lib/jvm/java-1.8.0 / /usr/java/default6. Установите переменные окружения JAVA_HOME и PATH:
export JAVA_HOME=/usr/java/default
export PATH=$JAVA_HOME/bin:$PATH.1.4.2 ВключениеJCE Проверьте, что расширение JCE установлено и включено.
jrunscript -e 'exit
(javax.crypto.Cipher.getMaxAllowedKeyLength("RC5") >= 256 ? 0 : 1);';
echo $?Вывод команды должен следующим:
0Если вывод команды отличен от 0, то необходимо включить расширение JCE, присвоив значение unlimited параметру crypto.policy в файле конфигурации $JAVA_HOME/jre/lib/security/java:
crypto.policy=unlimited ¶ 2.5 Требования к репозиторию
Если вы устанавливаете проект Hive, вы должны установить базу данных для хранения метаданных в репозитории. Вы можете использовать существующий экземпляр базы данных или установить новый экземпляр вручную.
Требования к репозиторию представлены в таблице ниже.
Таблица 3— Поддерживаемые репозитории
|
Наименование |
Поддерживаемые версии |
|---|---|
| PostgreSQL | 12 11 10.7 10.5 10.2 9.6 9.5 9.4 9.3 9.2 9.1.13+ |
| MariaDB | 10.2 10.1 10 |
| MySQL | 5.7 5.6 5.5 |
В следующих разделах описано, как установить и настроить репозиторий.
¶ 2.5.1 Требования к репозиторию
Администратор базы данных должен создать следующих пользователей и указать следующее значения:
- Для Hive: hive_dbname, hive_dbuser и hive_dbpasswd.
|
Примечание. По умолчанию Hive использует базу данных Derby для репозитория. Но Derby не поддерживается для промышленных систем. |
¶ 2.5.2 Установка и настройка PostgreSQL
Следующие инструкции объясняют, как установить PostgreSQL в качестве репозитория.
Для получения инструкций по установке других поддерживаемых баз данных см. стороннюю документацию.
|
Внимание. Прежде чем использовать PostgreSQL в качестве репозитория Hive, проконсультируйтесь с официальной документацией PostgreSQL и убедитесь, что вы используете драйвер JDBC 4+, который соответствует вашей реализации PostgreSQL. |
¶ 2.5.2.1 Установка PostgreSQL на РЕД ОС
Используйте следующие инструкции для установки нового экземпляра PostgreSQL:
1. Используя окно терминала, подключитесь к хост-машине, на которой вы планируете развернуть экземпляр PostgreSQL:
yum install postgresql-server2. Запустите экземпляр:
/etc/init.d/postgresql startДля некоторых более новых версий PostgreSQL может потребоваться выполнить команду:
/etc/init.d/postgresql initdb3. Переконфигурируйте сервер PostgreSQL:
- Отредактируйте файл /var/lib/pgsql/data/postgresql.conf.
Измените значение #listen_addresses='localhost' на listen_addresses='*'.
- Отредактируйте файл /var/lib/pgsql/data/postgresql.conf.
Удалите комментарии из строки «port =» и укажите значение порта (по умолчанию 5432).
- Отредактируйте файл /var/lib/pgsql/data/pg_hba.conf, добавив следующее:
host all all 0.0.0.0/0 trust
- Если вы используете PostgreSQL v9.1 или версию новее, добавьте следующее в файл /var/lib/pgsql/data/postgresql.conf:
standard_conforming_strings = off4. Создайте пользователей для сервера PostgreSQL, войдя в систему в качестве пользователя root и введите следующий синтаксис:
echo "CREATE DATABASE $dbname;" | sudo -u $postgres psql -U postgres
echo "CREATE USER $user WITH PASSWORD '$passwd';" | sudo -u $postgres psql -
U postgres
echo "GRANT ALL PRIVILEGES ON DATABASE $dbname TO $user;" | sudo -u
$postgres psql -U postgresПредыдущий синтаксис должен иметь следующие значения:
- $postgres — это пользователь postgres;
- $user — это пользователь, которого вы хотите создать;
- $dbname — это имя вашей базы данных PostgreSQL.
|
Примечание. Чтобы получить доступ к репозиторию Hive, вы должны создать hive_dbuser после установки Hive. |
5. На хосте репозитория Hive установите коннектор:
yum install postgresql-jdbc*6. Убедитесь, что файл .jar находится в каталоге общего ресурса Java:
ls -l /usr/share/java/postgresql-jdbc.jar¶ 2.1.5.2 Установка и настройка MariaDB
В этом разделе описывается, как установить MariaDB в качестве репозитория.
¶ 2.1.5.2.1 Установка MariaDB на РЕД ОС
|
Внимание. Если вы устанавливаете на РЕД ОС, настоятельно рекомендуется установить из репозитория, используя yum. |
Выполните следующие действия для установки нового экземпляра MariaDB на РЕД ОС:
- Есть несколько репозиториев YUM для нескольких дистрибутивов Linux на основе YUM. Используйте страницу загрузок MariaDB для создания репозитория YUM.
- Переместите файл репозитория MariaDB в каталог /etc/yum.repos.d/.
Предполагается, что вы назовёте свой файл MariaDB.repo.
Ниже приведён пример файла MariaDB.repo для РЕД ОС 7:
[mariadb]
name=MariaDB
baseurl=http://yum.mariadb.org/10.1/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1В этом примере строка gpgkey автоматически выбирает ключ GPG, который используется для подписи хранилища. gpgkey позволяет yum и rpm проверять целостность пакетов, которые он загружает. ID ключа подписи MariaDB — 0xcbcb082a1bb943db. Короткая форма идентификатора — 0x1BB943DB и полный отпечаток ключа — 1993 69E5 404B D5FC 7D2F E43B CBCB 082A 1BB9 43DB.
Если вы хотите исправить версию на более раннюю, следуйте инструкциям по добавлению репозитория MariaDB YUM.
3. Если у вас не установлен ключ подписи MariaDB GPG, YUM предложит вам установить его после загрузки пакетов. Если вам будет предложено сделать это, установите ключ подписи MariaDB GPG.
4. Используйте следующую команду для установки MariaDB:
sudo yum install MariaDB-server MariaDB-client5. Если у вас уже установлен пакет MariaDB-Galera-server, вам может потребоваться удалить его до установки MariaDB-server. Если вам нужно удалить MariaDB-Galera-server, используйте следующую команду:
sudo yum remove MariaDB-Galera-serverБазы данных не удаляются, если rpm-пакет MariaDB-Galera-server удалён, хотя при любом обновлении лучше иметь резервные копии.
6. Установите TokuDBчерез YUM, следуя инструкциям на Установка TokuDB.
7. Используйте одну из следующих команд для запуска MariaDB:
- Если ваша система использует systemctl:
sudo systemctl start mariadb
- Если ваша система не использует systemctl:
sudo /etc/init.d/ mariadb start¶ 2.1.5.3 Установка и настройка MySQL
В этом разделе описывается, как установить MySQL в качестве репозитория. Инструкции по установке других поддерживаемых баз данных смотрите в сторонней документации.
|
Внимание. Если вы используете MySQL в качестве репозитория Hive, вы должны использовать mysqlconnector-java-5.1.35.zip или более позднюю версию драйвера JDBC. |
¶ 2.1.5.3.1 Установка MySQL на РЕД ОС
Чтобы установить новый экземпляр MySQL:
1. Подключитесь к хост-машине, которую вы планируете использовать для Hive.
2. Установите сервер MySQL.
В окне терминала введите:
- Для РЕД ОС 7 установите сервер MySQL:
yum install mysql-community-release3. Запустите экземпляр.
/etc/init.d/mysqld start4. Временный пароль устанавливается автоматически. Чтобы его найти, используйте следующую команду:
sudo grep 'temporary password' /var/log/mysqld.log5. Удалите ненужную информацию из журнала и STDOUT:
mysqladmin -u root 2>&1 >/dev/null6. Войдите в MySQL как пользователь root:
mysql -u root -prootВ этом синтаксисе «root» — автоматически созданный пароль пользователя root.
7. Войдите в систему как пользователь root, создайте «dbuser» и предоставьте dbuser соответствующие привилегии:
[root@c6402 /]# mysql -u root -proot
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 11
Server version: 5.1.73 Source distribution
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'mynewAWESOMEpassw0rd^^';
Query OK, 0 rows affected (0.00 sec)
mysql> CREATE USER 'dbuser'@'localhost' IDENTIFIED BY 'dbuser';
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON *.* TO 'dbuser'@'localhost';
Query OK, 0 rows affected (0.00 sec)
mysql> CREATE USER 'dbuser'@'%' IDENTIFIED BY 'dbuser';
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON *.* TO 'dbuser'@'%';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON *.* TO 'dbuser'@'localhost' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)
mysql> GRANT ALL PRIVILEGES ON *.* TO 'dbuser'@'%' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)
mysql> 8. Используйте команду exit для выхода из MySQL.
9. Теперь вы сможете снова подключиться к базе данных как «dbuser», используя следующую команду:
mysql -u dbuser -pdbuserПосле тестирования входа в систему через dbuser, используйте команду exit для выхода из MySQL.
10. Установите коннектор MySQL файл .jar:
yum install mysql-connector-java*¶ 2.2 Настройка репозиториев
Чтобы настроить репозиторий на РЕД ОС:
sudo tee <<EOF -a /etc/yum.repos.d/rt.repo
[rt]
name=rt
baseurl=https://$YOUR_LOGIN:$YOUR_PASSWORD@repo.data.rt.ru/repository/rt.datalake_distr3.0.0_rpm_stable/
enabled=1
gpgcheck=0
EOFЧтобы настроить репозиторий на Ubuntu:
vi /etc/apt/sources.list
# добавить строку
deb [trusted=yes] https://$YOUR_LOGIN:$YOUR_PASSWORD@repo.data.rt.ru/repository/rt.datalake_distr3.3.0_deb_stable/ focal main
# выполнить команду
apt-get update¶ 2.3 Выбор типа развёртывания
Можно развернуть Hadoop на одном хосте, но лучше использовать как минимум четыре хоста: один master-хост и три slave-хоста.
¶ 2.4 Сбор информации
Чтобы развернуть Hadoop, вам потребуется следующая информация:
- Полное доменное имя (FQDN) для каждого хоста в вашей системе и компоненты, которые вы хотите установить на каждом хосте. Вы можете использовать команду для проверки полного доменного имени:
hostname -f
- Если вы устанавливаете Hive, вам потребуется имя хоста, имя базы данных, имя пользователя и пароль для экземпляра репозитория.
|
Примечание. Если вы используете существующий экземпляр, dbuser, который вы создаёте для Hadoop должен получить все привилегии для этого экземпляра. |
¶ 2.5 Подготовка окружения
Для развёртывания экземпляра Hadoop необходимо подготовить среду развёртывания, как представлено ниже в разделе.
¶ 2.5.1 Включение NTP на вашем кластере
Часы всех узлов в вашем кластере должны быть синхронизированы. Если ваша система не имеет доступа к Интернету, вам нужно настроить главный узел в качестве x-сервера NTP для достижения этой синхронизации.
Используйте следующие инструкции для включения NTP для вашего кластера:
1. Настройте NTP-клиентов, выполнив следующую команду на каждом узле в кластере:
- Для РЕД ОС:
- Настройте клиентов NTP:
yum install ntp
- Включите услугу:
systemctl enable ntpd
- Запустите NTPD:
systemctl start ntpd2. Включите службу, выполнив следующую команду на каждом узле в кластере:
- Для РЕД ОС:
chkconfig ntpd on3. Запустите NTP. Выполните следующую команду на всех узлах вашего кластера:
- Для РЕД ОС:
/etc/init.d/ntpd start4. Если вы хотите использовать существующий NTP-сервер в качестве х-сервера в вашей среде, завершите следующие шаги:
- Настройте файрвол на локальном NTP-сервере для включения входного трафика UDP на порту 123 и замените 192.168.1.0/24 на IP-адреса в кластере, как показано в следующем примере с использованием хостов RHEL:
# iptables -A RH-Firewall-1-INPUT -s 192.168.1.0/24 -m state
--state NEW -p udp --dport 123 -j ACCEPT
- Сохраните и перезапустите iptables. Выполните следующую команду на всех узлах вашего кластера:
# service iptables save
# service iptables restart
- Наконец, настройте клиенты на использование локального NTP-сервера. Отредактируйте файл /etc/ntp.conf и добавьте следующую строку:
server $LOCAL_SERVER_IP OR HOSTNAM¶ 2.5.2 Отключение SELinux
Функция Security-Enhanced (SE) Linux должна быть отключена во время процесса установки.
1. Проверьте состояние SELinux. На всех хост-машинах выполните следующую команду:
getenforceЕсли команда возвращает «disabled» или «permissive» в качестве ответа, дальнейшие действия не выполняются. Если результат «enabled», перейдите к следующему шагу.
2. Отключите SELinux временно для каждого сеанса или навсегда:
- Временно отключите SELinux, выполнив следующую команду:
setenforce 0
- Чтобы навсегда отключить SELinux, необходимо в файле /etc/sysconfig/selinux изменить значение поля SELinux на «disabled» или «permissive». Перезагрузите вашу систему.
¶ 2.5.3 Отключение IPTables
Поскольку определённые порты должны быть открыты и доступны во время установки, вы должны временно отключить iptables. Если протоколы безопасности при вашей установке не позволяют отключить iptables, вы можете продолжить с ними, если все соответствующие порты открыты и доступны; в противном случае установка кластера завершится неудачно.
- На хост-машинах РЕД ОС.
- выполните следующие команды для отключения firewalld:
systemctl stop firewalld
systemctl mask firewalldПерезапустите firewalld после завершения настройки.
|
Внимание. Если оставить iptables включённым и не настроить необходимые порты, установка кластера завершится неудачно. |
¶ 2.6 Определение параметров среды
Вы должны настроить определённых пользователей и каталоги для вашей установки Hadoop, используя следующие инструкции:
1. Определите каталоги.
В следующей таблице описаны каталоги, необходимые для установки, настройки, хранения данных, идентификаторов процессов и информации журнала на основе служб Hadoop, которые вы планируете установить. Используйте эту таблицу, чтобы определить, что вы собираетесь использовать для настройки вашей среды.
Таблица 4— Каталоги, необходимые для установки Core Hadoop
|
Сервис Hadoop |
Параметры |
Описание |
|---|---|---|
| HDFS | DFS_NAME_DIR |
Разделённый пробелами список каталогов, в которых NameNode должен хранить образ файловой системы. Например, /grid/hadoop/hdfs/nn /grid1/hadoop/hdfs/nn. |
| HDFS | DFS_DATA_DIR |
Разделённый пробелами список каталогов, в которых DataNodes должен хранить блоки. Например, /grid/hadoop/hdfs/dn /grid1/hadoop/hdfs/dn /grid2/hadoop/hdfs/dn. |
| HDFS | FS_CHECKPOINT_DIR |
Разделённый пробелами список каталогов, где SecondaryNameNode должен хранить изображение контрольной точки. Например, /grid/hadoop/hdfs/snn /grid1/hadoop/hdfs/snn /grid2/hadoop/hdfs/snn. |
| HDFS | HDFS_LOG_DIR |
Каталог для хранения логов HDFS. Это имя каталога является комбинацией каталога и $HDFS_USER. Например, /var/log/hadoop/hdfs, где hdfs — это $HDFS_USER. |
| HDFS | HDFS_PID_DIR |
Каталог для хранения идентификаторов процессов HDFS. Это имя каталога является комбинацией каталога и $HDFS_USER. Например, /var/run/hadoop/hdfs, где hdfs — это $HDFS_USER. |
| HDFS | HADOOP_CONF_DIR |
Каталог для хранения файлов конфигурации Hadoop. Например, /etc/hadoop/conf. |
| YARN | YARN_LOCAL_DIR |
Разделённый пробелами список каталогов, в которых YARN должен хранить временные данные. Например, /grid/hadoop/yarn /grid1/hadoop/yarn /grid2/hadoop/yarn. |
| YARN | YARN_LOG_DIR |
Каталог для хранения логов YARN. Например, /var/log/hadoop/yarn. Это имя каталога является комбинацией каталога и $YARN_USER. В примере yarn — это $YARN_USER. |
| YARN | YARN_LOCAL_LOG_DIR |
Разделённый пробелами список каталогов, в которых YARN хранит данные журнала контейнера. Например, /grid/hadoop/yarn/logs /grid1/hadoop/yarn/log. |
| YARN | YARN_PID_DIR |
Каталог для хранения идентификаторов процессов YARN. Например, /var/run/hadoop/yarn. Это имя каталога является комбинацией каталога и $YARN_USER. В примере yarn — это $YARN_USER. |
Таблица 5— Каталоги, необходимые для установки компонентов экосистемы
|
Сервис Hadoop |
Параметры |
Описание |
|---|---|---|
| Hive | HIVE_CONF_DIR |
Каталог для хранения файлов конфигурации Hive. Например, /etc/hive/conf. |
| Hive | HIVE_LOG_DIR |
Каталог для хранения логов Hive. Например, /var/log/hive. |
| Hive | HIVE_PID_DIR |
Каталог для хранения идентификаторов процессов Hive. Например, /var/run/hive. |
Если вы используете сопутствующие файлы, на следующем экране представлен пример того, как должен выглядеть ваш файл directoryies.sh после редактирования переменных, содержащих в названии «TODO»:
#!/bin/sh
#
# Directories Script
#
# 1. To use this script, you must edit the TODO variables below for your
environment.
#
# 2. Warning: Leave the other parameters as the default values. Changing
these default values requires you to
# change values in other configuration files.
#
#
# Hadoop Service - HDFS
#
# Space separated list of directories where NameNode stores file system
image. For example, /grid/hadoop/hdfs/nn /grid1/hadoop/hdfs/nn
DFS_NAME_DIR="TODO-LIST-OF-NAMENODE-DIRS";
# Space separated list of directories where DataNodes stores the blocks. For
example, /grid/hadoop/hdfs/dn /grid1/hadoop/hdfs/dn /grid2/hadoop/hdfs/dn
DFS_DATA_DIR="TODO-LIST-OF-DATA-DIRS";
# Space separated list of directories where SecondaryNameNode stores
checkpoint image. For example, /grid/hadoop/hdfs/snn /grid1/hadoop/hdfs/
snn /grid2/hadoop/hdfs/snn
FS_CHECKPOINT_DIR="TODO-LIST-OF-SECONDARY-NAMENODE-DIRS";
# Directory to store the HDFS logs.
HDFS_LOG_DIR="/var/log/hadoop/hdfs";
# Directory to store the HDFS process ID.
HDFS_PID_DIR="/var/run/hadoop/hdfs";
# Directory to store the Hadoop configuration files.
HADOOP_CONF_DIR="/etc/hadoop/conf";
#
# Hadoop Service - YARN
#
# Space separated list of directories where YARN stores temporary data. For
example, /grid/hadoop/yarn/local /grid1/hadoop/yarn/local /grid2/hadoop/
yarn/local
YARN_LOCAL_DIR="TODO-LIST-OF-YARN-LOCAL-DIRS";
# Directory to store the YARN logs.
YARN_LOG_DIR="/var/log/hadoop/yarn";
# Space separated list of directories where YARN stores container log data.
For example, /grid/hadoop/yarn/logs /grid1/hadoop/yarn/logs /grid2/hadoop/
yarn/logs
YARN_LOCAL_LOG_DIR="TODO-LIST-OF-YARN-LOCAL-LOG-DIRS";
# Directory to store the YARN process ID.
YARN_PID_DIR="/var/run/hadoop/yarn";
#
# Hadoop Service - MAPREDUCE
#
# Directory to store the MapReduce daemon logs.
MAPRED_LOG_DIR="/var/log/hadoop/mapred";
# Directory to store the mapreduce jobhistory process ID.
MAPRED_PID_DIR="/var/run/hadoop/mapred";
#
# Hadoop Service - Hive
#
# Directory to store the Hive configuration files.
HIVE_CONF_DIR="/etc/hive/conf";
# Directory to store the Hive logs.
HIVE_LOG_DIR="/var/log/hive";
# Directory to store the Hive process ID.
HIVE_PID_DIR="/var/run/hive";
#
# Hadoop Service - WebHCat (Templeton)
#
# Directory to store the WebHCat (Templeton) configuration files.
WEBHCAT_CONF_DIR="/etc/hcatalog/conf/webhcat";
# Directory to store the WebHCat (Templeton) logs.
WEBHCAT_LOG_DIR="var/log/webhcat";
# Directory to store the WebHCat (Templeton) process ID.
WEBHCAT_PID_DIR="/var/run/webhcat";
#
# Hadoop Service - HBase
#
# Directory to store the HBase configuration files.
HBASE_CONF_DIR="/etc/hbase/conf";
# Directory to store the HBase logs.
HBASE_LOG_DIR="/var/log/hbase";
# Directory to store the HBase logs.
HBASE_PID_DIR="/var/run/hbase";
#
# Hadoop Service - ZooKeeper
#
# Directory where ZooKeeper stores data. For example, /grid1/hadoop/
zookeeper/data
ZOOKEEPER_DATA_DIR="TODO-ZOOKEEPER-DATA-DIR";
# Directory to store the ZooKeeper configuration files.
ZOOKEEPER_CONF_DIR="/etc/zookeeper/conf";
# Directory to store the ZooKeeper logs.
ZOOKEEPER_LOG_DIR="/var/log/zookeeper";
# Directory to store the ZooKeeper process ID.
ZOOKEEPER_PID_DIR="/var/run/zookeeper";
#
# Hadoop Service - Pig
#
# Directory to store the Pig configuration files.
PIG_CONF_DIR="/etc/pig/conf";
# Directory to store the Pig logs.
PIG_LOG_DIR="/var/log/pig";
# Directory to store the Pig process ID.
PIG_PID_DIR="/var/run/pig";
#
# Hadoop Service - Oozie
#
# Directory to store the Oozie configuration files.
OOZIE_CONF_DIR="/etc/oozie/conf"
# Directory to store the Oozie data.
OOZIE_DATA="/var/db/oozie"
# Directory to store the Oozie logs.
OOZIE_LOG_DIR="/var/log/oozie"
# Directory to store the Oozie process ID.
OOZIE_PID_DIR="/var/run/oozie"
# Directory to store the Oozie temporary files.
OOZIE_TMP_DIR="/var/tmp/oozie"
#
# Hadoop Service - Sqoop
#
SQOOP_CONF_DIR="/etc/sqoop/conf"
#
# Hadoop Service - Accumulo
#
ACCUMULO_CONF_DIR="/etc/accumulo/conf";
ACCUMULO_LOG_DIR="/var/log/accumulo"2. В следующей таблице описаны системные учётные записи и группы пользователей. Используйте эту таблицу, чтобы определить, что вы собираетесь использовать при настройке вашей среды. Эти пользователи и группы должны отражать учётные записи, которые вы создаёте в разделе «Создание системных пользователей и групп» (п. 2.7). Загруженный вами файл scripts.zip содержит скрипт usersAndGroups.sh для настройки параметров среды пользователя и группы.
Таблица 6— Определение пользователей и групп для систем
|
Параметры |
Описание |
|---|---|
| HDFS_USER |
Пользователь, владеющий сервисами Hadoop Distributed File System Hadoop (HDFS). Например, hdfs. |
| YARN_USER |
Пользователь, владеющий сервисами YARN. Например, yarn. |
| HIVE_USER |
Пользователь, владеющий сервисами HIVE. Например, hive. |
| HADOOP_GROUP |
Общая группа, разделяемая службами. Например, hadoop. |
| KNOX_USER |
Пользователь, владеющий сервисами Knox Gateway. Например, knox. |
|
Внимание. Параметры, представленные в таблице, должны быть выставлены в системе. Для этого в файле /etc/profile.d/hadoop.sh примените настройки export HDFS_USER=hdfs. |
¶ 2.7 Создание системных пользователей и групп
Как правило, службы Hadoop должны принадлежать конкретным пользователям, а не пользователям root или приложений. В следующей таблице приведены типичные пользователи служб Hadoop. Если вы решите установить компоненты Hadoop с помощью RPM, эти пользователи будут настроены автоматически.
Если вы не устанавливаете с помощью RPM или хотите использовать других пользователей, вы должны определить пользователей, которых вы хотите использовать для своих служб Hadoop, и общую группу Hadoop и создать эти учётные записи в своей системе.
Чтобы создать эти учётные записи вручную, необходимо выполнить следующую процедуру:
- Добавьте пользователя в группу.
useradd -G <groupname> <username>Таблица 7— Типичные пользователи системы и группы
|
Сервис Hadoop |
Пользователь |
Группа |
|---|---|---|
| HDFS | hdfs | hadoop |
| YARN | yarn | hadoop |
| Hive | hive | hadoop |
| Knox Gateway | knox | hadoop |
¶ 2.8 Определение настроек конфигурации памяти Hadoop
Вы можете использовать любой из двух способов определения параметров конфигурации памяти YARN, перечисленных в разделе.
Скрипт утилиты Hadoop является рекомендуемым методом для расчёта параметров конфигурации памяти Hadoop, но информация, полученная при вычислении параметров конфигурации памяти YARN вручную, также может быть использована.
¶ 2.8.1 Запуск служебного скрипта YARN
В этом разделе описывается, как использовать скрипт yarn-utils.py для расчёта параметров выделения памяти YARN, Hive на основе спецификаций оборудования узла.
Скачайте скрипт yarn-utils.py
#!/usr/bin/env python
'''
Licensed to the Apache Software Foundation (ASF) under one
or more contributor license agreements. See the NOTICE file
distributed with this work for additional information
regarding copyright ownership. The ASF licenses this file
to you under the Apache License, Version 2.0 (the
"License"); you may not use this file except in compliance
with the License. You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
'''
import optparse
from pprint import pprint
import logging
import sys
import math
import ast
''' Reserved for OS + DN + NM, Map: Memory => Reservation '''
reservedStack = { 4:1, 8:2, 16:2, 24:4, 48:6, 64:8, 72:8, 96:12,
128:24, 256:32, 512:64}
''' Reserved for HBase. Map: Memory => Reservation '''
reservedHBase = {4:1, 8:1, 16:2, 24:4, 48:8, 64:8, 72:8, 96:16,
128:24, 256:32, 512:64}
GB = 1024
def getMinContainerSize(memory):
if (memory <= 4):
return 256
elif (memory <= 8):
return 512
elif (memory <= 24):
return 1024
else:
return 2048
pass
def getReservedStackMemory(memory):
if (reservedStack.has_key(memory)):
return reservedStack[memory]
if (memory <= 4):
ret = 1
elif (memory >= 512):
ret = 64
else:
ret = 1
return ret
def getReservedHBaseMem(memory):
if (reservedHBase.has_key(memory)):
return reservedHBase[memory]
if (memory <= 4):
ret = 1
elif (memory >= 512):
ret = 64
else:
ret = 2
return ret
def main():
log = logging.getLogger(__name__)
out_hdlr = logging.StreamHandler(sys.stdout)
out_hdlr.setFormatter(logging.Formatter(' %(message)s'))
out_hdlr.setLevel(logging.INFO)
log.addHandler(out_hdlr)
log.setLevel(logging.INFO)
parser = optparse.OptionParser()
memory = 0
cores = 0
disks = 0
hbaseEnabled = True
parser.add_option('-c', '--cores', default = 16,
help = 'Number of cores on each host')
parser.add_option('-m', '--memory', default = 64,
help = 'Amount of Memory on each host in GB')
parser.add_option('-d', '--disks', default = 4,
help = 'Number of disks on each host')
parser.add_option('-k', '--hbase', default = True,
help = 'True if HBase is installed, False is not')
(options, args) = parser.parse_args()
cores = int (options.cores)
memory = int (options.memory)
disks = int (options.disks)
hbaseEnabled = ast.literal_eval(options.hbase)
log.info("Using cores=" + str(cores) + " memory=" + str(memory) + "GB" +
" disks=" + str(disks) + " hbase=" + str(hbaseEnabled))
minContainerSize = getMinContainerSize(memory)
reservedStackMemory = getReservedStackMemory(memory)
reservedHBaseMemory = 0
if (hbaseEnabled):
reservedHBaseMemory = getReservedHBaseMem(memory)
reservedMem = reservedStackMemory + reservedHBaseMemory
usableMem = memory - reservedMem
memory -= (reservedMem)
if (memory < 2):
memory = 2
reservedMem = max(0, memory - reservedMem)
memory *= GB
containers = int (max(3, min(2 * cores,
min(math.ceil(1.8 * float(disks)),
memory/minContainerSize))))
log.info("Profile: cores=" + str(cores) + " memory=" + str(memory) + "MB"
+ " reserved=" + str(reservedMem) + "GB" + " usableMem="
+ str(usableMem) + "GB" + " disks=" + str(disks))
container_ram = abs(memory/containers)
if (container_ram > GB):
container_ram = int(math.floor(container_ram / 512)) * 512
log.info("Num Container=" + str(containers))
log.info("Container Ram=" + str(container_ram) + "MB")
log.info("Used Ram=" + str(int (containers*container_ram/float(GB))) + "GB")
log.info("Unused Ram=" + str(reservedMem) + "GB")
log.info("yarn.scheduler.minimum-allocation-mb=" + str(container_ram))
log.info("yarn.scheduler.maximum-allocation-mb=" + str(containers*container_ram))
log.info("yarn.nodemanager.resource.memory-mb=" + str(containers*container_ram))
map_memory = math.floor(container_ram / 2)
reduce_memory = container_ram
am_memory = min(map_memory, reduce_memory)
log.info("mapreduce.map.memory.mb=" + str(int(map_memory)))
log.info("mapreduce.map.java.opts=-Xmx" + str(int(0.8 * map_memory)) +"m")
log.info("mapreduce.reduce.memory.mb=" + str(int(reduce_memory)))
log.info("mapreduce.reduce.java.opts=-Xmx" + str(int(0.8 * reduce_memory)) + "m")
log.info("yarn.app.mapreduce.am.resource.mb=" + str(int(am_memory)))
log.info("yarn.app.mapreduce.am.command-opts=-Xmx" + str(int(0.8*am_memory)) + "m")
log.info("mapreduce.task.io.sort.mb=" + str(int(min(0.4 * map_memory, 1024))))
pass
if __name__ == '__main__':
try:
main()
except(KeyboardInterrupt, EOFError):
print("\nAborting ... Keyboard Interrupt.")
sys.exit(1)Чтобы запустить скрипт yarn-utils.py, выполните следующую команду из папки, содержащей следующие параметры скрипта yarn-utils.py.
Таблица 8— Параметры скрипта yarn-utils.py
|
Параметры |
Описание |
|---|---|
| -c CORES |
Количество ядер на каждом хосте. |
| -m MEMORY |
Объём памяти на каждом хосте, в гигабайтах. |
| -d DISKS |
Количество дисков на каждом хосте. |
| -k HBASE |
True, если HBase установлен; False, если нет. |
|
Примечание. Требуется Python 2.7 для запуска. Вы также можете использовать параметр -h или -help для отображения сообщения справки, в котором описаны параметры. |
¶ 2.8.2 Требования к вычислению памяти YARN
В этом разделе описывается, как вручную настроить параметры выделения памяти YARN в соответствии со спецификациями оборудования узла.
YARN учитывает все доступные вычислительные ресурсы на каждой машине в кластере. Основываясь на доступных ресурсах, YARN согласовывает запросы ресурсов от приложений, работающих в кластере. Затем YARN предоставляет вычислительную мощность каждому приложению, выделяя контейнеры. Контейнер является базовой единицей вычислительной мощности в YARN и представляет собой инкапсуляцию элементов ресурсов, таких как память и процессор.
В кластере Hadoop важно сбалансировать использование памяти (ОЗУ), процессоров (процессорных ядер) и дисков, чтобы обработка не была ограничена каким-либо из этих ресурсов кластера. Как общая рекомендация, использование двух контейнеров на диск и ядро даёт лучший баланс для использования кластера.
При определении соответствующих конфигураций памяти YARN для узла кластера следует начинать с доступных аппаратных ресурсов. В частности, обратите внимание на следующие значения на каждом узле:
- RAM (объём памяти);
- CORES (количество ядер ЦП);
- DISKS (количество дисков).
Общий объём доступной оперативной памяти для YARN должен учитывать зарезервированную память. Зарезервированная память — это оперативная память, необходимая системным процессам и другим процессам Hadoop:
зарезервированная память = резерв памяти стека + резерв памяти HBase (если HBase находится на том же узле)
Вы можете использовать значения в следующей таблице, чтобы определить, что вам нужно для зарезервированной памяти на узел.
Таблица 9— Рекомендации зарезервированной памяти
|
Общая память на узел |
Рекомендуемая зарезервированная системная память |
Рекомендуемая зарезервированная память HBase |
|---|---|---|
| 4 Гб | 1 Гб | 1 Гб |
| 8 Гб | 2 Гб | 1 Гб |
| 16 Гб | 2 Гб | 2 Гб |
| 24 Гб | 4 Гб | 4 Гб |
| 48 Гб | 6 Гб | 8 Гб |
| 64 Гб | 8 Гб | 8 Гб |
| 72 Гб | 8 Гб | 8 Гб |
| 96 Гб | 12 Гб | 16 Гб |
| 128 Гб | 24 Гб | 24 Гб |
| 256 Гб | 32 Гб | 32 Гб |
| 512 Гб | 64 Гб | 64 Гб |
После того, как вы определите объём памяти, который вам нужен для каждого узла, вы должны определить максимально допустимое количество контейнеров на узел:
Количество контейнеров = min (2 * CORES, 1.8 * DISKS, (общий объём доступной оперативной памяти) / MIN_CONTAINER_SIZE)
- DISKS — это значение для dfs.data.dirs (количество дисков данных) на машину;
- MIN_CONTAINER_SIZE — это минимальный размер контейнера (в ОЗУ). Это значение зависит от объёма доступной оперативной памяти; в меньших узлах памяти минимальный размер контейнера также должен быть меньше.
В следующей таблице приведены рекомендуемые значения.
Таблица 10— Рекомендуемый размер контейнера
|
Общее ОЗУ на узел |
Рекомендуемый минимальный размер контейнера |
|---|---|
| Менее 4 Гб |
256 Мб |
| 4 ‒ 8 Гб |
512 Мб |
| 8 ‒ 24 Гб |
1024 Мб |
| Более 24 Гб |
2048 Мб |
Наконец, вы должны определить объём оперативной памяти на контейнер:
ОЗУ на контейнер = макс. (MIN_CONTAINER_SIZE, (общая доступная ОЗУ на контейнеры)
Используя результаты всех предыдущих расчётов, вы можете настроить YARN.
Таблица 11— Значения конфигурации YARN
|
Файл конфигурации |
Настройка конфигурации |
Расчёт значения |
|---|---|---|
| yarn-site.xml | yarn.nodemanager.resource.memory-mb | = количество контейнеров * ОЗУ на контейнер |
| yarn-site.xml | yarn.scheduler.minimum-allocation-mb | = ОЗУ на контейнер |
| yarn-site.xml | yarn.scheduler.maximum-allocation-mb | = количество контейнеров * ОЗУ на контейнер |
| mapred-site.xml | mapreduce.map.memory.mb | = ОЗУ на контейнер |
| mapred-site.xml | mapreduce.reduce.memory.mb | = 2 * ОЗУ на контейнер |
| mapred-site.xml | mapreduce.map.java.opts | = 0,8 * ОЗУ на контейнер |
| mapred-site.xml | mapreduce.reduce.java.opts | = 0,8 * 2 * ОЗУ на контейнер |
| mapred-site.xml | yarn.app.mapreduce.am.resource.mb | = 2 * ОЗУ на контейнер |
| mapred-site.xml | yarn.app.mapreduce.am.command-opts | = 0,8 * 2 * ОЗУ на контейнер |
|
Примечание. После установки файлы yarn-site.xml и mapred-site.xml находятся в каталоге /etc/hadoop/conf. |
Примеры:
Предположим, что узлы вашего кластера имеют 12 ядер ЦП, 48 Гб ОЗУ и 12 дисков.
Зарезервированная память = 6 Гб, резерв системной памяти + 8 Гб для минимального размера контейнера HBase = 2 Гб.
Если HBase отсутствует, вы можете использовать следующий расчёт:
Количество контейнеров = мин (2 * 12, 1,8 * 12, (48 - 6) / 2) = мин (24, 21,6, 21) = 21
ОЗУ на контейнер = макс. (2, (48 - 6) / 21) = макс. (2, 2) = 2
Таблица 12— Пример расчёта значений без HBase
|
Конфигурация |
Расчёт значения |
|---|---|
| yarn.nodemanager.resource.memory-mb | = 21 * 2 = 42 * 1024 Мб |
| yarn.scheduler.minimum-allocation-mb | = 2 * 1024 Мб |
| yarn.scheduler.maximum-allocation-mb | = 21 * 2 = 42 * 1024 Мб |
| mapreduce.map.memory.mb | = 2 * 1024 Мб |
| mapreduce.reduce.memory.mb | = 2 * 2 = 4 * 1024 Мб |
| mapreduce.map.java.opts | = 0,8 * 2 = 1,6 * 1024 Мб |
| mapreduce.reduce.java.opts | = 0,8 * 2 * 2 = 3,2 * 1024 Мб |
| yarn.app.mapreduce.am.resource.mb | = 2 * 2 = 4 * 1024 Мб |
| yarn.app.mapreduce.am.command-opts | = 0,8 * 2 * 2 = 3,2 * 1024 Мб |
Если HBase включён:
Количество контейнеров = мин (2 * 12, 1,8 * 12, (48 – 6 - 8) / 2) = мин (24, 21,6, 17) = 17
ОЗУ на контейнер = макс. (2, (48-6-8) / 17) = макс. (2, 2) = 2
Таблица 13— Пример расчёта значений с учётом HBase
|
Конфигурация |
Расчёт значения |
|---|---|
| yarn.nodemanager.resource.memory-mb | = 17 * 2 = 34 * 1024 Мб |
| yarn.scheduler.minimum-allocation-mb | = 2 * 1024 Мб |
| yarn.scheduler.maximum-allocation-mb | = 17 * 2 = 34 * 1024 Мб |
| mapreduce.map.memory.mb | = 2 * 1024 Мб |
| mapreduce.reduce.memory.mb | = 2 * 2 = 4 * 1024 Мб |
| mapreduce.map.java.opts | = 0,8 * 2 = 1,6 * 1024 Мб |
| mapreduce.reduce.java.opts | = 0,8 * 2 * 2 = 3,2 * 1024 Мб |
| yarn.app.mapreduce.am.resource.mb | = 2 * 2 = 4 * 1024 Мб |
| yarn.app.mapreduce.am.command-opts | = 0,8 * 2 * 2 = 3,2 * 1024 Мб |
|
Примечание.
Весь кластер доступен для динамического распределения ресурсов задач Map и Reduce по мере необходимости для каждого задания. В предыдущем примере кластера с предыдущими конфигурациями YARN может выделять до 10 mappers (40/4) или 5 reducers (40/8) на каждом узле (или некоторую другую комбинацию mappers и redusers в пределах 40 Гб на каждый узел). |
¶ 2.9 Настройка heap size NameNode
Размер кучи (heap size) NameNode зависит от многих факторов, таких как количество файлов, количество блоков и нагрузка на систему. В следующей таблице приведены рекомендации по настройке heap size NameNode. Эти настройки должны работать для типичных кластеров Hadoop, в которых количество блоков очень близко к числу файлов (обычно среднее отношение количества блоков на файл в системе составляет 1,1 к 1,2).
Некоторые кластеры могут потребовать дальнейшей настройки следующих параметров. Кроме того, обычно лучше установить общую кучу (heap) Java на более высокое значение.
Таблица 14— Рекомендуемые параметры heap size NameNode
|
Количество файлов, в миллионах |
Общий heapsizeJava (Xmx и Xms) |
Young generation size (-XX:NewSize - XX:MaxNewSize) |
|---|---|---|
| < 1 | 1126 м | 128 м |
| 1 ‒ 5 | 3379 м | 512 м |
| 5 ‒ 10 | 5913 м | 768 м |
| 10 ‒ 20 | 10982 м | 1280 м |
| 20 ‒ 30 | 16332 м | 2048 м |
| 30 ‒ 40 | 21401 м | 2560 м |
| 40 ‒ 50 | 26752 м | 3072 м |
| 50 ‒ 70 | 36889 м | 4352 м |
| 70 ‒ 100 | 52659 м | 6144 м |
| 100 ‒ 125 | 65612 м | 7680 м |
| 125 ‒ 150 | 78566 м | 8960 м |
| 150 ‒ 200 | 104473 м | 8960 м |
|
Примечание. Рекомендуется использовать не более 300 миллионов файлов на узле NameNode. |
Вы также должны установить -XX:PermSize на 128 м и ‑XX:MaxPermSize на 256 м.
Ниже приведены рекомендуемые настройки для HDFS_NAMENODE_OPTS в файле hadoop-env.sh (заменяя ##### для ‑XX:NewSize, -XX:MaxNewSize, -Xms и -Xmx рекомендуемыми значениями из таблицы).
export HDFS_NAMENODE_OPTS="-server \
-XX:ParallelGCThreads=8 \
-XX:+UseConcMarkSweepGC \
-XX:ErrorFile=/var/log/hadoop/$USER/hs_err_pid%p.log \
-XX:NewSize=128m \
-XX:MaxNewSize=128m \
-Xms1126m \
-Xmx1126m \
-XX:PermSize=128m \
-XX:MaxPermSize=256m \
-Xloggc:/var/log/hadoop/$USER/gc.log-`date +'%Y%m%d%H%M'` \
-verbose:gc \
-XX:+PrintGCDetails \
-XX:+PrintGCTimeStamps \
-XX:+PrintGCDateStamps \
-Dhadoop.security.logger=INFO,DRFAS \
-Dhdfs.audit.logger=INFO,DRFAAUDIT \
-XX:+UseCMSInitiatingOccupancyOnly \
${HDFS_NAMENODE_OPTS} \
-XX:CMSInitiatingOccupancyFraction=70"Если кластер использует SecondaryNameNode, вам также следует установить HDFS_SECONDARYNAMENODE_OPTS в HDFS_NAMENODE_OPTS в файле hadoopenv.sh:
HDFS_SECONDARYNAMENODE_OPTS=$HDFS_NAMENODE_OPTSЕщё одна полезная настройка HDFS_NAMENODE_OPTS ‑XX:+HeapDumpOnOutOfMemoryError. Этот параметр указывает, что при возникновении ошибки нехватки памяти должен выполняться дамп heap. Вы также должны использовать -XX:HeapDumpPath, чтобы указать расположение файла дампа heap:
-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./etc/heapdump.hprof¶ 2.10 Выделение достаточного пространства для логирования
Журналы являются важной частью управления и эксплуатации вашего кластера Hadoop. В каталогах и дисках, которые вы назначаете для входа в Hadoop, должно быть достаточно места для ведения журналов во время операций Hadoop. Выделите как минимум 10 Гб свободного места для любого диска, который вы хотите использовать для ведения журнала Hadoop.
¶ 3. УСТАНОВКА HDFS, YARN И MAPREDUCE
В этом разделе описывается, как установить компоненты Hadoop Core: HDFS, YARN и MapReduce.
Выполните следующие действия для установки компонентов Hadoop Core:
- Установите разрешения по умолчанию для файлов и каталогов в соответствии с описанием п. 3.1.
- Установите пакеты Hadoop, как описано в п. 3.2.
- Создайте каталоги, описанные в п. 3.3.
¶ 3.1 Установка разрешений по умолчанию для файлов и каталогов
Установите права доступа к файлу и каталогу операционной системы по умолчанию на 0022 (022).
Используйте команду umask, чтобы подтвердить, что права доступа установлены по мере необходимости. Например, чтобы увидеть текущие настройки umask, введите:
umaskЕсли вы хотите установить umask по умолчанию для всех пользователей ОС, отредактируйте файл /etc/profile или другой подходящий файл для конфигурации оболочки в масштабе всей системы.
Убедитесь, что umask установлен для всех сеансов терминала, которые вы используете во время установки.
¶ 3.2 Установка пакетов Hadoop
Выполните следующую команду на всех узлах кластера.
- Для РЕД ОС:
yum install hadoop hadoop-hdfs hadoop-libhdfs hadoop-yarn hadoop-mapreduce
hadoop-client openssl¶ 3.3 Создание каталогов
Создайте каталоги и настройте права владения + разрешения на соответствующих хостах, как описано ниже.
Прежде чем вы начнёте:
- Если какой-либо из этих каталогов уже существует, рекомендуется удалить и пересоздать его.
Выполните следующие действия для создания соответствующих каталогов:
- Создайте каталоги NameNode, как описано в п. 3.3.1.
- Создайте каталоги SecondaryNameNode, как описано в п. 3.3.2.
- Создайте локальные каталоги DataNode и YARN NodeManager, как описано в п. 3.3.3.
¶ 3.3.1 Создание каталогов NameNode
На узле, на котором размещена служба NameNode, выполните следующие команды:
mkdir -p $DFS_NAME_DIR;
chown -R $HDFS_USER:$HADOOP_GROUP $DFS_NAME_DIR;
chmod -R 755 $DFS_NAME_DIR;Где:
- $DFS_NAME_DIR — это список каталогов, разделённых пробелами, в котором NameNode хранит образ файловой системы. Например, /grid/hadoop/hdfs/nn /grid1/hadoop/hdfs/nn.
- $HDFS_USER — пользователь, владеющий службами HDFS. Например, hdfs.
- $HADOOP_GROUP — это общая группа, используемая службами. Например, hadoop.
¶ 3.3.2 Создание каталогов SecondaryNameNode
На всех узлах, которые могут потенциально запускать службу SecondaryNameNode, выполните следующие команды:
mkdir -p $FS_CHECKPOINT_DIR;
chown -R $HDFS_USER:$HADOOP_GROUP $FS_CHECKPOINT_DIR;
chmod -R 755 $FS_CHECKPOINT_DIR;Где:
- $FS_CHECKPOINT_DIR — это разделённый пробелами список каталогов, где SecondaryNameNode должен хранить изображение контрольной точки. Например, /grid/hadoop/hdfs/snn /grid1/hadoop/hdfs/snn /grid2/hadoop/hdfs/snn.
- $HDFS_USER — пользователь, владеющий службами HDFS. Например, hdfs.
- $HADOOP_GROUP — это общая группа, используемая службами. Например, hadoop.
¶ 3.3.3 Создание локальных каталогов DataNode и YARN NodeManager
На каждом DataNode выполните следующие команды:
mkdir -p $DFS_DATA_DIR;
chown -R $HDFS_USER:$HADOOP_GROUP $DFS_DATA_DIR;
chmod -R 750 $DFS_DATA_DIR;Где:
- $DFS_DATA_DIR — это разделённый пробелами список каталогов, в которых узлы данных должны хранить блоки. Например, /grid/hadoop/hdfs/dn /grid1/hadoop/hdfs/dn /grid2/hadoop/hdfs/dn.
- $HDFS_USER — пользователь, владеющий службами HDFS. Например, hdfs.
- $HADOOP_GROUP — это общая группа, используемая службами. Например, hadoop.
На каждом ResourceManager и всех узлах данных выполните следующие команды:
mkdir -p $YARN_LOCAL_DIR;
chown -R $YARN_USER:$HADOOP_GROUP $YARN_LOCAL_DIR;
chmod -R 755 $YARN_LOCAL_DIR;Где:
- $YARN_LOCAL_DIR — это список каталогов, разделённых пробелами, в которых YARN должен хранить данные журнала контейнера. Например, /grid/hadoop/yarn/local /grid1/hadoop/yarn/local /grid2/hadoop/yarn/local.
- $YARN_USER — пользователь, владеющий сервисами YARN. Например, yarn.
- $HADOOP_GROUP — это общая группа, используемая службами. Например, hadoop.
На каждом ResourceManager и всех узлах данных выполните следующие команды:
mkdir -p $YARN_LOCAL_LOG_DIR;
chown -R $YARN_USER:$HADOOP_GROUP $YARN_LOCAL_LOG_DIR;
chmod -R 755 $YARN_LOCAL_LOG_DIR;Где:
- $YARN_LOCAL_LOG_DIR — это разделённый пробелами список каталогов, где YARN должен хранить временные данные. Например, /grid/hadoop/yarn/logs /grid1/hadoop/yarn/logs /grid2/hadoop/yarn/logs.
- $YARN_USER — пользователь, владеющий сервисами YARN. Например, yarn.
- $HADOOP_GROUP — это общая группа, используемая службами. Например, hadoop.
¶ 4. НАСТРОЙКА КОНФИГУРАЦИИ HADOOP
В этом разделе описывается, как настроить и отредактировать файлы конфигурации развёртывания для HDFS и MapReduce.
Вы должны установить несколько файлов конфигурации для HDFS и MapReduce.
1. В каталоге /etc/hadoop/conf найдите следующие файлы и измените свойства в зависимости от среды.
Ищите TODO в файлах для свойств, которые нужно заменить. Для получения дополнительной информации см. п. 2.6 в данной Инструкции.
- Отредактируйте core-site.xml и измените следующие свойства:
<property>
<name>fs.defaultFS</name>
<value>hdfs://$namenode.full.hostname:8020</value>
<description>Enter your NameNode hostname</description>
</property>
<property>
<name>hdp.version</name>
<value>${hdp.version}</value>
<description>Replace with the actual HDP version</description>
</property>
- Отредактируйте hdfs-site.xml и измените следующие свойства:
<property>
<name>dfs.namenode.name.dir</name>
<value>/grid/hadoop/hdfs/nn</value>
<description>Comma-separated list of paths. Use the list of directories from $DFS_NAME_DIR. For example, /grid/hadoop/hdfs/nn,/grid1/hadoop/hdfs/nn.</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///grid/hadoop/hdfs/dn</value>
<description>Comma-separated list of paths. Use the list of directories from $DFS_DATA_DIR. For example, file:///grid/hadoop/hdfs/dn, file:///grid1/ hadoop/hdfs/dn.</description>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>$namenode.full.hostname:50070</value>
<description>Enter your NameNode hostname for http access.</description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>$secondary.namenode.full.hostname:50090</value>
<description>Enter your Secondary NameNode hostname.</description>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/grid/hadoop/hdfs/snn,/grid1/hadoop/hdfs/snn,/grid2/hadoop/hdfs/snn</value>
<description>A comma-separated list of paths. Use the list of directories from $FS_CHECKPOINT_DIR. For example, /grid/hadoop/hdfs/snn, sbr/grid1/hadoop/hdfs/ snn,sbr/grid2/hadoop/hdfs/snn </description>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>/grid/hadoop/hdfs/snn</value>
<description>A comma-separated list of paths. Use the list of directories from $FS_CHECKPOINT_DIR. For example, /grid/hadoop/hdfs/snn, sbr/grid1/hadoop/hdfs/snn,sbr/grid2/hadoop/hdfs/snn </description>
</property>
<property>
<name>dfs.namenode.rpc-address</name>
<value>namenode_host_name:8020>
<description>The RPC address that handles all clients requests.</description.>
</property>
<property>
<name>dfs.namenode.https-address</name>
<value>namenode_host_name:50470>
<description>The namenode secure http server address and port.</description.>
</property>
|
Примечание. Максимальное значение new generationsize NameNode (‑XX:MaxnewSize) должно составлять 1/8 от максимального heap size (‑Xmx). Убедитесь, что вы проверили настройки по умолчанию для вашей среды. |
- Отредактируйте yarn-site.xml и измените следующие свойства:
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>$resourcemanager.full.hostname:8025</value>
<description>Enter your ResourceManager hostname.</description>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>$resourcemanager.full.hostname:8030</value>
<description>Enter your ResourceManager hostname.</description>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>$resourcemanager.full.hostname:8050</value>
<description>Enter your ResourceManager hostname.</description>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>$resourcemanager.full.hostname:8141</value>
<description>Enter your ResourceManager hostname.</description>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/grid/hadoop/yarn/local,/grid1/hadoop/yarn/local</value>
<description>Comma separated list of paths. Use the list of directories from $YARN_LOCAL_DIR.For example, /grid/hadoop/yarn/local,/grid1/hadoop/yarn/ local.</description>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/grid/hadoop/yarn/log</value>
<description>Use the list of directories from $YARN_LOCAL_LOG_DIR. For example, /grid/hadoop/yarn/log,/grid1/hadoop/yarn/log,/grid2/hadoop/yarn/log</description>
</property>
<property>
<name>yarn.nodemanager.recovery</name.dir>
<value>{hadoop.tmp.dir}/yarn-nm-recovery</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://$jobhistoryserver.full.hostname:19888/jobhistory/logs/</value>
<description>URL for job history server</description>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>$resourcemanager.full.hostname:8088</value>
<description>URL for job history server</description>
</property>
<property>
<name>yarn.timeline-service.webapp.address</name>
<value><Resource_Manager_full_hostname>:8188</value>
</property>
- Отредактируйте mapred-site.xml и измените следующие свойства:
<property>
<name>mapreduce.jobhistory.address</name>
<value>$jobhistoryserver.full.hostname:10020</value>
<description>Enter your JobHistoryServer hostname.</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>$jobhistoryserver.full.hostname:19888</value>
<description>Enter your JobHistoryServer hostname.</description>
</property>2. На каждом узле кластера создайте пустой файл с именем dfs.exclude внутри $HADOOP_CONF_DIR. Добавьте следующее в /etc/profile:
touch $HADOOP_CONF_DIR/dfs.exclude
export JAVA_HOME=/usr/java/default
JAVA_HOME=<java_home_path>
export JAVA_HOME
HADOOP_CONF_DIR=/etc/hadoop/conf/
export HADOOP_CONF_DIR
export PATH=$PATH:$JAVA_HOME:$HADOOP_CONF_DIR3. [Опционально] Если вы используете LinuxContainerExecutor, вы должны настроить container-executor.cfg в каталоге config. Файл должен принадлежать пользователю root: root. Настройки имеют вид key=value с одним ключом на строку. Там должны быть записи для всех ключей. Если вы не хотите назначать значение для ключа, вы можете оставить его неустановленным в виде key=#.
Ключи определены следующим образом:
- yarn.nodemanager.linux-container-executor.group — настроенное значение yarn.nodemanager.linux-container-executor.group. Это должно соответствовать значению yarn.nodemanager.linux-container-executor.group в yarn-site.xml.
- banned.users — список пользователей, разделённых запятыми, которые не могут запустить containerexecutor.
- min.user.id — минимальное значение идентификатора пользователя, чтобы пользователи системы не запускали контейнер-исполнитель.
- allow.system.users — список разрешённых пользователей системы через запятую.
4. Замените параметры конфигурации памяти по умолчанию в yarn-site.xml и mapredsite.xml на параметры конфигурации памяти YARN и MapReduce, которые вы вычислили ранее. Заполните значения памяти/ЦП, которые соответствуют тому, что документация или вспомогательные сценарии предлагают для вашей среды.
5. Скопируйте файлы конфигурации.
- На всех хостах в вашем кластере создайте каталог конфигурации Hadoop:
rm -rf $HADOOP_CONF_DIR
mkdir -p $HADOOP_CONF_DIRгде $HADOOP_CONF_DIR — это каталог для хранения файлов конфигурации Hadoop. Например, /etc/hadoop/conf.
- Скопируйте все файлы конфигурации в $HADOOP_CONF_DIR.
- Установите соответствующие разрешения:
chown -R $HDFS_USER:$HADOOP_GROUP $HADOOP_CONF_DIR/../
chmod -R 755 $HADOOP_CONF_DIR/../Где:
- $HDFS_USER — пользователь, владеющий службами HDFS. Например, hdfs.
- $HADOOP_GROUP — это общая группа, используемая службами. Например, hadoop.
6. Задайте параметры Concurrent Mark-Sweep (CMS) Garbage Collector (GC).
На хосте NameNode откройте файл etc/hadoop/conf/hadoop-env.sh.
Найдите export HADOOP_NAMENODE_OPTS=<parameters> и добавьте следующие параметры:
-XX:+UseCMSInitiatingOccupancyOnly
-XX:CMSInitiatingOccupancyFraction=70По умолчанию CMS GC использует набор эвристических правил для запуска сборки мусора. Это делает сборку мусора менее предсказуемой и приводит к задержке сбора до тех пор, пока старое поколение не будет почти полностью занято. Его предварительное инициирование позволяет завершить сборку мусора до того, как старое поколение заполнится, и, таким образом, избежать полного сбора мусора (то есть пауза «stop-the-world»).
- -XX:+UseCMSInitiatingOccupancy только предотвращает использование эвристики GC.
- -XX:CMSInitiatingOccupancyFraction=<percent> сообщает Java VM, когда CMS должен быть запущен. По сути, это позволяет создать буфер в heap, который может быть заполнен данными во время работы CMS. Этот процент должен быть рассчитан обратно из скорости, с которой память используется в old generation во время производственной нагрузки. Если этот процент установлен слишком низко, CMS запускается слишком часто; если он установлен слишком высоко, CMS запускается слишком поздно, и может произойти сбой в режиме одновременной работы. Рекомендуемая настройка для ‑XX:CMSInitiatingOccupancyFraction — 70, что означает, что приложение должно использовать менее 70% old generation.
¶ 5. ПРОВЕРКА ПРАВИЛЬНОСТИ УСТАНОВКИ ЯДРА HADOOP
Выполните следующие действия, чтобы запустить ядро Hadoop и выполнить smoke test:
- Отформатируйте и запустите HDFS в соответствии с п. 5.1.
- Выполните smoke test HDFS, как описано в п. 5.2.
- Настройте YARN и MapReduce в соответствии с п. 5.3.
- Запустите YARN, как описано в п. 5.4.
- Запустите сервер MapReduce JobHistory, как описано в п. 5.5.
- Выполните smoke test MapReduce в соответствии с п. 5.6.
¶ 5.1 Форматирование и запуск HDFS
1. Измените значение JAVA_HOME в файле hadoop-env.sh:
export JAVA_HOME=/usr/java/default2. Выполните следующие команды на NameNode:
/etc/init.d/hadoop-hdfs-namenode init
/etc/init.d/hadoop-hdfs-namenode start3. Выполните следующие команды на SecondaryNameNode:
hdfs --daemon start secondarynamenode4. Выполните следующие команды на всех DataNodes:
hdfs --daemon start datanode¶ 5.2 Smoke test HDFS
1. Определите, можете ли вы подключиться к серверу NameNode с помощью браузера:
http://$namenode.full.hostname:500702. Создайте каталог пользователя hdfs в HDFS:
su - $HDFS_USER
hdfs dfs -mkdir -p /user/hdfs3. Попробуйте скопировать файл в HDFS и перечислить этот файл:
hdfs dfs -copyFromLocal /etc/passwd passwd
hdfs dfs -ls4. Используйте веб-интерфейс NameNode и меню Утилиты для просмотра файловой системы.
¶ 5.3 Настройка YARN и MapReduce
После установки Hadoop измените ваши настройки.
1. Скопируйте mapred-site.xml из сопутствующих файлов и внесите следующие изменения в mapred-site.xml:
- Добавьте:
<property>
<name>mapreduce.admin.map.child.java.opts</name>
<value>-server -Djava.net.preferIPv4Stack=true</value>
<final>true</final>
</property>
- Измените следующие существующие свойства:
<property>
<name>mapreduce.admin.user.env</name>
<value>LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native</value>
</property>
<property>
<name>mapreduce.application.framework.path</name>
<value>$HADOOP_CONF_DIR/*,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>$HADOOP_CONF_DIR/*,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value>
</property>2. Скопируйте файл yarn-site.xml из сопутствующих файлов и измените:
<property>
<name>yarn.application.classpath</name>
<value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value>
</property>3. Для защищённых кластеров вы должны создать и настроить файл конфигурации container-executor.cfg:
- Создайте файл container-executor.cfg в /etc/hadoop/conf/.
- Вставьте следующие свойства:
yarn.nodemanager.linux-container-executor.group=hadoop
banned.users=hdfs,yarn,mapred
min.user.id=1000Установите права доступа к файлу /etc/hadoop/conf/container-executor.cfg только для пользователя root:
chown root:hadoop /etc/hadoop/conf/container-executor.cfg
chmod 400 /etc/hadoop/conf/container-executor.cfg
- Настройте программу container-executor так, чтобы её могли выполнять только пользователи группы root или hadoop:
chown root:hadoop /usr/lib/hadoop-yarn/bin/container-executor
chmod 6050 /usr/lib/hadoop-yarn/bin/container-executor¶ 5.4 Запуск YARN
1. В качестве $YARN_USER выполните следующую команду с сервера ResourceManager:
su -l yarn -c "/etc/init.d/hadoop-yarn-resourcemanager start
--config $HADOOP_CONF_DIR start resourcemanager"2. В качестве $YARN_USER выполните следующую команду со всех узлов NodeManager:
su -l yarn -c "/etc/init.d/hadoop-yarn-nodemanager start
--config $HADOOP_CONF_DIR start nodemanager"Где:
- $HADOOP_CONF_DIR — это каталог для хранения файлов конфигурации Hadoop. Например, /etc/hadoop/conf.
¶ 5.5 Запуск сервера MapReduce JobHistory
1. Выполните эти команды с сервера JobHistory, чтобы настроить каталоги в HDFS:
hdfs dfs -mkdir -p /tmp/hadoop-yarn/staging/history/done
hdfs dfs -chmod 1770 /tmp/hadoop-yarn/staging/history/done
hdfs dfs -chown $MAPRED_USER:$MAPRED_USER_GROUP /tmp/hadoop-yarn/staging/history/done
hdfs dfs -mkdir -p /tmp/hadoop-yarn/staging/history/done_intermediate
hdfs dfs -chmod 1770 /tmp/hadoop-yarn/staging/history/done_intermediate
hdfs dfs -chown $MAPRED_USER:$MAPRED_USER_GROUP /tmp/hadoop-yarn/staging/history/done_intermediate
hdfs dfs -mkdir -p /app-logs
hdfs dfs -chmod 1777 /app-logs
hdfs dfs -chown $YARN_USER:$HADOOP_GROUP /app-logs2. Выполните следующую команду с сервера JobHistory:
/etc/init.d/hadoop-mapreduce-historyserver startГде:
- $HADOOP_CONF_DIR — это каталог для хранения файлов конфигурации Hadoop. Например, /etc/hadoop/conf.
¶ 5.6 Smoke test MapReduce
1. Перейдите к ResourceManager:
http://$resourcemanager.full.hostname:8088/2. Создайте $CLIENT_USER на всех узлах и добавьте его в группу пользователей.
useradd client
usermod -a -G users client3. Как пользователь HDFS, создайте /user/$CLIENT_USER.
sudo su - $HDFS_USER
hdfs dfs -mkdir /user/$CLIENT_USER
hdfs dfs -chown $CLIENT_USER:$CLIENT_USER /user/$CLIENT_USER
hdfs dfs -chmod -R 755 /user/$CLIENT_USER4. Перед запуском smoke test произведите настройки. В файл etc/hadoop/conf/hadoop-env.sh добавьте следующее:
export HADOOP_CLIENT_OPTS="-Xmx4G $HADOOP_CLIENT_OPTS"5. Запустите smoke test как $CLIENT_USER, предварительно перейдя под него от пользователя root. Используя terasort, отсортируйте 10 Гб данных.
su - $CLIENT_USER
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar teragen 10000 tmp/teragenout
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar terasort tmp/teragenout tmp/terasortout¶ 6. УСТАНОВКА HIVE И HCATALOG
В этом разделе описывается установка и тестирование Hive, инструмента для создания SQL-запросов более высокого уровня с использованием HiveQL, его родного языка, который можно скомпилировать в последовательности программ MapReduce. В нём также описывается установка и тестирование HCatalog, уровня абстракции метаданных, который изолирует пользователей и скрипты от того, как и где физически хранятся данные.
Выполните следующие действия для установки Hive и HCatalog:
- Установите пакет Hive-HCatalog, как описано в п. 7.1.
- Настройте файлы конфигурации Hive/HCatalog в соответствии с п. 7.2.
- Настройте базу данных для Hive Metastore в соответствии с п. 7.3.
¶ 6.1 Установка пакета Hive-HCatalog
|
Примечание. Рекомендуется изменить лимит на количество процессов, которые может использовать пользователь hive. Для этого в файл /etc/security/limits.conf необходимо добавить записи, представленные ниже. |
Для незащищённых кластеров:
<hive user ID> soft nproc 128
<hive user ID> hard nproc 1024Для защищённых кластеров:
<hive user ID> soft nproc 128
<hive user ID> hard nproc 327681. На всех клиентских/шлюзовых узлах (на которых выполняются программы Hive), Hive Metastore Server и машине HiveServer2 установите RPM-пакеты Hive.
- Для РЕД ОС:
yum install hive-hcatalog2. [Опционально] Загрузите и установите файл .jar коннектора базы данных для базы данных Hive metastore.
По умолчанию Hive использует встроенную базу данных Derby для своего репозитория. Однако Derby не рекомендуется для производственного использования. Используйте MySQL, SQL Server или Postgres для производственного использования.
Вам необходимо установить соответствующий JDBC-коннектор для вашего репозитория Hive.
Ростелеком рекомендует использовать встроенный экземпляр репозитория Hive с HiveServer2. Внедренный репозиторий работает в том же процессе с HiveServer2, а не как отдельный демон.
|
Внимание. Если вы используете MySQL, вы должны использовать mysql-connector-java-5.1.35.zip или более позднюю версию драйвера JDBC. |
Например, если вы ранее установили MySQL, вы бы использовали следующие шаги для установки коннектора MySQL JDBC:
- Выполните следующую команду на репозитории Hive.
Для РЕД ОС:
yum install mysql-connector-java*
- После установки файл .jar коннектора MySQL помещается в каталог /usr/share/java/. Скопируйте загруженный файл .jar в каталог /usr/lib/hive/lib на хост-машине Hive.
cp /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib
- Убедитесь, что файл .jar имеет как минимум минимальный набор необходимых разрешений.
ls -la /usr/lib/hive/lib/mysql-connector-java.jar
-rw-r--r-- 1 root root /usr/lib/hive/lib/mysql-connector-java.jar¶ 6.2 Настройка файлов конфигурации Hive/HCatalog
|
Примечание. При использовании HiveServer2 в режиме HTTP вы должны настроить отображение из принципалов Kerberos на короткие имена в параметре свойства hadoop.security.auth_to_local в файле core-site.xml. |
Используйте следующие инструкции для настройки файлов конфигурации Hive/HCatalog.
1. Измените файлы конфигурации.
В каталоге /etc/hive/conf отредактируйте файл hive-site.xml и измените свойства в зависимости от вашей среды.
Отредактируйте свойства подключения для вашего репозитория Hive в hive-site.xml в соответствии с вашей собственной кластерной средой.
|
Внимание. Чтобы предотвратить утечки памяти в небезопасном режиме, отключите кэши файловой системы, установив для следующих параметров значение true в hive-site.xml:
|
2. [Опционально] Если вы хотите авторизацию Hive на основе хранилища, задайте следующие параметры авторизации Hive в файле hive-site.xml:
<property>
<name>hive.metastore.pre-event.listeners</name>
<value>org.apache.hadoop.hive.ql.security.authorization.
AuthorizationPreEventListener</value>
</property>
<property>
<name>hive.security.metastore.authorization.manager</name>
<value>org.apache.hadoop.hive.ql.security.authorization.
StorageBasedAuthorizationProvider</value>
</property>
<property>
<name>hive.security.authenticator.manager</name>
<value>org.apache.hadoop.hive.ql.security.ProxyUserAuthenticator</
value>
</property>3. Для удалённого репозитория Hive используйте следующее значение свойства hive-site.xml, чтобы задать IP-адрес (или полное доменное имя) и порт хоста репозитория.
<property>
<name>hive.metastore.uris</name>
<value>thrift://$metastore.server.full.hostname:9083</value>
<description>URI for client to contact metastore server. To enable HiveServer2, leave the property value empty.</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://$metastore.server.full.name:3306/metastore?serverTimezone=UTC</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>myhiveAWESOMEpassw0rd^^</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://$metastore.server.full.name:9083</value>
<description>URI for client to contact metastore server. To enable HiveServer2, leave the property value empty.</description>
</property>
</configuration>Чтобы включить HiveServer2 для удалённых клиентов Hive, присвойте этому свойству пустое значение. Ростелеком рекомендует использовать встроенный экземпляр Hive Metastore с HiveServer2. Встроенный репозиторий работает в том же процессе с HiveServer2, а не как отдельный демон. Вы также можете настроить HiveServer2 для использования встроенного экземпляра репозитория из командной строки:
hive --service hiveserver2 -hiveconf hive.metastore.uris=""4. [Опционально] По умолчанию Hive обеспечивает уникальность имён столбцов в результатах запроса, возвращаемых для операторов SELECT, путём добавления имён столбцов с псевдонимом таблицы.
Администраторы, которым не нужен префикс псевдонима таблицы для имён столбцов таблицы, могут отключить это поведение, установив следующее свойство конфигурации:
<property>
<name>hive.resultset.use.unique.column.names</name>
<value>false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>myhiveAWESOMEpassw0rd^^</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://HOSTNAME:9083</value>
<description>URI for client to contact metastore server. To enable HiveServer2, leave the property value empty.</description>
</property>
</configuration>
|
Внимание. Ростелеком рекомендует при развертывании отключить кэш DataNucleus, установив для параметра конфигурации datanucleus.cache.level2.type значение none. Параметр конфигурации datanucleus.cache.level2 игнорируется, и присвоение этому параметру значения none не дает желаемого эффекта. |
¶ 6.3 Настройка базы данных для Hive Metastore
Используйте следующие шаги, чтобы настроить базу данных для вашего Hive Metastore. Этот шаг должен быть выполнен при первом запуске репозитория.
1. Прежде чем настроить базу данных для Hive Metastore, в файл /etc/profile.d/hadoop.sh добавьте следующую строчку:
export HIVE_HOME=/usr/lib/hive2. Добавьте пользователя hive в mysql и добавьте ему гранты, используя команду:
# mysql -u root -pmynewAWESOMEpassw0rd^^
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 55
Server version: 8.0.21 MySQL Community Server - GPL
Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
create user 'hive'@'fqdn_машины_пользователя_c_hive’ identified by "myhiveAWESOMEpassw0rd^^";
create user 'hive'@'localhost' identified by 'myhiveAWESOMEpassw0rd^^';
create database hive;
grant ALL ON hive.* TO 'hive'@'fqdn_машины_пользователя_c_hive’;
grant ALL ON hive.* TO 'hive'@'localhost';
create database metastore;
grant ALL ON metastore.* TO 'hive'@'fqdn_машины_пользователя_c_hive’;
grant ALL ON metastore.* TO 'hive'@'localhost';
flush privileges;
flush hosts;3) Инициализируйте схему базы данных Hive Metastore:
$HIVE_HOME/bin/schematool -initSchema -dbType $databaseTypeЗначение для $databaseType может быть derby, mysql или postgres.
$HIVE_HOME по умолчанию настроен на /usr/lib/hive.
4. Отключить автосоздание схем. Отредактируйте файл hive-site.xml, чтобы установить для значения datanucleus.autoCreateSchema значение false:
<property>
<name>datanucleus.autoCreateSchema</name>
<value>false</value>
<description>Creates necessary schema on a startup if one doesn't
exist</ description>
</property>5. Запустите службу Hive Metastore.
su - hive -c "nohup /usr/lib/hive/hive-metastore/bin/hive --service
metastore>/var/log/hive/hive.out 2>/var/log/hive/hive.log &"
|
Примечание. После выполнения команды su -hive вы можете получить следующую ошибку: su hive This account is currently not available. Если вы получите эту ошибку, вам может потребоваться переназначить оболочку $HIVE_USER. Вы можете подтвердить это, посмотрев следующую строку в etc/passwd: hive:x:493:493:Hive:/var/lib/hive:/sbin/nologin63 Это указывает на то, что $HIVE_USER назначен оболочке sbin/nologin, которая блокирует доступ. Вы можете использовать следующую команду, чтобы назначить $HIVE_USER для оболочки bin/bash. sudo chsh -s /bin/bash hive Эта команда должна вернуть следующее: Changing shell for hive. Shell changed. После этого вы сможете успешно выполнить команду su -$HIVE_USER. |
6. Smoke test Hive.
- Откройте командную строку Hive, введя следующее в окне терминала:
hive
- Выполните примеры команд:
hive> show databases;create table test(col1 int, col2 string); show tables;
show databases;create table test(col1 int, col2 string); show tables;
OK
default
Time taken: 0.619 seconds, Fetched: 1 row(s)
OK
Time taken: 0.531 seconds
OK
test
Time taken: 0.063 seconds, Fetched: 1 row(s)7. Запустите HiveServer2:
su - $HIVE
nohup /usr/lib/hive/bin/hiveserver2 >/var/log/hive/hiveserver2.out 2>
/var/log/hive/hiveserver2.log &8. Smoke test HiveServer2:
- Откройте оболочку командной строки Beeline для взаимодействия с HiveServer2 и установите соединение с сервером:
beeline -u "jdbc:hive2://" -n hive -p myhiveAWESOMEpassw0rd^^ -d
"org.apache.hive.jdbc.HiveDriver
- Запустите примеры команд:
show databases; create table test2(a int, b string); show table
¶ 7. ИСПОЛЬЗОВАНИЕ HADOOP
¶ 7.1 Инструкция по работе с HDFS
Для работы с HDFS через командную строку необходимо использовать нативный shell-клиент для HDFS.
Для использования shell-команд, с помощью которых можно взаимодействовать с HDFS, необходимо в терминале запустить скрипт bin/hdfs.
При запуске скрипта bin/hdfs без аргументов будет выведен перечень всех возможных команд.
Чтобы запустить конкретную команду, необходимо воспользоваться синтаксисом и перечнем команд, приведёнными ниже.
Общий синтаксис команд:
hadoop [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]Описание параметров и классов команд представлено ниже.
Таблица 16— Параметры и классы
|
COMMAND_OPTIONS |
Описание |
|---|---|
| SHELL_OPTIONS |
Общий набор shell-параметров. |
| GENERIC_OPTIONS |
Общий набор параметров, поддерживаемый несколькими командами. |
| COMMAND COMMAND_OPTIONS |
В следующих пунктах раздела описаны различные пользовательские команды с их параметрами. |
¶ 7.1.1 [classpath] Вывод пути к классу
Команда classpath выводит путь к классу, необходимый для получения jar-файла Hadoop и необходимых библиотек.
Если вызывается без аргументов, выводит путь к классам, установленных командными скриптами, который будет содержать символы в записях пути к классам. Дополнительные параметры распечатывают путь к классам после раскрытия подстановочных знаков или записывают путь к классам в манифест файла jar. Последнее полезно в средах, где нельзя использовать подстановочные знаки, а расширенный путь к классам превышает максимальную поддерживаемую длину командной строки.
Синтаксис команды:
hadoop classpath [--glob |--jar <path> |-h |--help]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- --glob — развернуть подстановочные знаки;
- --jar path — записать путь к классам как манифест в jar с именем path;
- -h, --help — распечатать справку.
¶ 7.1.2 [fs] Взаимодействие с распределённой файловой системой
Команда fs предназначена для работы с распределённой файловой системой HDFS через командную строку.
Синтаксис команды:
hadoop fs [COMMAND [COMMAND_OPTIONS]]Команды и их параметры COMMAND_OPTIONS представлены в разделах ниже.
¶ 7.1.2.1 [appendToFile] Добавление источников
Команда appendToFile позволяет добавить один или несколько источников из локальной файловой системы в целевую файловую систему.
Синтаксис команды:
hadoop fs -appendToFile <localsrc> ... <dst>Пример команды:
hadoop fs -appendToFile localfile1 localfile2 /dirКоманда добавит файлы localfile1 и localfile2 в каталог HDFS dir.
¶ 7.1.2.2 [cat] Чтение файлов небольших объёмов
Команда cat выводит источник в стандартный поток вывода — stdout.
Синтаксис команды:
hadoop fs –cat <URI>Пример команды:
hadoop fs -cat /dir/file.txtКоманда выведет файл в stdout.
Если файл, выводимый в stdout, содержит большой объём данных, то процедура будет выполняться долго.
Пример команды для вывода 100 строк из файла:
hadoop fs -cat /dir/file.txt | head -n 100Команда выведет только 100 первых строк файла в stdout.
¶ 7.1.2.3 [chgrp] Изменение группы-владельца файла
Команда chgrp позволяет изменять групповую ассоциацию файлов. Пользователь должен обладать привилегиями — быть владельцем файлов или суперпользователем.
Синтаксис команды:
hadoop fs -chgrp [-r] GROUP URI [URI ...]Пример команды:
hadoop fs -chgrp mygroup /dir/file.txtКоманда сменит для файла file.txt группу-владельца на mygroup.
Чтобы рекурсивно сменить группу-владельца для всего каталога (с подкаталогами), необходимо использовать параметр -r.
Пример команды для рекурсивной смены владельца:
hadoop fs -chgrp –r mygroup /dirКоманда сменит для каталога dir и всех его подкаталогов группу-владельца на mygroup.
¶ 7.1.2.4 [chmod] Изменение прав доступа к файлу
Команда chmod позволяет изменять права доступа к файлам. Пользователь должен обладать привилегиями — быть владельцем файлов или суперпользователем.
Синтаксис команды:
hadoop fs -chmod [-r] <MODE[,MODE]... | OCTALMODE> URI [URI ...]Пример команды:
hadoop fs -chmod 777 /dirКоманда изменит для каталога dir права rwx (чтение, выполнение и запись) для всех, кто имеет доступ к серверу (владельца, группы, остальных).
Чтобы рекурсивно изменить права доступа для всего каталога (с подкаталогами), необходимо использовать параметр -r.
Пример команды для рекурсивного изменения прав доступа:
hadoop fs -chmod –r 766 /dirКоманда изменит для каталога dir и всех его подкаталогов права доступа rwx для владельца, rw (чтение, запись) для групп и остальных.
¶ 7.1.2.5 [chown] Изменение владельца файла
Команда chown позволяет сменить владельца файла. Пользователь должен обладать привилегиями — быть суперпользователем.
Синтаксис команды:
hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]Пример команды:
hadoop fs -chown hduser /dirКоманда сменит для каталога dir владельца на hduser.
Чтобы рекурсивно изменить владельца для всего каталога (с подкаталогами), необходимо использовать параметр -r.
Пример команды для рекурсивной смены владельца:
hadoop fs -chown –r hduser /dirКоманда сменит для каталога dir и всех его подкаталогов владельца на hduser.7.1.2.6 [copyFromLocal] Копирование локального файла в HDFS
Команда copyFromLocal позволяет копировать локальный файл в HDFS.
Синтаксис команды:
hadoop fs -copyFromLocal <локальный src> URIПример команды:
hadoop fs -copyFromLocal localfile /dir/fileКоманда скопирует localfile из локального каталога в каталог HDFS dir с переименованием файла в file.
¶ 7.1.2.6 [copyToLocal] Копирование файла из HDFS в локальную файловую систему
Команда copyToLocal позволяет копировать файл из HDFS в локальную файловую систему.
Синтаксис команды:
hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <локальное местоназначение>Пример команды:
hadoop fs -copyToLocal /dir/file localfileКоманда скопирует file из каталога HDFS dir в локальную файловую систему с переименованием файла в localfile.
¶ 7.1.2.7 [count] Подсчёт количества файлов
Команда count позволяет подсчитать количество каталогов, файлов и байтов по путям, которые соответствуют указанному шаблону файла
Синтаксис команды:
hadoop fs -count [-q] <paths>Пример команды:
hadoop fs -count /dirКоманда подсчитает количество файлов в каталоге dir.
Чтобы вывести столбцы QUOTA, REMAINING_QUATA, SPACE_QUOTA, REMAINING_SPACE_QUOTA, DIR_COUNT, FILE_COUNT, CONTENT_SIZE, FILE_NAME, необходимо использовать параметр -q.
Пример команды:
hadoop fs -count -q /dirКоманда выведет информацию о каталоге dir по вышеописанным столбцам.
¶ 7.1.2.8 [cp] Копирование файлов небольших объёмов
Команда cp позволяет скопировать файлы из одного места в другое.
Если копируемый файл содержит большой объём данных, то процедура будет выполняться долго.
Синтаксис команды:
hadoop fs -cp [-f] URI [URI ...] <местоназначение>Пример команды:
hadoop fs -cp /dir/file1 /otherDir/file2Команда скопирует file1 из каталога dir в каталог otherDir с переименованием файла в file2.
¶ 7.1.2.9 [du] Вывод размеров файлов
Команда du позволяет вывести информацию о размерах файлов и каталогов, содержащихся в данном каталоге, или длину файла, если это всего лишь файл.
Синтаксис команды:
hadoop fs -du [-s] [-h] URI [URI ...]Пример команды:
hadoop fs -du /user /dirКоманда выведет размеры каталогов user и dir.
Чтобы вывести совокупную сводку длин файлов, необходимо использовать параметр -s.
Пример команды для вывода общего размера каталога или файла:
hadoop fs -du -s /dirКоманда выведет информацию об общем размере всех файлов каталога dir.
Чтобы вывести размеры файлов в удобном для чтения виде (в Мб), необходимо использовать параметр -h.
Пример команды для вывода размеров файлов в удобочитаемом виде:
hadoop fs -du -h /userКоманда выведет информацию о размерах каждого файла каталога user в удобном виде.
¶ 7.1.2.10 [dus] Вывод совокупного размера файлов
Команда dus позволяет вывести информацию об общем размере каталога или файла. Является альтернативой команды hdfs dfs -du -s URI.
Синтаксис команды:
hadoop fs -dus URI [URI ...]Пример команды:
hadoop fs -dus /dirКоманда выведет информацию об общем размере всех файлов каталога dir.
¶ 7.1.2.11 [expunge] Очистка корзины
Команда expunge позволяет очистить корзину.
Когда файл удаляется в корзину (командой rm), он не сразу удаляется из HDFS, а переименовывается в файл в каталоге /trash. Пока файл остается там, его можно восстановить.
Синтаксис команды:
hadoop fs -expungeПример команды:
hadoop fs -expungeКоманда очистит содержимое корзины.
¶ 7.1.2.12 [help] Вывод всех команд или информации по конкретной команде
Команда help позволяет получить список всех команд в скрипте HDFS.
Синтаксис команды:
hadoop fs -helpКоманда выведет список возможных команд.
Если в параметрах команды help указать название конкретной команды, то команда выведет информацию по введённой команде.
Синтаксис команды:
hadoop s fs –help <название команды>Пример команды:
hadoop fs –help lsКоманда выведет информацию по команде ls.
¶ 7.1.2.13 [get] Копирование файла из HDFS в локальную файловую систему
Команда get позволяет копировать файл из HDFS в локальную файловую систему.
Синтаксис команды:
hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>Пример команды:
hadoop fs -get /dir/file localfileКоманда скопирует file из каталога HDFS dir в локальную файловую систему с переименованием файла в localfile.
Чтобы скопировать файлы, которые не прошли проверку кода циклической избыточности (CRC, Cyclic Redundancy Code), необходимо использовать параметр -ignorecrc.
Пример команды:
hadoop fs -get –ignorecrc /dir/file localfileCRC является распространенным методом обнаружения ошибок передачи данных. Файлы контрольной суммы CRC имеют расширение .crc и используются для проверки целостности данных другого файла. Чтобы скопировать эти файлы, необходимо указать параметр -crc.
Пример команды:
hadoop fs -get –crc /dir/file localfile¶ 7.1.2.14 [getfacl] Вывод списков контроля доступа файлов
Команда getfacl позволяет вывести списки контроля доступа (ACL, Access Control List) файлов и каталогов.
Синтаксис команды:
hadoop fs -getfacl [-R] <path>Пример команды:
hadoop fs -getfacl /dirКоманда выведет списки контроля доступа к каталогу dir.
Чтобы рекурсивно вывести списки контроля доступа для всего каталога (с подкаталогами), необходимо использовать параметр -r.
Пример команды для рекурсивного вывода:
hadoop fs -getfacl -r /dirКоманда dsdtltn ACL для каталога dir и всех его подкаталогов.
¶ 7.1.2.15 [getmerge] Объединение файлов и запись в локальную файловую систему
Команда getmerge позволяет объединять файлы в src и записывать результат в указанный локальный файл назначения.
Чтобы добавить символ новой строки в конце каждого файла, необходимо указать параметр addnl.
Синтаксис команды:
hadoop fs -getmerge <src> <localdst> [addnl]Пример команды:
hadoop fs -getmerge /dir/ ./file.txt¶ 7.1.2.16 [ls] Вывод списка всех файлов
Команда ls используется для вывода списка (листинга) всех каталогов и статистики файлов.
Синтаксис команды:
hadoop fs -ls <args>Пример использования команды:
hadoop fs -ls /Команда выведет следующую информацию по корневому каталогу HDFS:
- количество элементов в каталоге;
- файлы, которые содержатся в каталоге;
- статистику с указанием прав доступа и типа файла (подкаталога), фактора репликации (у каталога — нет), принадлежности файла (пользователю / группе), времени создания.
¶ 7.1.2.17 [lsr] Вывод рекурсивного списка всех файлов
Команда lsr используется для вывода рекурсивного списка (листинга) всех каталогов (и подкаталогов) и статистики файлов. Является рекурсивной версией команды ls и используется в случае необходимости вывода иерархии каталогов.
Синтаксис команды:
hadoop fs -lsr <args>Пример использования команды:
hadoop fs -lsr /¶ 7.1.2.18 [mkdir] Создание каталога
Команда mkdir создает новый каталог.
Синтаксис команды:
hadoop fs -mkdir [-p] <paths>Пример использования команды:
hadoop fs -mkdir /data/new_pathКоманда создаст каталог new_path по пути /data.
¶ 7.1.2.19 [moveFromLocal] Перемещение локального файла в HDFS
Команда moveFromLocal позволяет переместить локальный файл в HDFS.
Синтаксис команды:
hadoop fs -moveFromLocal <localsrc> <dst>Пример команды:
hadoop fs -moveFromLocal localfile /dir/fileКоманда скопирует localfile из локального каталога в каталог HDFS dir с переименованием файла в file, а затем удалит исходный файл localfile.
¶ 7.1.2.20 [moveToLocal] Перемещение файла из HDFS в локальную файловую систему
Команда moveToLocal позволяет переместить файл из HDFS в локальную файловую систему.
Синтаксис команды:
hadoop fs -moveToLocal [-crc] <src> <dst>Пример команды:
hadoop fs -moveToLocal /dir/file localfileКоманда скопирует file из каталога HDFS dir в локальную файловую систему с переименованием файла в localfile, а затем удалит исходный файл.
¶ 7.1.2.21 [mv] Перемещение файла
Команда mv предназначена для перемещения файла из одного места в другое.
Физически перемещение данных не происходит. Происходит указание Namenode, что файл теперь будет храниться в другом каталоге.
Синтаксис команды:
hadoop fs -mv URI [URI ...] <dest>Пример использования команды:
hadoop fs –mv /dir/file1 /otherDirКоманда переместит file1 из каталога dir в каталог otherDir.
¶ 7.1.2.22 [put] Копирование локального файла в HDFS
Команда put позволяет копировать локальный файл в HDFS.
Синтаксис команды:
hadoop fs -put <локальный src> ... <местоназначение>Пример команды:
hadoop fs -put localfile /dir/fileКоманда скопирует localfile из локального каталога в каталог HDFS dir с переименованием файла в file.
¶ 7.1.2.23 [rm] Удаление файла в корзину
Команда rm удаляет файл в корзину.
При случайном удалении большого файла его очень трудно восстановить. Поэтому файл сначала помещается в корзину. Корзина — специальный для каждого пользователя каталог. Файлы из него можно удалить или скопировать на прежнее место. Автоматическая очистка корзины задана в параметрах HDFS. Если нужно освободить место в HDFS, то можно удалить файл из корзины.
Синтаксис команды:
hadoop fs -rm [-skipTrash] URI [URI ...]Пример команды:
hadoop fs -rm /dir/fileКоманда удалит file из каталога dir в корзину.
Чтобы удалить безвозвратно файл, необходимо использовать параметр ‑skiptrash.
Пример команды для безвозвратного удаления файла:
hadoop fs -rm -skipTrash /dir/fileКоманда удалит file из каталога dir безвозвратно.
Чтобы рекурсивно удалить весь каталог (с подкаталогами), необходимо использовать параметр -r.
Пример команды для рекурсивного удаления каталога:
hadoop fs -rm -r /dirКоманда удалит каталог dir со всеми подкаталогами.
¶ 7.1.2.24 [rmr] Рекурсивное удаление файла в корзину
Команда rmr рекурсивно удаляет каталог (со всеми подкаталогами) в корзину.
Синтаксис команды:
hadoop fs -rmr [-skipTrash] URI [URI ...]Пример команды:
hadoop fs -rmr /dirКоманда удалит каталог dir со всеми подкаталогами.
¶ 7.1.2.25 [setfacl] Управление списками контроля доступа файлов
Команда setfacl позволяет взаимодействовать со списками контроля доступа (ACL, Access Control List) — устанавливать, модифицировать и удалять ACL для файлов и каталогов.
Синтаксис команды:
hadoop fs -setfacl [-r] [-b|-k -m|-x <acl_spec> <path>]|[--set <acl_spec> <path>]В команде могут быть использованы следующие параметры:
- -b — удалить все записи ACL кроме базовых. Записи для пользователя, группы и остальных сохраняются для совместимости с битами разрешений;
- -k — удалить ACL по умолчанию;
- -r — рекурсивно применять операции ко всем файлам и каталогам;
- -m — изменить ACL. Новые записи добавляются в ACL, а существующие записи сохраняются;
- -x — удалить указанные записи ACL. Остальные записи ACL сохраняются;
- --set — полностью заменить ACL, удалив все существующие записи. acl_spec должен включать записи для пользователя, группы и остальных для совместимости с битами разрешений;
- acl_spec — список записей ACL, разделённых запятыми;
- path — файл или каталог для изменения.
Примеры команды:
hadoop fs -setfacl -m user:hadoop:rw- /file
hadoop fs -setfacl -x user:hadoop /file
hadoop fs -setfacl -b /file
hadoop fs -setfacl -k /dir
hadoop fs -setfacl --set user::rw-,user:hadoop:rw-,group::r--,other::r-- /file
hadoop fs -setfacl -R -m user:hadoop:r-x /dir
hadoop fs -setfacl -m default:user:hadoop:r-x /dir¶ 7.1.2.26 [setrep] Изменение коэффициента репликации файла
Команда setrep предназначена для изменения коэффициента репликации для указанного файла или каталога.
Синтаксис команды:
hadoop fs -setrep [-r] [-w] <numReplicas> <path>В команде могут быть использованы следующие параметры:
- -w — требует, чтобы команда дождалась завершения репликации.
- -r — для каталогов команда рекурсивно изменяет коэффициент репликации всех файлов в дереве каталогов с корнем по пути.
Пример команды:
hadoop fs -setrep -w 3 /user/hadoop/dir1¶ 7.1.2.27 [stat] Вывод статической информации о пути
Команда stat предназначена для вывода статистической информации о пути.
Синтаксис команды:
hadoop fs -stat URI [URI ...]Пример команды:
hadoop fs -stat pathКоманда выведет статистику о пути path.
¶ 7.1.2.28 [tail] Чтение последних строк файла
Команда tail позволяет без чтения всего файла вывести только последние строки файла (последний килобайт). Например, можно использовать для чтения логов.
Синтаксис команды:
hadoop fs -tail [-f] URIПример использования команды:
hadoop fs -tail /dir/file.txtКоманда выведет последние строки файла.
¶ 7.1.2.29 [test] Вывод атрибутов файла
Команда test выводит атрибуты указанного файла или каталога.
Синтаксис команды:
hadoop fs -test -[ezd] URIВ команде могут быть использованы следующие параметры:
- -e — проверяет, существует ли файл, и возвращает 0 в случае истины;
- -z — проверяет, имеет ли файл нулевую длину, и возвращает 0 в случае истины;
- -d — проверяет, является ли путь каталогом, и возвращает 0, если истина.
Пример использования команды:
hadoop fs -test -e filename¶ 7.1.2.30 [text] Чтение файлов
Команда text является аналогом команды cat, но при этом может служить для разархивирования файлов.
Синтаксис команды:
hadoop fs -text <scr>Пример использования команды:
hadoop fs -text /dir/file.gzКоманда извлечёт архив и выведет его содержимое.
¶ 7.1.2.31 [touchz] Создание пустого файла
Команда touchz позволяет создать файл нулевой длины.
Синтаксис команды:
hadoop fs -touchz URI [URI ...]Пример использования команды:
hadoop fs -touchz /dirКоманда создаст нулевой файл в каталоге dir.
¶ 7.1.3 [envvars] Отображение вычисленных переменных сред
Команда envvars позволяет отобразить вычисленные переменные среды Hadoop.
Синтаксис команды:
hadoop envvars¶ 7.1.4 [fetchdt] Получение токена делегирования
Команда fetchdt позволяет получить токен делегирования от NameNode.
Синтаксис команды:
hadoop fetchdt <opts> <token_file_path>В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- --webservice NN_Url — UR-адрес для связи с NN (начинается с http или https);
- --renewer name — имя обновителя токена делегирования;
- --cancel — отменить токен делегирования;
- --renew — обновить токен делегирования. Токен делегирования должен быть получен с использованием параметра –renewer name;
- --print — распечатать токен делегирования;
- token_file_path — путь к файлу, в котором будет храниться токен.
¶ 7.1.5 [fsck] Проверка файловой системы
Команда fsck позволяет осуществлять проверку файловой системы.
Синтаксис команды:
hadoop fsck <path>
[-list-corruptfileblocks |
[-move | -delete | -openforwrite]
[-files [-blocks [-locations | -racks | -replicaDetails | -upgradedomains]]]
[-includeSnapshots] [-showprogress]
[-storagepolicies] [-maintenance]
[-blockId <blk_Id>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- path — начать проверку с этого пути;
- -delete — удалить поврежденные файлы;
- -files — распечатать проверяемые файлы;
- -files -blocks — распечатать отчёт о блоке;
- -files -blocks -locations — распечатать расположение каждого блока;
- -files -blocks -racks — распечатать топологию сети для расположения узлов данных;
- -files -blocks -replicaDetails — распечатать детали каждой реплики;
- -files -blocks -upgradedomains — распечатать домены обновления для каждого блока;
- -includeSnapshots — включить данные моментального снимка, если указанный путь указывает на каталог таблицы моментальных снимков или под ним есть каталоги таблиц моментальных снимков;
- -list-correctedfileblocks — распечатать список отсутствующих блоков и файлов, которым они принадлежат;
- -move — переместить поврежденные файлы в /lost + found;
- -openforwrite — распечатать файлы, открытые для записи;
- -showprogress — распечатать точки для прогресса вывода. По умолчанию выключено (нет прогресса);
- -storagepolicies — распечатать сводку политики хранения для блоков;
- -main maintenance — распечатать сведения об узле состояния обслуживания;
- -blockId — распечатать информацию о блоке.
¶ 7.1.6 [getconf] Получение информации о настройках
Команда getconf позволяет получить информацию о настройках из каталогов конфигураций.
Синтаксис команды:
hadoop getconf -namenodes
hadoop getconf -secondaryNameNodes
hadoop getconf -backupNodes
hadoop getconf -journalNodes
hadoop getconf -includeFile
hadoop getconf -excludeFile
hadoop getconf -nnRpcAddresses
hadoop getconf -confKey [key]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -namenodes — получить список узлов NameNode в кластере;
- -secondaryNameNodes — получить список узлов SecondaryNameNode в кластере;
- -backupNodes — получить список узлов резервного копирования в кластере;
- -journalNodes — получить список узлов журнала в кластере;
- -includeFile — получить путь к файлу, который определяет узлы данных, которые имеют доступ к кластеру;
- -excludeFile — получить путь к файлу исключения, который определяет узлы данных, которые доступа к кластеру не имеют;
- -nnRpcAddresses — получить адреса rpc NameNode;
- -confKey [key] — получить конкретный ключ из конфигурации.
¶ 7.1.7 [groups] Получение информации о группах
Команда groups позволяет получить информацию о группах пользователей с учётом одного или нескольких имён пользователей.
Синтаксис команды:
hadoop groups [username ...]¶ 7.1.8 [httpfs] Запуск HTTP
Команда httpfs позволяет запустить сервер HttpFS, HTTP-шлюз HDFS.
Синтаксис команды:
hadoop httpfs¶ 7.1.9 [lsSnapshottableDir] Получение списка каталогов снапшотов
Команда lsSnapshottableDir позволяет получить список каталогов снапшотов. Когда он запускается от имени суперпользователя, он возвращает все каталоги снапшотов. В противном случае он возвращает те каталоги, которые принадлежат текущему пользователю.
Синтаксис команды:
hadoop lsSnapshottableDir [-help]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -help — получение справки по получению.
¶ 7.1.10 [jmxget] Получение дампа информации JMX из службы
Команда jmxget позволяет получить дамп информации JMX из службы.
Синтаксис команды:
hadoop jmxget [-localVM ConnectorURL | -port port | -server mbeanserver | -service service]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -help — справка по печати;
- -localVM ConnectorURL — подключиться к виртуальной машине на том же компьютере;
- -port mbean server port — указать порт сервера mbean, если он отсутствует, он попытается подключиться к серверу MBean на той же виртуальной машине;
- -server — указать сервер mbean (по умолчанию localhost);
- -service NameNode|DataNode — указать службу jmx (NameNode по умолчанию).
¶ 7.1.11 [oev] Редактор файлов
Команда oev позволяет вывести просмотрщик и редактор файлов оффлайн.
Синтаксис команды:
hadoop oev [OPTIONS] -i INPUT_FILE -o OUTPUT_FILEВ команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- обязательные:
- -i, -inputFile arg — редактирует файл для обработки, расширение xml (без учёта регистра) означает формат XML, любое другое имя файла означает двоичный формат;
- -o, -outputFile arg — имя выходного файла. Если указанный файл существует, он будет перезаписан, формат файла определяется параметром –p;
- необязательные:
- -f, -fix-txids — перенумеровать идентификаторы транзакций во входных данных, чтобы не было пропусков или недопустимых идентификаторов транзакций;
- -h, -help — показать информацию об использовании и выйти;
- -r, -restore — при чтении журналов редактирования двоичных файлов использовать режим восстановления. Это даст вам возможность пропустить повреждённые части журнала редактирования;
- -p, -processor arg — выберите тип процессора, который будет применяться к файлу изображения;
- -v, -verbose — более подробный вывод, распечатывает имена файлов ввода и вывода, для процессоров, которые пишут в файл, также выводятся на экран. Для больших файлов изображений это значительно увеличит время обработки (по умолчанию false).
¶ 7.1.12 [oiv] Редактор изображений
Команда oiv позволяет вывести просмотрщик и редактор изображений оффлайн.
Синтаксис команды:
hadoop oiv [OPTIONS] -i INPUT_FILEВ команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- обязательные:
- -i | --inputFile input file — укажите входной файл fsimage (или файл XML, если используется процессор ReverseXML) для обработки;
- необязательные:
- -o, -outputFile output file — укажите имя выходного файла, если указанный процессор вывода создает его. Если указанный файл уже существует, он автоматически перезаписывается (по умолчанию вывод на стандартный вывод). Если входной файл является файлом XML, он также создаёт <outputFile>.md5;
- -p, -processor processor — укажите процессор изображения, который будет применяться к файлу изображения. В настоящее время допустимые варианты: Web (по умолчанию), XML, Delimited, FileDistribution и ReverseXML;
- -addr address — укажите адрес (хост:порт) для прослушивания. (localhost:5978 по умолчанию). Эта опция используется с веб-процессором;
- -maxSize size — укажите диапазон [0, maxSize] размеров файлов для анализа в байтах (по умолчанию 128 ГБ). Эта опция используется с процессором FileDistribution;
- -step size — укажите степень детализации распределения в байтах (по умолчанию 2 МБ). Эта опция используется с процессором FileDistribution;
- -format — форматировать результат в удобочитаемом виде, а не в байтах. (по умолчанию false). Эта опция используется с процессором FileDistribution;
- -delimiter arg — строка-разделитель для использования с процессором с разделителями;
- -t, -temp temporary dir — использовать временный каталог для кеширования промежуточного результата для генерации выходных данных с разделителями. Если не установлен, процессор с разделителями создает пространство имен в памяти перед выводом текста;
- -h, -help — показать использование инструмента и справочную информацию и выйти.
¶ 7.1.13 [snapshotDiff] Опредедение разницы между снапшотами
Команда snapshotDiff позволяет определить разницу между снапшотами.
Синтаксис команды:
hadoop snapshotDiff <path> <fromSnapshot> <toSnapshot>¶ 7.1.14 [version] Просмотр версии HDFS
Команда version позволяет посмотреть текущую версию HDFS.
Синтаксис команды:
hadoop version¶ 7.1.15 [balancer] Балансировка кластера
Команды balancer запускают утилиту балансировки кластера.
Администратор может просто нажать Ctrl-C, чтобы остановить процесс перебалансировки.
Обратите внимание, что политика блочного пула более строгая, чем политика узла данных.
Помимо ниже параметров команды введена функция закрепления, чтобы предотвратить перемещение определённых реплик балансировщиком/движителем. Эта функция закрепления отключена по умолчанию, и её можно включить с помощью свойства конфигурации dfs.datanode.block-pinning.enabled. Когда эта функция включена, она влияет только на блоки, которые записываются в избранные узлы, указанные в вызове create(). Эта функция полезна, когда мы хотим сохранить локальность данных для таких приложений, как HBase regionserver.
¶ 7.1.15.1 [policy] Балансировка кластера
Команда policy позволяет произвести балансировку кластера.
Если установлены параметры:
- datanode (по умолчанию) — кластер сбалансирован, если сбалансирован каждый DataNode;
- blockpool — кластер сбалансирован, если сбалансирован каждый пул блоков в каждом DataNode.
Синтаксис команды:
hadoop balancer [-policy <policy>]¶ 7.1.15.2 [threshold] Установка процента ёмкости диска
Команда threshold устанавливает процент ёмкости диска. Команда перезаписывает порог по умолчанию.
Синтаксис команды:
hadoop balancer [-threshold <threshold>]¶ 7.1.15.3 [exclude] Исключение DataNode из балансировки
Команда exclude исключает указанные DataNode из балансировки балансировщиком.
Синтаксис команды:
hadoop balancer [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]¶ 7.1.15.4 [include] Включение DataNode в балансировку
Команда include включает только указанные DataNode для балансировки балансировщиком.
Синтаксис команды:
hadoop balancer [-include [-f <hosts-file> | <comma-separated list of hosts>]]¶ 7.1.15.5 [source] Выбор DataNode в качестве исходного узла
Команда source позволяет выбрать только указанные DataNode в качестве исходных узлов.
Синтаксис команды:
hadoop balancer [-source [-f <hosts-file> | <comma-separated list of hosts>]]¶ 7.1.15.6 [blockpools] Формирование списка пулов блоков для работы балансировщика
Команда blockpools позволяет сформировать список пулов блоков, с которыми будет работать балансировщик.
Синтаксис команды:
hadoop balancer [-blockpools <comma-separated list of blockpool ids>]¶ 7.1.15.7 [idleiterations] Установка количества итераций простоя
Команда idleiterations устанавливает максимальное количество итераций простоя перед выходом. Команда перезаписывает количество итераций, установленное по умолчанию (5).
Синтаксис команды:
hadoop balancer [-idleiterations <idleiterations>]¶ 7.1.15.8 [runDuringUpgrade] Разрешение/запрет на запуск балансировщика во время обновления HDFS
Команда runDuringUpgrade разрешает/запрещает запускать балансировщик во время текущего обновления HDFS. Действие является нежелательным, поскольку команда не влияет на используемое пространство на чрезмерно загруженных машинах.
Синтаксис команды:
hadoop balancer [-runDuringUpgrade]¶ 7.1.15.9 [help] Вызов справки
Команда help вызывает справку с информацией об использовании инструмента и последующий выход.
Синтаксис команды:
hadoop balancer [--h | --help]¶ 7.1.16 [cacheadmin] Администрирование кэша
Команда cacheadmin позволяет работать с кэшированием, а именно: созданием, изменением и перечислением Cache Pools и Cache Directives.
Cache Directives идентифицируются уникальным не повторяющимся 64-битным ID. Идентификаторы не используются повторно, даже если Cache Directive удалена.
Cache Pools идентифицируются по уникальному имени строки.
Сначала следует создать Cache Pools, а затем добавить в него Cache Directives.
Команды и их параметры COMMAND_OPTIONS представлены в разделах ниже.
¶ 7.1.16.1 [addDirective] Добавление нового Cache Directive
Команда addDirective позволяет добавить новый Cache Directive.
Синтаксис команды:
hadoop cacheadmin [-addDirective -path <path> -pool <pool-name> [-force] [-replication <replication>] [-ttl <time-to-live>]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <path> — путь к каталогу кэша или файлу;
- <pool-name> — Cache Pool, к которому добавляется Cache Directive. Необходимо разрешение для Cache Pool на запись, чтобы добавить новые директивы;
- -force — пропуск проверки ограничений ресурсов Cache Pool;
- <replication> — восьмеричные разрешения в стиле UNIX, назначенные Cache Pool. По умолчанию установлены 0755;
- <time-to-live> — продолжительность действия директивы. Значение может быть указано в минутах, часах и днях, например, 30 m, 4 h, 2 d. Допустимыми единицами являются [smhd]. Значение never означает, что директива никогда не истекает. Если параметр не установлен, директива никогда не истекает.
¶ 7.1.16.2 [modifyDirective] Изменение метаданных существующего Cache Directive
Команда modifyDirective позволяет вносить изменения в метаданные существующего Cache Directive.
Синтаксис команды:
hadoop cacheadmin [-modifyDirective -id <id> [-path <path>] [-force] [-replication <replication>] [-pool <pool-name>] [-ttl <time-to-live>]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <id> — идентификатор Cache Directive;
- <path> — путь к каталогу кэша или файлу;
- -force — пропуск проверки ограничений ресурсов Cache Pool;
- <replication> — восьмеричные разрешения в формате UNIX, назначенные Cache Pool;
- <pool-name> — Cache Pool, к которому добавлен Cache Directive;
- <time-to-live> — продолжительность действия директивы. Значение может быть указано в минутах, часах и днях, например, 30 m, 4 h, 2 d. Допустимыми единицами являются [smhd]. Значение never означает, что директива никогда не истекает. Если параметр не установлен, директива никогда не истекает.
¶ 7.1.16.3 [listDirectives] Возврат списка Cache Directives
Команда listDirectives позволяет выводить список Cache Directive.
Синтаксис команды:
hadoop cacheadmin [-listDirectives [-stats] [-path <path>] [-pool <pool>] [-id <id>]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <path> — список Cache Directives данного пути. Если в <path>, принадлежащему Cache Pool, нет доступа Read, Cache Directive не указывается;
- <pool> — список Cache Directives, относящихся только к данному Cache Pool;
- -stats — статистика по Cache Directive указанного пути.
¶ 7.1.16.4 [removeDirective] Удаление Cache Directive
Команда removeDirective позволяет удалить Cache Directive.
Синтаксис команды:
hadoop cacheadmin [-removeDirective <id>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <id> — идентификатор Cache Directive для удаления. Необходимо разрешение Write Cache Pool, к которому принадлежит директива. Можно использовать команду -listDirectives для отображения списка идентификаторов Cache Directive.
¶ 7.1.16.5 [removeDirectives] Удаление всех Cache Directives по указанному пути
Команда removeDirectives позволяет удалить все Cache Directive по указанному пути.
Синтаксис команды:
hadoop cacheadmin [-removeDirectives -path <path>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <path> — путь Cache Directives для удаления. Необходимо разрешение Write Cache Pool, к которому относятся директивы. Можно использовать команду -listDirectives для отображения списка Cache Directives.
¶ 7.1.16.6 [addPool] Добавление нового Cache Pool
Команда addPool позволяет добавить новый Cache Directive.
Синтаксис команды:
hadoop cacheadmin [-addPool <name> [-owner <owner>] [-group <group>] [-mode <mode>] [-limit <limit>] [-maxTtl <maxTtl>]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <name> — имя нового Cache Pool;
- <owner> — имя пользователя владельца Cache Pool. По умолчанию используется текущий пользователь;
- <group> — группа, которой назначен Cache Pool. По умолчанию используется имя основной группы текущего пользователя;
- <mode> — восьмеричные разрешения в стиле UNIX, назначенные Cache Pool. По умолчанию установлены 0755;
- <limit> — максимальное количество байтов, которые в совокупности могут быть кэшированы директивами в Cache Pool. По умолчанию ограничение не установлено;
- <maxTtl> — максимальное допустимое время ожидания для директив, добавляемых в Cache Pool. Значение может быть указано в секундах, минутах, часах и днях, например, 120 s, 30 m, 4 h, 2 d. Допустимыми единицами являются [smhd]. По умолчанию максимальное значение не задано. Значение never указывает, что предела нет.
¶ 7.1.16.7 [modifyPool] Изменение метаданных существующего Cache Pool
Команда modifyPool позволяет изменить метаданные существующего Cache Pool.
Синтаксис команды:
hadoop cacheadmin [-modifyPool <name> [-owner <owner>] [-group <group>] [-mode <mode>] [-limit <limit>] [-maxTtl <maxTtl>]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <name> — имя требующего изменения Cache Pool;
- <owner> — имя пользователя владельца Cache Pool;
- <group> — группа, которой назначен Cache Pool;
- <mode> — восьмеричные разрешения в формате UNIX, назначенные Cache Pool;
- <limit> — максимальное количество байтов, которые в совокупности могут быть кэшированы директивами в Cache Pool;
- <maxTtl> — максимальное допустимое время ожидания для директив, добавляемых в Cache Pool. Значение может быть указано в секундах, минутах, часах и днях, например, 120 s, 30 m, 4 h, 2 d. Допустимыми единицами являются [smhd]. По умолчанию максимальное значение не задано. Значение never указывает, что предела нет.
¶ 7.1.16.8 [removePool] Удаление Cache Pool
Команда removePool позволяет удалить Cache Pool. Также удаляет пути, связанные с ним.
Синтаксис команды:
hadoop cacheadmin [-removePool <name>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <name> — имя удаляемого Cache Pool.
¶ 7.1.16.9 [listPools] Отображение информации о Cache Pool
Команда listPools позволяет отобразить информацию об одном или нескольких Cache Pool, например, имя, владельца, группу, разрешения и прочее.
Синтаксис команды:
hadoop cacheadmin [-listPools [-stats] [<name>]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -stats — отображение дополнительной статистики по Cache Pool;
- <name> — если параметр задан, то выдается только упомянутый Cache Pool.
¶ 7.1.16.10 [help] Отображение подробной информации о команде
Команда help позволяет отобразить подробную о команде.
Синтаксис команды:
hadoop cacheadmin [-help <command-name>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <command-name> — отображение подробной информации по указанной команде. Если команда не указана, отображается подробная справка по всем командам.
¶ 7.1.17 [crypto] Управление шифрованием
Команда crypto позволяет управлять шифрованием.
Команды и их параметры COMMAND_OPTIONS представлены в разделах ниже.
¶ 7.1.17.1 [createZone] Создание новой зоны шифрования
Команда createZone позволяет создать новую зону шифрования.
Синтаксис команды:
hadoop crypto -createZone -keyName <keyName> -path <path>В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- path — путь к создаваемой зоне шифрования. Это должен быть пустой каталог. По этому пути создается каталог для мусора;
- keyName — имя ключа для использования в зоне шифрования. Имена клавиш в верхнем регистре не поддерживаются.
¶ 7.1.17.2 [listZones] Отображение информации о зонах шифрования
Команда listZones позволяет перечислить все зоны шифрования. Требуются разрешения суперпользователя.
Синтаксис команды:
hadoop crypto -listZones¶ 7.1.17.3 [provisionTrash] Подготовка каталога корзины для зоны шифрования
Команда provisionTrash позволяет подготовить каталог корзины для зоны шифрования.
Синтаксис команды:
hadoop crypto -provisionTrash -path <path>В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- path — путь к корню зоны шифрования.
¶ 7.1.17.4 [help] Отображение подробной информации о команде
Команда help позволяет отобразить подробную информацию о команде.
Синтаксис команды:
hadoop crypto -help <command-name>В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- <command-name> — отображение подробной информации по указанной команде. Если команда не указана, отображается подробная справка по всем командам.
¶ 7.1.18 [datanode] Запуск DataNode
Команда datanode позволяет запустить DataNode.
Синтаксис команды:
hadoop datanode [-regular | -rollback | -rollingupgrade rollback]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -regular — нормальный запуск DataNode (по умолчанию);
- -rollback — откатить DataNode до предыдущей версии. Это следует использовать после остановки узла данных и распространения старой версии hadoop.
- -rollingupgrade rollback — откатить операцию последовательного обновления.
¶ 7.1.19 [dfsadmin] Администрирование HDFS
Команды dfsadmin предназначены для администрирования HDFS.
Ниже в разделах представлены возможные команды для администрирования HDFS.
¶ 7.1.19.1 [report] Отображение информации и статистики HDFS
Команда report позволяет отобразить основную информацию и статистику файловой системы HDFS.
Использование команды dfs может отличаться от использования команды du, поскольку она измеряет необработанное пространство, используемое репликациями, контрольными суммами, снапшотами и т.д. для всех DataNode.
Необязательные параметры команды могут использоваться для фильтрации списка отображаемых узлов данных.
Синтаксис команды:
hadoop dfsadmin [-report [-live] [-dead] [-decommissioning] [-enteringmaintenance] [-inmaintenance]]¶ 7.1.19.2 [safemode] Ручное управление режимом Safemode
Команда safemode предназначена для ручного управления режимом Safemode (безопасным режимом).
Режим Safemode — это состояние узла NameNode, в котором он:
- не принимает изменения в пространстве имён (только для чтения);
- не реплицирует и не удаляет блоки.
Вход в режим Safemode производится автоматически при запуске NameNode. Выхода из режима производится также автоматически, когда настроенный минимальный процент блоков удовлетворяет минимальному условию репликации. Если NameNode обнаруживает какую-либо аномалию, он будет оставаться в режиме SafeMode до тех пор, пока проблема не будет решена. Если эта аномалия является следствием преднамеренного действия, администратор может использовать команду -safemode forceExit для выхода из режима Safemode.
Случаи, когда может потребоваться использование forceExit:
- Метаданные NameNode несовместимы.
- Если Namenode обнаруживает, что метаданные были изменены вне диапазона и могут вызвать потерю данных, NameNode перейдёт в состояние SafemodeforceExit. В этот момент пользователь может либо перезапустить NameNode с правильными файлами метаданных, либо использовать forceExit (если потеря данных допустима).
- Откат вызывает замену метаданных и редко может вызвать состояние принудительного выхода из режима Safemode на NameNode.
- В этом случае вы можете продолжить, введя -safemode forceExit.
В режим Safemode можно войти вручную, но тогда из него также необходимо будет выйти вручную.
Синтаксис команды:
hadoop dfsadmin [-safemode enter | leave | get | wait | forceExit]¶ 7.1.19.3 [saveNamespace] Сохранение текущего пространства имён
Команда saveNamespace позволяет сохранить текущее пространство имён в каталогах хранилища и сбросить журнал изменений.
Для выполнения команды требуется вход в режим Safemode. Если задан параметр beforeShutdown, NameNode выполняет контрольную точку тогда и только тогда, когда ни одна контрольная точка не была сделана в течение временного окна (настраиваемое количество периодов контрольной точки). Обычно данная команда используется перед завершением работы NameNode, чтобы предотвратить возможное повреждение fsimage или журналов изменений.
Синтаксис команды:
hadoop dfsadmin [-saveNamespace [-beforeShutdown]]¶ 7.1.19.4 [rollEdits] Свёртывание журнала изменений
Команда rollEdits сворачивает журнал редактирования на активном NameNode.
С течением времени количество файлов журнала редактирования растёт, а также NameNode сохраняет старые версии файла fsimage.
Это будет использовать дисковое пространство на NameNode и может вызвать проблемы с диском в более длительной работе кластера. Кроме того, если вторичная NameNode не настроена или работает некорректно, эти файлы редактирования будут создаваться в большом количестве, каждый файл будет содержать примерно 1 миллион транзакций. Из-за этого время запуска NameNode увеличится, и NameNode может даже не запуститься, если памяти будет недостаточно для выполнения операции создания контрольной точки.
Синтаксис команды:
hadoop dfsadmin [-rollEdits]¶ 7.1.19.5 [restoreFailedStorage] Включение/выключение попыток автоматического восстановления неудачных репликаций хранилища
Команда restoreFailedStorage включает/выключает автоматические попытки восстановления неудачных репликаций хранилища.
Если сбойное хранилище снова станет доступным, система попытается восстановить журнал изменений и/или fsimage во время контрольной точки.
Параметр check вернёт текущую настройку.
Синтаксис команды:
hadoop dfsadmin [-restoreFailedStorage true |false |check]¶ 7.1.19.6 [refreshNodes] Обновление узлов
Команда refreshNodes повторно читает хосты и исключает файлы для обновления перечня DataNodes, которым разрешено подключаться к NameNode, и тех, которые должны быть выведены или повторно введены в эксплуатацию.
Синтаксис команды:
hadoop dfsadmin [-refreshNodes]¶ 7.1.19.7 [setQuota] Установка квоты имени каталога
Команда setQuota позволяет установить квоту имени, равной N для каждого каталога.
Наилучший вариант для каждого каталога, с сообщением об ошибках, если N не является положительным длинным целым числом, каталог не существует, или это файл, или каталог немедленно превысит новую квоту. Синтаксис команды:
hadoop dfsadmin [-setQuota <quota> <dirname>...<dirname>]¶ 7.1.19.8 [clrQuota] Удаление квоты имени каталога
Команда clrQuota позволяет удалить квоту имён для каждого каталога. Наилучший вариант для каждого каталога с сообщением об ошибках, если каталог не существует или является файлом. Если для каталога нет квоты, это не ошибка.
Синтаксис команды:
hadoop dfsadmin [-clrQuota <dirname>...<dirname>]¶ 7.1.19.9 [setSpaceQuota] Установка квоты типа хранилища/пространства каталога
Команда setSpaceQuota позволяет:
- установить квоту пространства в N байт для каждого каталога. Это жёсткое ограничение на общий размер всех файлов в дереве каталогов. Квота пространства также учитывает репликацию, т.е. 1 Гб данных при репликации занимает 3 Гб квоты. N также можно указать с двоичным префиксом для удобства, например, 50 g для 50 гигабайт и 2 t для 2 терабайт и т.д. Возможные значения для каждого каталога, с сообщением об ошибках, если N не равно нулю и не является положительным целым числом, каталог не существует, или это файл, или каталог немедленно превысит новую квоту;
- установить квоту типа хранилища равной N байт типа хранилища, указанного для каждого каталога. Это жёсткое ограничение на общее использование типа хранилища для всех файлов в дереве каталогов. Использование квоты типа хранилища отражает предполагаемое использование на основе политики хранения. Например, 1 Гб данных с репликацией и политикой хранения ALL_SSD занимает 3 Гб квоты SSD. N также можно указать с двоичным префиксом для удобства, например, 50 g для 50 гигабайт и 2 t для 2 терабайт и т.д. Наилучший вариант для каждого каталога, с сообщением об ошибках, если N не равно нулю и не является положительным целым числом, каталог не существует, или это файл, или каталог немедленно превысит новую квоту. Квота для конкретного типа хранилища устанавливается, когда указана опция -storageType. Доступные типы хранилища: RAM_DISK, DISK, SSD, ARCHIVE.
Синтаксис команды:
hadoop dfsadmin [-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]¶ 7.1.19.10 [clrSpaceQuota] Удаление квоты пространства каталога/типа хранилища
Команда clrSpaceQuota позволяет:
- удалить любую квоту пространства для каждого каталога. Наилучший вариант для каждого каталога с сообщением об ошибках, если каталог не существует или является файлом. Если для каталога нет квоты, это не ошибка;
- удалить квоту типа хранилища, указанную для каждого каталога. Наилучший вариант для каждого каталога с сообщением об ошибках, если каталог не существует или является файлом. Это не является ошибкой, если в каталоге нет квоты на тип хранилища для указанного типа хранилища. Квота для конкретного типа хранилища очищается, если указан параметр -storageType. Доступные типы хранилища: RAM_DISK, DISK, SSD, ARCHIVE.
Синтаксис команды:
hadoop dfsadmin [-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]¶ 7.1.19.11 [finalizeUpgrade] Завершение обновления
Команда finalizeUpgrade позволяет завершить обновление HDFS. DataNodes удаляют свою предыдущую резервную копию кластера, которая была сделана во время предыдущего обновления после того, как NameNode произведёт те же действия. После этого считается, что процесс обновления завершён.
Синтаксис команды:
hadoop dfsadmin [-finalizeUpgrade]¶ 7.1.19.12 [rollingUpgrade] Последовательное обновление
Команда rollingUpgrade позволяет выполнять действие последовательного обновления.
Синтаксис команды:
hadoop dfsadmin [-rollingUpgrade [<query> |<prepare> |<finalize>]]¶ 7.1.19.13 [upgrade] Текущий статус обновления
Команда upgrade позволяет запросить текущий статус обновления, используя параметр query, или завершить текущее обновление HDFS, используя параметр finalize.
Синтаксис команды:
hadoop dfsadmin [-upgrade [query | finalize]¶ 7.1.19.14 [refreshServiceAcl] Перезагрузка файла политики авторизации
Команда refreshServiceAcl позволяет перезагрузить файл политики авторизации на уровне сервиса.
Синтаксис команды:
hadoop dfsadmin [-refreshServiceAcl]¶ 7.1.19.15 [refreshUserToGroupsMappings] Обновление сопоставления групп и пользователей
Команда refreshUserToGroupsMappings позволяет обновить сопоставления пользователей и групп.
Синтаксис команды:
hadoop dfsadmin [-refreshUserToGroupsMappings]¶ 7.1.19.16 [refreshSuperUserGroupsConfiguration] Обновление сопоставления proxy-групп суперпользователя
Команда refreshSuperUserGroupsConfiguration позволяет обновить сопоставления proxy-групп суперпользователя.
Синтаксис команды:
hadoop dfsadmin [-refreshSuperUserGroupsConfiguration]¶ 7.1.19.17 [refreshCallQueue] Обновление очереди вызовов
Команда refreshCallQueue позволяет перезагрузить очередь вызовов из config.
Синтаксис команды:
hadoop dfsadmin [-refreshCallQueue]¶ 7.1.19.18 [refresh] Обновление ресурса
Команда refresh запускает обновление во время выполнения ресурса, указанного в <key> на <host:ipc_port>. Все остальные параметры отправляются на хост.
Синтаксис команды:
hadoop dfsadmin [-refresh <host:ipc_port> <key> [arg1..argn]]¶ 7.1.19.19 [reconfig] Запуск реконфигурации
Команда reconfig запускает реконфигурацию или выводит статус текущей реконфигурации, или выводит список реконфигурируемых свойств. Второй параметр указывает тип узла.
Синтаксис команды:
hadoop dfsadmin [-reconfig <namenode|datanode> <host:ipc_port> <start |status |properties>]¶ 7.1.19.20 [printTopology] Отображение топологии
Команда printTopology позволяет вывести дерево стоек и их узлов, как передаётся в NameNode.
Синтаксис команды:
hadoop dfsadmin [-printTopology]7.1.19.21 [refreshNamenodes] Перезагрузка файлов конфигурации DataNodeКоманда refreshNamenodes перезагружает файлы конфигурации для данного узла NameNode, прекращает обслуживание удалённых пулов блоков и начинает обслуживание новых пулов блоков.
Синтаксис команды:
hadoop dfsadmin [-refreshNamenodes datanodehost:port]¶ 7.1.19.21 [getVolumeReport] Получение отчёта об объёме DataNode
Команда getVolumeReport позволяет получить отчёт об объёме для данного узла NameNode.
Синтаксис команды:
hadoop dfsadmin [-getVolumeReport datanodehost:port]¶ 7.1.19.22 [deleteBlockPool] Удаление блока пула
Команда deleteBlockPool при принудительном вводе каталог пула блоков для данного идентификатора пула блоков на указанном DataNode удаляет пул вместе с его содержимым, в противном случае каталог удаляется только в том случае, если он пуст. Команда завершится ошибкой, если DataNode все ещё обслуживает пул блоков. Используйте команду refreshNamenodes, чтобы завершить работу службы пула блоков на DataNode.
Синтаксис команды:
hadoop dfsadmin [-deleteBlockPool datanode-host:port blockpoolId [force]]¶ 7.1.19.23 [setBalancerBandwidth] Изменение пропускной способности сети
Команда setBalancerBandwidth изменяет пропускную способность сети, используемую каждым DataNode во время балансировки блоков HDFS. <bandwidth> — это максимальное количество байтов в секунду, которое будет использоваться каждым DataNode. Это значение переопределяет параметр dfs.datanode.balance.bandwidthPerSec. Новое значение не сохраняется в DataNode.
Синтаксис команды:
hadoop dfsadmin [-setBalancerBandwidth <bandwidth in bytes per second>]¶ 7.1.19.24 [getBalancerBandwidth] Отображение пропускной способности сети
Команда getBalancerBandwidth позволяет вывести пропускную способность сети (в байтах в секунду) для данного DataNode. Это максимальная пропускная способность сети, используемая DataNode во время балансировки блоков HDFS.
Синтаксис команды:
hadoop dfsadmin [-getBalancerBandwidth <datanode_host:ipc_port>]¶ 7.1.19.25 [fetchImage] Загрузка fsimage
Команда fetchImage загружает самый последний fsimage из NameNode и сохраняет его в указанном локальном каталоге.
Синтаксис команды:
hadoop dfsadmin [-fetchImage <local directory>]¶ 7.1.19.26 [allowSnapshot] Разрешение на создание снапшотов
Команда allowSnapshot устанавливает разрешение на создание снапшотов каталога. Если операция завершится успешно, каталог станет снапшотом.
Синтаксис команды:
hadoop dfsadmin [-allowSnapshot <snapshotDir>]¶ 7.1.19.27 [disallowSnapshot] Запрет на создание снапшотов
Команда disallowSnapshot устанавливает запрет на создание снапшотов каталога. Перед тем, как установить запрет на создание снапшотов, необходимо удалить все снапшоты каталога.
Синтаксис команды:
hadoop dfsadmin [-disallowSnapshot <snapshotDir>]¶ 7.1.19.28 [shutdownDatanode] Завершение работы DataNode
Команда shutdownDatanode позволяет отправить запрос на завершение работы для данного DataNode.
Синтаксис команды:
hadoop dfsadmin [-shutdownDatanode <datanode_host:ipc_port> [upgrade]]¶ 7.1.19.29 [evictWriters] Завершение клиентов DataNode, записывающих блок
Команда evictWriters позволяет заставить DataNode завершить все клиентские соединения, которые записывают блок. Это полезно, если вывод из эксплуатации зависает из-за медленной записи.
Синтаксис команды:
hadoop dfsadmin [-evictWriters <datanode_host:ipc_port>]¶ 7.1.19.30 [getDatanodeInfo] Получение информации о DataNode
Команда getDatanodeInfo позволяет получить информацию о данном DataNode.
Синтаксис команды:
hadoop dfsadmin [-getDatanodeInfo <datanode_host:ipc_port>]¶ 7.1.19.31 [metasave] Сохранение метаданных NameNode
Команда metasave позволяет сохранить структуры метаданных NameNode в filename в каталоге, указанном свойством hadoop.log.dir. Filename перезаписывается, если он уже имеется. Filename будет содержать по одной строке для каждого из следующих параметров:
- сообщения heartbeat DataNodes с NameNode;
- блоки, ожидающие репликации;
- блоки, которые в настоящее время реплицируются;
- блоки, ожидающие удаления.
Синтаксис команды:
hadoop dfsadmin [-metasave filename]¶ 7.1.19.32 [triggerBlockReport] Отображение отчёта о блоках DataNode
Команда triggerBlockReport запускает отчёт о блоках для данного DataNode. Если не указан параметр <incremental>, то запустится отчёт о полном блоке.
Синтаксис команды:
hadoop dfsadmin [-triggerBlockReport [-incremental] <datanode_host:ipc_port>]¶ 7.1.19.33 [listOpenFiles] Отображение перечня открытых файлов
Команда listOpenFiles выводит перечень всех открытых файлов, управляемых в настоящий момент узлом NameNode, а также имя клиента и клиентский компьютер, к которому они обращаются. Список открытых файлов будет отфильтрован по заданному типу и пути. Добавляя параметр <blockingDecommission>, будут перечислены только открытые файлы, которые блокируют вывод DataNode из эксплуатации.
Синтаксис команды:
hadoop dfsadmin [-listOpenFiles [-blockingDecommission] [-path <path>]]¶ 7.1.19.34 [help] Вызов справки
Команда help отображает справку для данной команды или всех команд, если ни одна не указана.
Синтаксис команды:
hadoop dfsadmin [-help [cmd]]¶ 7.1.20 [dfsrouter] Запуск маршрутизатора
Команда dfsrouter запускает маршрутизатор.
Синтаксис команды:
hadoop dfsrouter¶ 7.1.21 [dfsrouteradmin] Управление маршрутизатором
Команда dfsrouteradmin предназначена для управления маршрутизатором.
Синтаксис команды:
hadoop dfsrouteradmin
[-add <source> <nameservice1, nameservice2, ...> <destination> [-readonly] [-order HASH|LOCAL|RANDOM|HASH_ALL] -owner <owner> -group <group> -mode <mode>]
[-update <source> <nameservice1, nameservice2, ...> <destination> [-readonly] [-order HASH|LOCAL|RANDOM|HASH_ALL] -owner <owner> -group <group> -mode <mode>]
[-rm <source>]
[-ls <path>]
[-setQuota <path> -nsQuota <nsQuota> -ssQuota <quota in bytes or quota size string>]
[-clrQuota <path>]
[-safemode enter | leave | get]
[-nameservice disable | enable <nameservice>]
[-getDisabledNameservices]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -add source nameservices destination — добавить запись в таблицу монтирования или обновить, если она существует;
- -update source nameservices destination — обновить запись в таблице монтирования или создать ее, если она не существует;
- -rm source — удалить точку монтирования по указанному пути;
- -ls path — вывести список точек монтирования по указанному пути;
- -setQuota path -nsQuota nsQuota -ssQuota ssQuota — установить квоту для указанного пути;
- -clrQuota path — очистить квоту для данной точки монтирования;
- -safemode enter leave get — ручная установка маршрутизатора, входящего в безопасный режим или выходящего из него. Параметр get будет использоваться для проверки, находится ли маршрутизатор в состоянии безопасного режима;
- -nameservice disable enable nameservice — отключить/включить службу имён из федерации. Если отключено, запросы не будут поступать в эту службу имён;
- -getDisabledNameservices — получить службы имён, отключённые в федерации.
¶ 7.1.22 [diskbalancer] Управление балансировщиком
Команда diskbalancer предназначена для управления балансировщиком.
Синтаксис команды:
hadoop diskbalancer
[-plan <datanode> -fs <namenodeURI>]
[-execute <planfile>]
[-query <datanode>]
[-cancel <planfile>]
[-cancel <planID> -node <datanode>]
[-report -node <file://> | [<DataNodeID|IP|Hostname>,...]]
[-report -node -top <topnum>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -plan — создаёт план балансировщика;
- -execute — выполняет заданный план на узле данных;
- -query — получает текущий статус балансировщика дисков с узла данных;
- -cancel — отменяет текущий план;
- -report — сообщает информацию об объёме от узлов данных.
¶ 7.1.23 [ec] Запуск интерфейс командной строки ErasureCoding.
Команда ec запускает интерфейс командной строки ErasureCoding.
Синтаксис команды:
hadoop ec [generic options]
[-setPolicy -policy <policyName> -path <path>]
[-getPolicy -path <path>]
[-unsetPolicy -path <path>]
[-listPolicies]
[-addPolicies -policyFile <file>]
[-listCodecs]
[-enablePolicy -policy <policyName>]
[-disablePolicy -policy <policyName>]
[-help [cmd ...]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -setPolicy — установить указанную политику ErasureCoding в каталог;
- -getPolicy — получить информацию о политике ErasureCoding по указанному пути;
- -unsetPolicy — отменить политику ErasureCoding, установленную предыдущим вызовом «setPolicy» в каталоге;
- -listPolicies — список всех поддерживаемых политик ErasureCoding;
- -addPolicies — добавить список политик кодирования стирания;
- -listCodecs — получить список поддерживаемых кодеков стирания кодеков в системе;
- -enablePolicy — включить политику ErasureCoding в системе;
- -disablePolicy — отключить политику ErasureCoding в системе.
¶ 7.1.24 [haadmin] Управление NameNode
Команда haadmin предназначена для управления состояниями NameNode.
Синтаксис команды:
hadoop haadmin -transitionToActive <serviceId> [--forceactive]
hadoop haadmin -transitionToStandby <serviceId>
hadoop haadmin -transitionToObserver <serviceId>
hadoop haadmin -failover [--forcefence] [--forceactive] <serviceId> <serviceId>
hadoop haadmin -getServiceState <serviceId>
hadoop haadmin -getAllServiceState
hadoop haadmin -checkHealth <serviceId>
hadoop haadmin -help <command>В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -checkHealth — проверить состояние данного NameNode;
- -failover — инициирует переключение между двумя NameNodes;
- -getServiceState — определяет, является ли данный NameNode активным или резервным;
- -getAllServiceState — возвращает состояние всех NameNodes;
- -transitionToActive — переводит состояние заданного NameNode в Active;
- -transitionToStandby — переводит состояние данного NameNode в режим ожидания;
- -transitionToObserver — переводит состояние данного NameNode в Observer;
- -help [cmd] — отображает справку для данной команды или всех команд, если ни одна не указана.
¶ 7.1.25 [journalnode] Запуск JournalNode
Команда journalnode предназначена для запуска узла журналов.
Синтаксис команды:
hadoop journalnode¶ 7.1.26 [mover] Запуск утилиты переноса данных
Команда mover запускает утилиту переноса данных.
Обратите внимание, что если опущены параметры -p и -f, по умолчанию используется корневой каталог.
Также введена функция закрепления, чтобы предотвратить перемещение определённых реплик балансировщиком/утилитой. Эта функция закрепления отключена по умолчанию, и её можно включить с помощью свойства конфигурации dfs.datanode.block-pinning.enabled. Когда эта функция включена, эта функция влияет только на блоки, которые записываются в избранные узлы, указанные в вызове create (). Эта функция полезна, когда мы хотим сохранить локальность данных для таких приложений, как HBase regionserver.
Синтаксис команды:
hadoop mover [-p <files/dirs> | -f <local file name>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -f <local file> — укажите локальный файл, содержащий список файлов/каталогов HDFS для переноса;
- -p <files/dirs> — укажите разделённый пробелами список файлов/каталогов HDFS для переноса.
¶ 7.1.27 [namenode] Управление NameNode
Команды namenode позволяют управлять NameNode.
Ниже в разделах представлены возможные команды для администрирования HDFS.
¶ 7.1.27.1 [backup] Запуск backup-узла
Команда backup запускает backup-узел.
Синтаксис команды:
hadoop namenode [-backup]¶ 7.1.27.2 [checkpoint] Запуск checkpoint-узла
Команда checkpoint запускает checkpoint-узел, т.е. узел контрольной точки.
Синтаксис команды:
hadoop namenode [-checkpoint]¶ 7.1.27.3 [format] Форматирование NameNode
Команда format форматирует указанный NameNode. Он запускает NameNode, форматирует его, а затем закрывает. Выдаёт исключение NameNodeFormatException, если dir уже существует и для кластера отключено переформатирование.
Синтаксис команды:
hadoop namenode [-format [-clusterid cid ] [-force] [-nonInteractive] ]¶ 7.1.27.4 [upgrade] Запуск NameNode с обновлением версии
Команда upgrade запускает NameNode с опцией обновления после распространения новой версии Hadoop.
Синтаксис команды:
hadoop namenode [-upgrade [-clusterid cid] [-renameReserved<k-v pairs>] ]¶ 7.1.27.5 [upgradeOnly] Обновление NameNode
Команда upgradeOnly обновляет указанный NameNode, а затем выключает его.
Синтаксис команды:
hadoop namenode [-upgradeOnly [-clusterid cid] [-renameReserved<k-v pairs>] ]¶ 7.1.27.6 [rollback] Откат NameNode
Команда rollback откатывает NameNode к предыдущей версии. Команду следует использовать после остановки кластера и разворачивания старой версии Hadoop.
Синтаксис команды:
hadoop namenode [-rollback]¶ 7.1.27.7 [rollingUpgrade] Управление непрерывным обновлением NameNode
Команда rollingUpgrade обновляет и закрывает указанный NameNode.
Синтаксис команды:
hadoop namenode [-rollingUpgrade <rollback |started> ]¶ 7.1.27.8 [importCheckpoint] Загрузка и сохранение изображения из каталога контрольных точек
Команда importCheckpoint загружает изображение из каталога контрольных точек и сохраняет его в текущем. Каталог dir контрольной точки считывается из свойства dfs.namenode.checkpoint.dir.
Синтаксис команды:
hadoop namenode [-importCheckpoint]¶ 7.1.27.9 [initializeSharedEdits] Форматирование общего каталога изменений и копирование его в журнал
Команда initializeSharedEdits форматирует новый общий каталог изменений и копирует в достаточное количество сегментов журнала, чтобы можно было запустить резервный NameNode.
Синтаксис команды:
hadoop namenode [-initializeSharedEdits]¶ 7.1.27.10 [bootstrapStandby] Загрузка резервных каталогов NameNode
Команда bootstrapStandby позволяет загрузить резервные каталоги хранилища NameNode путём копирования последнего снимка пространства имён из активного NameNode. Команда используется при первой настройке кластера высокой доступности.
Параметры -force или -nonInteractive имеют то же значение, что и описанный в команде -format. Параметр skipSharedEditsCheck пропускает проверку правок, которая гарантирует, что имеется достаточно правок в общем каталоге для запуска с последней контрольной точки в активном узле имён.
Синтаксис команды:
hadoop namenode [-bootstrapStandby [-force] [-nonInteractive] [-skipSharedEditsCheck] ]¶ 7.1.27.11 [recover] Восстановление метаданных
Команда recover позволяет восстановить потерянные метаданные в повреждённой файловой системе.
Синтаксис команды:
hadoop namenode [-recover [-force] ]¶ 7.1.27.12 [metadataVersion] Отображение версии метаданных
Команда metadataVersion позволяет вывести версии метаданных программного обеспечения и образа (при условии наличия настроенных каталогов).
Синтаксис команды:
hadoop namenode [-metadataVersion ]¶ 7.1.28 [nfs3] Запуск шлюза NFS3
Команда nfs3 запускает шлюз NFS3.
Синтаксис команды:
hadoop nfs3¶ 7.1.29 [portmap] Запуск карты портов RPC
Команда portmap запускает карту портов RPC.
Синтаксис команды:
hadoop portmap¶ 7.1.30 [secondarynamenode] Запуск SecondaryNameNode
Команда secondarynamenode запускает SecondaryNameNode.
Синтаксис команды:
hadoop secondarynamenode [-checkpoint [force]] | [-format] | [-geteditsize]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -checkpoint [force] — контрольные точки SecondaryNameNode, если размер EditLog>=fs.checkpoint.size. Если используется параметр force, контрольная точка не зависит от размера EditLog;
- -format — форматирование локального хранилища во время запуска;
- -Targetitsize — отображение количества транзакций без отметок на NameNode.
¶ 7.1.31 [storagepolicies] Управление политиками хранения
Команда storagepolicies предназначена для управления политиками хранения.
Синтаксис команды:
hadoop storagepolicies
[-listPolicies]
[-setStoragePolicy -path <path> -policy <policy>]
[-getStoragePolicy -path <path>]
[-unsetStoragePolicy -path <path>]
[-satisfyStoragePolicy -path <path>]
[-isSatisfierRunning]
[-help <command-name>]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -listPolicies — перечисляет все политики хранения;
- -setStoragePolicy -path <path> -policy <policy> — устанавливает политику хранения для файла или каталога;
- -getStoragePolicy -path <path> — получить политику хранения файла или каталога;
- -unsetStoragePolicy -path <path> — отменить политику хранения для файла или каталога. После команды unset будет применяться политика хранения ближайшего предка, и, если нет политики для какого-либо предка, будет применяться политика хранения по умолчанию;
- -satisfyStoragePolicy -path <path> — запланировать перемещение блоков на основе текущей политики хранения файла/каталога;
- -isSatisfierRunning — статус;
- -help <command-name> — вызов справки.
¶ 7.1.32 [zkfc] Запуск процесса Zookeeper Failover Controller
Команда zkfc запускает процесс Zookeeper Failover Controller.
Синтаксис команды:
hadoop zkfc [-formatZK [-force] [-nonInteractive]]В команде могут быть использованы следующие параметры команды COMMAND_OPTION:
- -formatZK — отформатировать экземпляр Zookeeper;
- -force — форматирует znode, если znode существует;
- -nonInteractive — форматирование znode прерывается, если znode существует, если не указана опция -force.
- -h — показать справку.
¶ 7.2 Инструкция по работе с Hue
¶ 7.2.1 Общая информация
Hue представляет собой web-интерфейс, который позволяет пользователям интерактивно взаимодействовать с кластером Hadoop и его компонентами.
Hue содержит следующие приложения:
- Редактор (Editor) — служит для отправки запросов к данным как на SQL, так и с использованием других языков запросов. Editor также имеет функции интеллектуального автозаполнения, поиска и тегирования данных.
- Браузеры (Browsers) — служат для поиска, просмотра и выполнения действия с данными или заданиями (jobs) кластера.
- Дашборд (Dashboard) — служит для интерактивного изучения данных без использования языков программирования, а только с использованием функций drag&drop и выбора данных кликом.
- Планировщик (Scheduler) — служит для создания заданий (workflows) и планирования их автоматического выполнения по триггеру. Интерфейс мониторинга показывает прогресс, логи и разрешает такие действия, как приостановка или остановка заданий.
¶ 7.2.1.1 Интерфейс
Интерфейс Hue является одностраничным приложением и содержит следующие области:
- Верхняя панель с быстрым действием, глобальным поиском и областью уведомлений справа.
- Меню со ссылками на различные приложения и быстрый способ импорта данных.
- Расширенный быстрый просмотр на левой вспомогательной панели.
- Основная область приложения.
- Правая вспомогательна панель для текущего приложения. Она включена для редакторов (editors), а в случае, например, с Hive, она предлагает оперативную помощь, быстрый просмотр используемых таблиц в запросе и многое другое. Если ваш экземпляр Hue подключён к службе SQL-оптимизатора, панель может отображать предложения по вашим запросам.
- Различные приложения сгруппированы в 4 основные концептуальные области.
¶ 7.2.1.1.1 Поиск
Панель поиска всегда доступна в верхней части экрана, а также предлагает поиск документов и поиск по метаданным, если Hue настроен для доступа к серверу метаданных.
Поиск предлагает следующие возможности:
1. Встроенный поиск и теги.
Hue позволяет искать любую таблицу, представление или столбец во всех базах данных в кластере.
Кроме того, имеется возможность помечать объекты тегами для их классификации и группировки по проектам. Эти теги доступны для поиска.
Автозаполнение панели поиска предлагает список аспектов и предварительное заполнение верхних значений. Нажатие клавиши ввода приводит список доступных объектов, которые можно открыть и исследовать далее во всплывающем окне, в помощнике или непосредственно в приложении для просмотра таблиц.
2. Детальный поиск.
По умолчанию возвращаются только таблицы и представления. Для поиска столбцов, разделов, баз данных используйте фильтр Тип:
Пример поиска:
- table:customer — поиск таблицы клиента;
- table:tax* tags:finance — перечисление всех таблиц, начинающихся с tax и тегированных как finance;
- owner:admin type:field usage — список всех полей, созданных пользователем с правами admin, которые соответствуют строке использования;
- parentPath:"/default/web_logs" type:FIELD originalName:b* — перечисление всех столбцов, начинающихся с b таблицы web_logs в базе данных default.
¶ 7.2.1.1.2 Левая вспомогательная панель
С помощь левой вспомогательной панели можно найти документы Hue, файлы HDFS и S3 и другое. При щелчке правой кнопкой мыши по элементам отобразится список возможных действий с элементом.
¶ 7.2.1.1.3 Правая вспомогательная панель
Содержимое правой вспомогательной панели зависит от контекста выбранного приложения и отображает текущие таблицы или доступные UDF.
¶ 7.2.1.1.4 Всплывающее окно
Всплывающее окно предлагает быстрый способ просмотреть образцы данных и другую статистику по базам данных, таблицам и столбцам. Вы можете открыть всплывающее окно из SQL Assist или щёлкнуть правой кнопкой мыши на любой объект SQL (таблица, столбец, функция и прочие).
¶ 7.2.1.1.5 Визуализация
Визуализация удобна для построения хронологических данных или, когда подмножества строк имеют один и тот же атрибут, они будут складываться вместе.
¶ 7.2.1.2 Средство импорта
Цель Средства импорта — разрешить ad-hoc запросы к данным, которых ещё нет в кластере, тем самым ускорить self-service аналитику.
Если вы хотите импортировать свои собственные данные вместо образцов таблиц, откройте Средство импорта из левого меню или из + на левой вспомогательной панели.
Чтобы создать новые SQL-таблицы из файлов:
- Выберите тип источника.
- Выберите тип объекта назначения.
¶ 7.2.1.2.1 SQL-таблицы
Хотя можно создавать таблицы, выполняя соответствующие команды DDL- и HQL-запросов Hive, проще создать таблицу с помощью мастера создания таблиц:
1. Из файла.
Чтобы создать таблицу из файла, необходимо:
- В диспетчере импорта выбирать источник из File.
- Выбрать тип таблицы.
Файлы можно перетаскивать, выбирать из HDFS или S3 (если настроено), и их форматы определяются автоматически. Мастер также помогает при выполнении расширенных функций, таких как разделение таблиц, таблицы Kudu и вложенные типы.
2. Вручную.
Чтобы создать таблицу вручную, необходимо:
- В диспетчере импорта выбрать Manually.
- Следовать инструкциям мастера, чтобы создать таблицу. Основные шаги:
- назвать таблицу;
- выбрать формат записи;
- настроить сериализацию записей, указав разделители для столбцов, коллекций и ключей карты;
- выбрать формат файла;
- указать место для данных вашей таблицы;
- указать столбцы, указав имя и выбрав тип для каждого столбца;
- указать столбцы раздела, указав имя и выбрав тип для каждого столбца.
¶ 7.2.1.2.2 Индексирование
На вкладке Search на панели навигации выберите Index.
Введите имя для новой коллекции и выберем наш файл данных отзывов из HDFS. Затем нажмите Next.
¶ 7.2.1.2.3 Традиционные базы данных
Hue позволяет принимать данные из традиционных баз данных.
¶ 7.2.1.3 Документы
Hue позволяет сохранять документы, а также обмениваться ими с другими пользователями.
¶ 7.2.1.3.1 Обмен
Совместное использование происходит на главной странице или через верхнее правое меню приложения. Можно выбрать пользователей и группы с разрешениями на чтение или запись.
¶ 7.2.1.3.2 Импорт/экспорт
Через главную страницу сохраненные документы можно экспортировать для резервного копирования или переноса в другой Hue.
¶ 7.2.1.4 Смена языка
Язык определяется автоматически из браузера или ОС.
Язык может быть установлен вручную пользователем на странице My profile. Перейдите в My Profile —> Step2 Profile and Groups —> Language Preferenceи выберите нужный язык.
¶ 7.2.2 Редактор (Editor)
Hue ориентирован на SQL, но поддерживает и иные языки. Он позволяет работать с интеллектуальным автозаполнением, поиском и тегированием данных, а также поддержкой запросов.
Любой редактор может быть помечен звёздочкой рядом с его именем, чтобы он стал редактором по умолчанию и целевой страницей при входе в систему
Для настройках подключения к Hadoop и Hive необходимо изменить следующие параметры в файле /etc/hue/conf/hue.ini:
- в значение переменной вместо слова hadoop-spacename необходимо подставить логическое имя пространства (из core-site.xml):
В файле /etc/hadoop/conf/core-site.xml из параметра
fs_defaultfsскопируйте только название пространства (без спец. символов)
- в значение hostname необходимо подставить полное имя хоста выбранного сервиса (вместе с доменом):
Посмотреть полное имя хоста можно командой:
hostname -f
Структура конфигурационного файла hue.ini состоит из блоков, обрамлённых в квадратные скобки, например: [desktop].
Количество квадратных скобок говорит об уровне блока: 1 скобка - один из главных параметров, 2 и 3 скобки - вложенные блоки главного параметра.
Если HDFS был установлен в режиме высокой доступности, необходимо в параметре
fs_defaultfsиспользовать значение одноименного параметра из файла конфигурации hadoop, расположенного в директории /etc/hadoop/conf/core-site.xml
Для обеспечения отказоустойчивости webhdfs, рекомендуется использовать балансировщик нагрузки (например, HAProxy) и использовать его адрес и порт в параметреwebhdfs_url
[desktop]
app_blacklist=impala,oozie,pig
django_debug_mode=False
enable_prometheus=True
http_500_debug_mode=False
http_host=0.0.0.0
http_port=8888
secret_key= # Используется для безопасного хеширования. Введите случайное текстовое значение или оставьте пустым.
time_zone=Europe/Moscow
[[database]]
engine=postgresql_psycopg2
host=hostname
name=hue
password=hue
port=5432
user=hue
[hadoop]
[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://hostname:8020
hadoop_conf_dir=/etc/hadoop/conf
is_enabled=True
logical_name=hadoop-namespace
security_enabled=True
ssl_cert_ca_verify=False
webhdfs_url=http://hostname:9870/webhdfs/v1
[[yarn_clusters]]
[[[yarn_default]]]
history_server_api_url=http://hostname:19888
logical_name=hadoop-namespace
proxy_api_url=http://hostname:8088
resourcemanager_api_url=http://hostname:8088
resourcemanager_host=hostname
resourcemanager_port=8031
security_enabled=True
spark_history_server_security_enabled=False
spark_history_server_url=http://hostname:18082
ssl_cert_ca_verify=False
submit_to=True
[beeswax]
hive_server_host=hostname
hive_server_port=10000
hive_conf_dir=/etc/hive/conf
server_conn_timeout=120
[spark]
csrf_enabled=False
livy_server_url=hostname:8998
security_enabled=False
sql_server_host=hostname
sql_server_port=10016
ssl_cert_ca_verify=False
use_sasl=False
[hbase]
hbase_clusters=(Cluster|hostname:9095)
hbase_conf_dir=/etc/hbase/conf
ssl_cert_ca_verify=False
thrift_transport=buffered
truncate_limit=500
Важно: при изменении параметров необходимо сохранять структуру файлов!
После изменения файлов конфигурации необходимо перезагрузить сервис hue
systemctl restart hue.service
Если планируется использование редактора Hue для работы с внешними СУБД, необходимо выполнить следующие шаги (рассмотрим на примере добавления postgres):
Во-первых, в файле hue.ini вам нужно добавить соответствующую информацию о подключении в разделе librdbms:
[librdbms]
[[databases]]
[[[postgresql]]]
nice_name=PostgreSQL
name=music
engine=postgresql_psycopg2
port=5432
user=hue
password=hue
options={}Во-вторых, необходимо добавить новый интерпретатор в приложение для notebook. Это позволит зарегистрировать новый тип базы данных как тип сниппета в приложении Notebook. Для редакторов запросов, использующих базу данных, совместимую с Django, имя в скобках должно совпадать с именем конфигурации базы данных в разделе librdbms (например, ‑postgresql). Интерфейс будет установлен на rdbms. Это сообщает Hue использовать драйвер librdbms и соответствующую информацию для подключения к базе данных. Например, с указанной выше конфигурацией подключения postgresql в разделе librdbms можно добавить интерпретатор PostgreSQL со следующей конфигурацией notebook:
[notebook]
[[interpreters]]
[[[postgresql]]]
name=PostgreSQL
interface=rdbms
После изменения файлов конфигурации необходимо перезагрузить сервис hue
systemctl restart hue.service
¶ 7.2.2.1 Концепции
¶ 7.2.2.1.1 Выполнение запросов
|
Примечание. Чтобы выполнить запрос, вы должны авторизоваться в Hue как пользователь, у которого также есть учётная запись пользователя Unix на удалённом сервере. |
Чтобы выполнить запрос, необходимо:
1. Чтобы выполнить часть запроса, выделите один или несколько операторов запроса.
2. Щёлкните Execute. Откроется окно Query Results с результатами вашего запроса.
- Чтобы просмотреть журнал выполнения запроса, переключите курсор Log слева от индикатора выполнения. Вы можете использовать информацию на этой вкладке для отладки вашего запроса;
- Чтобы просмотреть столбцы запроса, разверните значок Columns. При нажатии на метку столбца выполняется прокрутка к столбцу. Имена и типы можно фильтровать;
- Чтобы развернуть строку, дважды щёлкните по ней или щёлкните номер строки;
- Чтобы заблокировать строку, щёлкните значок замка в столбце номера строки;
- выполните поиск, щёлкнув значок лупы на вкладке результатов или нажав Ctrl/Cmd + F.
3. Если в запросе есть несколько операторов (разделённых точкой с запятой), щёлкните Next на панели запроса с несколькими операторами, чтобы выполнить оставшиеся операторы.
Если у вас есть несколько операторов, достаточно поместить курсор в оператор, который вы хотите выполнить, активный оператор обозначается синей меткой.
|
Примечание. Чтобы выполнить запрос, используйте Ctrl/Cmd + Enter. |
|
Примечание. На панели журналов вы можете просмотреть любые задания MapReduce, созданные в результате запроса. |
¶ 7.2.2.1.2 Скачивание и сохранение результатов запроса
|
Внимание. Вы можете сохранить результаты в файл только в том случае, если результаты были созданы заданием MapReduce. Данный способ сохранения является предпочтительным, когда результат большой (например, > 1 млн строк). |
Чтобы скачать и сохранить результат запроса, выполните одно из следующих действий:
- Щёлкните Download as CSV, чтобы загрузить результаты в файл значений, разделенных запятыми, который можно использовать в других приложениях.
- Нажмите Download as XLS, чтобы загрузить результаты в файл таблицы Microsoft Office Excel.
- Нажмите Save, чтобы сохранить результаты в таблице или файле HDFS:
- Чтобы сохранить результаты в новой таблице, выберите In a new table, введите имя таблицы и нажмите Save.
- Чтобы сохранить результаты в файле HDFS, выберите In an HDFS directory, введите путь и нажмите Save.
На панели вверху Pедактора можно указать параметры, представленные в таблице ниже.
Таблица 17— Параметры Редактора
|
Параметр |
Описание |
|---|---|
| Database | База данных, содержащая определения таблиц. |
| Settings |
Переопределение настроек Hive и Hadoop по умолчанию. Чтобы настроить новый параметр:
|
| File resources |
Параметр для локальной доступности файлов во время выполнения запроса в кластере Hadoop. Hive использует Hadoop Distributed Cache для распространения добавленных файлов на все машины в кластере во время выполнения запроса.
Примечание. Нет необходимости указывать файлы, используемые в скрипте преобразования, если файлы доступны по одному и тому же пути на всех машинах в кластере Hadoop. |
| User-defined functions |
Специальные функции, определяемые пользователем.
|
| Parameterization |
Указывает, что диалоговое окно должно отображаться для ввода значений параметров при выполнении запроса, содержащего строку $parametername. Включено по умолчанию. |
¶ 7.2.2.1.3 Автозаполнение
Инструмент автозаполнения знает все тонкости диалекта Hive SQL и предлагает ключевые слова, функции, столбцы, таблицы, базы данных в зависимости от структуры оператора и положения курсора.
Инструмент предлагает завершение не только для операторов SELECT, но и других операторов, таких как: DDL и DML, INSERT, CREATE, ALTER, DROP и прочих.
Инструмент осуществляет следующие типы автозаполнения:
1. Автозаполнение столбцов.
Если в предложении FROM появляется несколько таблиц, включая производные и объединённые таблицы, инструмент объединит столбцы из всех таблиц и при необходимости добавит соответствующие префиксы. Он также содержит информацию о ваших алиасах, последних просмотрах и сложных типах и будет включать их. Он будет автоматически возвращать любые зарезервированные слова или экзотические имена столбцов, где это необходимо, чтобы предотвратить любые ошибки.
2. Автозаполнение ключевых слов.
Инструмент автозаполнения предлагает ключевые слова в зависимости от положения курсора в операторе. Там, где это возможно, он даже будет предлагать более одного слова за раз. В тех частях, где порядок имеет значение, но ключевые слова являются необязательными, например, после FROM tbl, он будет перечислять предложения ключевых слов в ожидаемом порядке, с первым ожидаемым вверху. Итак, после FROM tbl ключевое слово WHERE указано выше GROUP BY.
3. UDF.
Инструмент автозаполнения предлагает функции. Для каждого предложения функции добавляется дополнительная панель в раскрывающемся списке автозаполнения, показывающая документацию и подпись функции. Автозаполнение хранит информацию об ожидаемых типах аргументов и будет предлагать только те столбцы или функции, которые соответствуют аргументу в позиции курсора в списке аргументов.
4. Подзапросы, коррелированные или нет.
При редактировании подзапросов инструмент будет делать предложения только в рамках подзапроса. Для коррелированных подзапросов также принимаются во внимание внешние таблицы.
В настройках Редактора вы можете отключить автозаполнение в реальном времени или вообще отключить автозаполнение. Чтобы получить доступ к этим настройкам, откройте Редактор и, наведя курсор на область с кодом, нажмите CTRL + , (или на Mac CMD + ,) и настройки отобразятся.
Автозаполнение обращается к бэкэнду, чтобы получить данные для таблиц, баз данных и прочих. По умолчанию он истекает через 5 секунд, но как только он будет получен, он кэшируется для следующего раза. Тайм-аут можно настроить в конфигурации сервера Hue.
Если автозаполнение не может интерпретировать оператор, то раскрывающийся список не появится.
¶ 7.2.2.1.4 Переменные
Переменные могут иметь значения по умолчанию, например, ${n = 10} вместо простого ${n}.
¶ 7.2.2.1.5 Проверка синтаксиса
Подчёркивание красного цвета будет отображать неправильный синтаксис, чтобы запрос можно было исправить перед отправкой. Правый щелчок отобразит предложения.
¶ 7.2.2.1.6 Режим презентации
Превращает список запросов, разделённых точкой с запятой, в интерактивную презентацию. Режим отлично подходит для демонстрации или базовой отчётности.
¶ 7.2.2.2 SQL
Используйте Редактор запросов с любой базой данных, совместимой с JDBC или Django.
¶ 7.2.2.2.1 Hive
Обеспечена поддержка отправки нескольких запросов при использовании Tez. Вы можете включить его с помощью этой настройки:
[beeswax]
max_number_of_sessions=10¶ 7.2.2.2.2 Другие
Помимо Hive Редактор запросов совместим со следующими БД:
- MySQL.
- Oracle.
- KSQL / Kafka SQL.
- Solr SQL.
- Presto.
- PostgreSQL.
- Redshift.
- BigQuery.
- AWS Athena.
- Spark SQL.
- Phoenix.
- Kylin.
- И другие.
¶ 7.2.2.3 Задания
Приложение Редактор позволяет создавать и отправлять задания в кластер. Вы можете включать переменные в свои задания, чтобы вы и другие пользователи могли вводить значения для переменных при выполнении вашего задания.
Все настройки дизайна задания, кроме Name и Description, поддерживают использование переменных вида $variable_name. Когда вы запустите задание, появится диалоговое окно, в котором вы сможете указать значения переменных.
Параметры передаются скрипту или команде. Параметры выражаются с использованием [JSP 2.0 Specification (JSP.2.3) Expression Language], что позволяет использовать переменные, функции и сложные выражения в качестве параметров.
Задания содержат классы, представленные в таблице ниже.
Таблица 18— Классы заданий
|
Класс |
Описание |
|---|---|
| Name | Определяет задание и набор его свойств и параметров. |
| Description |
Описание задания. Описание отображается в диалоговом окне, которое появляется, если вы указываете переменные для задания. |
| Advanced |
Расширенные настройки:
|
| Prepare |
Указывает пути для создания или удаления перед запуском задания рабочего процесса. |
| Params |
Параметры задания. |
| Job Properties |
Свойства задания. Чтобы установить значение свойства, нажмите Add Property:
|
| Files |
Файлы для передачи заданию. Эквивалентно параметру Hadoop -files. |
| Archives |
Файлы в виде архивов для передачи заданию. Эквивалентно параметру Hadoop –archives. |
¶ 7.2.2.3.1 MapReduce
Дизайн задания MapReduce состоит из функций MapReduce, написанных на Java. Вы можете создать проект задания MapReduce из существующих классов mapper и reducer без необходимости писать основной класс Java. Вы должны указать классы mapper и reducer, а также другие свойства MapReduce в настройке Job Properties.
Таблица 19— Классы заданий MapReduce
|
Класс |
Описание |
|---|---|
| Jar path |
Полный путь к файлу JAR, содержащему классы, реализующие функции mapper и reducer. |
¶ 7.2.2.3.2 Java
Дизайн задания Java состоит из основного класса, написанного на Java.
Таблица 20— Классы заданий Java
|
Класс |
Описание |
|---|---|
| Jar path |
Полный путь к файлу JAR, содержащему основной класс. |
| Main class |
Основной класс для вызова программы. |
| Args |
Аргументы, передаваемые в основной класс. |
| Java opts |
Параметры, передаваемые JVM. |
¶ 7.2.2.3.3 Shell
Дизайн задания Shell состоит из shell-команд.
Таблица 21— Классы заданий Shell
|
Класс |
Описание |
|---|---|
| Command |
Shell-команда. |
| Capture output |
Укажите, нужно ли записывать вывод команды. |
¶ 7.2.3 Дашборды (Dashboards)
Дашборды — это интерактивный способ быстро и легко изучить ваши данные. Никакого программирования не требуется, и анализ выполняется перетаскиванием и щелчками.
¶ 7.2.3.1 Концепции
Просто перетащите и отпустите виджеты, которые связаны между собой. Это отлично подходит для изучения новых наборов данных или мониторинга без ввода текста.
¶ 7.2.3.1.1 Импорт
Любой файл CSV можно перетащить и вставить в индекс за несколько кликов с помощью Data Import Wizard. Индексированные данные можно сразу же запросить, а их показатели/измерения можно будет очень быстро изучить.
¶ 7.2.3.1.2 Просмотр
Левая панель метаданных перечисляет информацию о столбцах и просмотреть их содержимое во всплывающем окне образца.
¶ 7.2.3.1.3 Запрос
Поле поиска поддерживает фильтрацию данных поля в реальном времени по префиксу и поставляется с автозаполнением синтаксиса Solr, чтобы сделать запросы интуитивно понятными и быстрыми. Любое поле можно проверить на предмет его максимальных значений статистики. Этот анализ происходит очень быстро, поскольку данные индексируются.
¶ 7.2.3.2 Базы данных
¶ 7.2.3.2.1 Solr
С помощью Solr верхняя панель поиска предлагает полное автозаполнение для всех значений индекса.
Функция More like This позволяет вам выбирать поля, которые вы хотели бы использовать для поиска похожих записей. Это отличный способ найти похожие проблемы, клиентов, людей и прочее по списку атрибутов.
¶ 7.2.3.2.2 SQL
SQL также поддерживается дашбордами.
¶ 7.2.4 Браузеры (Browsers)
Браузеры Hue поддерживают ваш Data Catalog. Они позволяют легко искать, просматривать и выполнять действия с данными или заданиями в локальных кластерах.
¶ 7.2.4.1 Таблицы
Браузер таблиц позволяет вам управлять базами данных, таблицами и разделами хранилища метаданных, используемых Hive. Вы можете использовать Metastore Manager для выполнения следующих операций:
1. Базы данных:
- Выбор базы данных;
- Создание базы данных;
- Удаление базы данных.
2. Таблицы.
- Создание таблиц;
- Просмотр таблиц;
- Сброс таблиц;
- Просмотр данных таблицы и метаданных (столбцы, разделы и прочее);
- Импорт данных в таблицу;
- Фильтрация, сортировка и просмотр разделов.
¶ 7.2.4.2 Файловые системы
Браузер файлов позволяет просматривать и управлять файлами и каталогами в HDFS, S3 или ADLS.
С помощью файлового браузера вы можете:
- Создавать файлы и каталоги, загружать и скачивать файлы, загружать zip-архивы, а также переименовывать, перемещать и удалять файлы и каталоги. Также можно изменить владельца, группу и права доступа к файлу или каталогу.
- Осуществлять поиск файлов, каталогов, владельцев и групп.
- Просматривать и редактировать файлы как текстовые или двоичные.
¶ 7.2.4.2.1 HDFS
Hue поддерживает один кластер HDFS. Этот кластер должен быть определён в подразделе [[[default]]].
- fs_defaultfs:: — это эквивалент fs.defaultFS (также известного как fs.default.name) в конфигурации Hadoop.
- webhdfs_url:: — вы также можете установить это как URL-адрес HttpFS. Значение по умолчанию — порт HTTP на NameNode.
- hadoop_conf_dir:: — это каталог конфигурации HDFS, обычно /etc/hadoop/conf.
¶ 7.2.4.2.2 S3
Hue можно настроить для чтения и записи в настроенную учётную запись S3, а пользователи получают возможность автозаполнения и могут напрямую запрашивать и сохранять данные в S3 без какого-либо промежуточного перемещения/копирования в HDFS.
¶ 7.2.4.2.2.1 Создание таблиц Hive непосредственно из S3
Hue Metastore Import Data Wizard может создавать внешние таблицы Hive непосредственно из каталогов данных в S3. Это позволяет запрашивать данные S3 через SQL из Hive без перемещения или копирования данных в HDFS или Hive Warehouse.
Чтобы создать внешнюю таблицу Hive из S3, перейдите в приложение Metastore, выберите нужную базу данных и затем щёлкните значок Create a new table from a file в правом верхнем углу.
Введите имя таблицы и необязательное описание, а в инструменте выбора файлов Input File or Directory выберите файловую систему S3A, перейдите к родительскому каталогу, содержащему желаемые файлы данных, и нажмите кнопку Select this folder. В раскрывающемся списке Load Data должен автоматически быть выбран параметр Create External Table, который указывает, что эта таблица будет напрямую ссылаться на каталог внешних данных.
Выберите параметры разделителя и определения столбца для входных файлов и, наконец, нажмите Create Table, когда будете готовы создать таблицу Hive. После создания вы должны увидеть детали вновь созданной таблицы в Metastore.
¶ 7.2.4.2.2.2 Сохранение результаты запроса в S3
Мы можем перейти в Редактор Hive и запросить данные непосредственно из S3. Эти запросы могут объединять таблицы и объекты, которые поддерживаются S3, HDFS или обоими. Затем результаты запроса можно легко сохранить обратно в S3.
¶ 7.2.4.2.2.3 Настройка S3
Чтобы добавить учётную запись S3 в Hue, вам необходимо настроить Hue с действительными учётными данными S3, включая идентификатор ключа доступа и секретный ключ доступа AWSCredentials.
Эти ключи могут безопасно храниться в скрипте, который выводит фактический ключ доступа и секретный ключ на стандартный вывод для чтения Hue. Чтобы использовать файлы скриптов, добавьте следующий раздел в файл конфигурации hue.ini:
[aws]
[[aws_accounts]]
[[[default]]]
access_key_id_script=/path/to/access_key_script
secret_access_key_script= /path/to/secret_key_script
allow_environment_credentials=false
region=us-east-1В качестве альтернативы (но не рекомендуется для производственной или безопасной среды) вы можете установить значения access_key_id и secret_access_key равными текстовым значениям ваших ключей:
[aws]
[[aws_accounts]]
[[[default]]]
access_key_id=s3accesskeyid
secret_access_key=s3secretaccesskey
allow_environment_credentials=false
region=us-east-1В качестве региона необходимо указать регион AWS, соответствующий учётной записи S3. По умолчанию этот регион будет установлен на us-east-1.
¶ 7.2.4.2.3 ADLS
¶ 7.2.4.2.3.1 Изучение ADLS в файловом браузере Hue
После успешной настройки Hue для подключения к ADLS мы можем просмотреть все доступные папки в учётной записи, щёлкнув корень ADLS. Отсюда мы можем просматривать существующие ключи (как каталоги, так и файлы) и создавать, переименовывать, перемещать, копировать или удалять существующие каталоги и файлы. Кроме того, мы можем напрямую загружать файлы в ADLS.
¶ 7.2.4.2.3.2 Создание таблиц Hive непосредственно из ADLS
Мастер импорта браузера таблиц Hue может создавать внешние таблицы Hive непосредственно из файлов в ADLS. Это позволяет запрашивать данные ADLS через SQL из Hive без перемещения или копирования данных в HDFS или Hive Warehouse.
Чтобы создать внешнюю таблицу Hive из ADLS, перейдите в Бразуер таблиц, выберите нужную базу данных и щёлкните значок плюса в правом верхнем углу. Выберите файл с помощью средства выбора файлов и перейдите к файлу в ADLS.
¶ 7.2.4.2.3.3 Сохранение результатов запроса в ADLS
Мы можем перейти в Редактор Hive и запросить данные непосредственно из ADLS. Эти запросы могут объединять таблицы и объекты, которые поддерживаются ADLS, HDFS или обоими. Затем результаты запроса можно сохранить обратно в ADLS.
¶ 7.2.4.2.3.4 Настройка ADLS
Чтобы добавить учётную запись ADLS в Hue, вам необходимо настроить Hue с действительными учётными данными ADLS, включая идентификатор клиента, пароль клиента и идентификатор клиента. Эти ключи можно безопасно хранить в скрипте, который выводит фактический ключ доступа и секретный ключ в стандартный вывод для чтения Hue. Чтобы использовать файлы скриптов, добавьте следующий раздел в файл конфигурации hue.ini:
[adls]
[[azure_accounts]]
[[[default]]]
client_id_script=/path/to/client_id_script.sh
client_secret_script=/path/to/client_secret_script.sh
tenant_id_script=/path/to/tenant_id_script.sh
[[adls_clusters]]
[[[default]]]
fs_defaultfs=adl://.azuredatalakestore.net
webhdfs_url=https://.azuredatalakestore.netВ качестве альтернативы (но не рекомендуется для производственных или безопасных сред) вы можете установить значение client_secret в виде обычного текста:
[adls]
[[azure_account]]
[[[default]]]
client_id=adlsclientid
client_secret=adlsclientsecret
tenant_id=adlstenantid
[[adls_clusters]]
[[[default]]]
fs_defaultfs=adl://.azuredatalakestore.net
webhdfs_url=https://.azuredatalakestore.net¶ 7.2.4.3 Файлы и каталоги
Вы можете использовать Браузер файлов для просмотра файлов ввода и вывода ваших заданий MapReduce. Как правило, вы можете сохранять файлы вывода в /tmp или в своём домашнем каталоге, если ваш системный администратор настроил его для вас. У вас должны быть соответствующие разрешения для управления файлами других пользователей.
¶ 7.2.4.3.1 Создание каталогов
- В окне обозревателя файлов выберите New —> Directory.
- В диалоговом окне Create Directory введите имя каталога и нажмите Submit.
¶ 7.2.4.3.2 Смена каталогов
- Щёлкните имя каталога или точки родительского каталога в окне Браузера файлов.
- Щёлкните значок карандаша, введите имя каталога и нажмите Enter.
Чтобы перейти в домашний каталог, щёлкните Home в поле пути вверху окна Браузера файлов.
|
Примечание. Кнопка Home неактивна, если у вас нет домашнего каталога. Попросите администратора Hue создать для вас домашний каталог. |
¶ 7.2.4.3.3 Создание файлов
- В окне Браузера файлов выберите New —> File.
- В диалоговом окне Create File введите имя файла и нажмите Submit.
¶ 7.2.4.3.4 Загрузка файлов
Вы можете загружать текстовые и двоичные файлы в HDFS.
- В окне Браузера файлов перейдите к каталогу, в который вы хотите загрузить файл.
- Выберите Upload —> Files.
- В открывшемся окне нажмите Upload a File, чтобы найти и выбрать файлы, которые вы хотите загрузить, а затем нажмите Open.
¶ 7.2.4.3.5 Скачивание файлов
Вы можете скачивать текстовые и двоичные файлы в HDFS.
- В окне Браузера файлов установите флажок рядом с файлом, который вы хотите скачать.
- Нажмите кнопку Download.
¶ 7.2.4.4 Загрузка zip-архивов
Вы можете распаковывать zip-архивы в HDFS. Архив извлекается в каталог с именем archivename.
- В окне Браузера файлов перейдите к каталогу, в который вы хотите загрузить архив.
- Выберите Upload —> Zip file.
- В открывшемся окне нажмите Upload a zip file, чтобы найти и выбрать архив, который вы хотите загрузить, а затем нажмите Open.
¶ 7.2.4.5 Корзина для мусора
Браузер файлов поддерживает корзину для мусора HDFS (домашний каталог /.Trash) для хранения файлов и каталогов до их окончательного удаления.
Файлы в папке имеют полный путь к удалённым файлам (для возможности их восстановления при необходимости) и контрольные точки. Время, в течение которого файл или каталог остается в корзине, зависит от свойств HDFS.
Чтобы просмотреть корзину, в окне Браузера файлов щёлкните Trash.
¶ 7.2.4.6 Смена владельца, группы или разрешений
|
Примечание. Только суперпользователь Hadoop может изменять владельца, группу или права доступа к файлу или каталогу. Пользователь, запускающий Hadoop, является суперпользователем Hadoop. Учётная запись суперпользователя Hadoop не обязательно совпадает с учётной записью суперпользователя Hue. Если вы создаёте пользователя Hue с тем же именем пользователя и паролем, что и суперпользователь Hadoop, то этот пользователь Hue может изменить владельца, группу или права доступа к файлу или каталогу. |
¶ 7.2.4.6.1 Владелец или группа
- В окне Браузера файлов установите флажок рядом с файлом или каталогом, владельца или группу которого вы хотите изменить.
- Выберите Change Owner/Group в меню Options.
- В диалоговом окне Change Owner/Group:
- Выберите нового пользователя из раскрывающегося меню User;
- Выберите новую группу из раскрывающегося меню Group;
- Установите флажок Recursive, чтобы применить изменение.
4. Нажмите Submit, чтобы внести изменения.
¶ 7.2.4.6.2 Разрешения
- В окне Браузера файлов установите флажок рядом с файлом или каталогом, разрешения которого вы хотите изменить.
- Нажмите кнопку Change Permissions.
- В диалоговом окне Change Permissions выберите разрешения, которые вы хотите назначить, и нажмите Submit.
¶ 7.2.4.7 Просмотр и редактирование файлов
Вы можете просматривать и редактировать файлы как текстовые или двоичные.
¶ 7.2.4.7.1 Просмотр
- В окне Браузера файлов щёлкните файл, который хотите просмотреть. Браузер файлов отображает первые 4096 байт файла в окне инструмента просмотра файлов.
- Если размер файла превышает 4096 байт, используйте кнопки навигации по блоку (First Block, Previous Block, Next Block, Last Block) для прокрутки файла блок за блоком. В полях Viewing Bytes отображается диапазон байтов, который вы просматриваете в данный момент.
- Чтобы переключить представление с текстового на двоичное, щёлкните View as Binary, чтобы просмотреть шестнадцатеричный дамп.
- Чтобы переключить представление с двоичного на текстовое, щёлкните View as Text.
¶ 7.2.4.7.2 Редактирование
- Если вы просматриваете текстовый файл, щёлкните Edit File. Браузер файлов отображает содержимое файла в окне Редактора файлов.
- Отредактируйте файл и затем нажмите Save или Save as, чтобы сохранить файл.
¶ 7.2.4.8 Индексы/наборы
¶ 7.2.4.9 Разрешения Sentry
Роли и права устройства безопасности можно редактировать непосредственно в интерфейсе безопасности.
¶ 7.2.4.9.1 SQL
Права доступа необходимо изменять через интерфейс Hive.
¶ 7.2.4.9.2 Solr
Права доступа Solr можно редактировать прямо через интерфейс.
Для перечисления наборов, запросов и создания наборов:
Admin=*->action=*
Collection=*->action=*
Schema=*->action=*
Config=*->action=*¶ 7.2.4.10 Задания
Браузер заданий (Job Browser) позволяет проверять несколько типов заданий, выполняемых в кластере.
Браузер заданий представляет задания и задачи уровнями. Верхний уровень — это список заданий, и вы можете просмотреть список задач этого задания. Затем вы можете просмотреть запуски задачи и свойства каждого запуска, такие как состояние, время начала и окончания, а также размер выходных данных. Для устранения проблем с неудачными заданиями вы также можете просмотреть логи каждого запуска.
Если есть выполняемые задания, Браузер заданий отобразит их перечень.
¶ 7.2.4.10.1 Дашборд
- Чтобы отфильтровать задания по их статусу (например, Running или Completed), выберите необходимый статус в раскрывающемся меню Job status.
- Для фильтрации по пользователю, который запустил задание, введите имя пользователя в поле User Name.
- Чтобы выполнить фильтрацию по имени задания, введите имя в поле Text.
- Чтобы очистить фильтры, выберите All States в раскрывающемся меню Job status и удалите любой текст в полях User Name и Text.
¶ 7.2.4.10.2 Просмотр информации о заданиях
|
Примечание. На любом уровне вы можете просмотреть журнал объекта, щёлкнув значок изображения в столбце журналов. |
Чтобы просмотреть информацию об отдельном задании:
- В окне Браузера заданий щёлкните View справа от задания, которое необходимо просмотреть. Здесь отображается страница Job для задания, а недавние задачи, связанные с выбранным заданием, отображаются на вкладке Tasks.
- Щёлкните вкладку Metadata, чтобы просмотреть метаданные для этого задания.
- Щёлкните вкладку Counters, чтобы просмотреть метрики счётчика для задания.
Чтобы просмотреть подробную информацию о задачах, связанных с заданием:
- В окне Job щёлкните ссылку View All Tasks справа над списком Recent Tasks. Здесь перечислены все задачи, связанные с выбранным заданием.
- Щёлкните Attempts справа от задачи, чтобы просмотреть попытки запуска этой задачи.
Чтобы просмотреть информацию об отдельной задаче:
- В окне Job щёлкните ссылку View справа от задания. Будут отображены попытки запуска, связанные с выбранной задачей.
- Щёлкните вкладку Metadata, чтобы просмотреть метаданные для выбранной задачи. Будут отображены метаданные, связанные с задачей.
- Чтобы просмотреть счётчики Hadoop для задачи, щёлкните вкладку Counters. Будут отображены метрики счётчика, связанные с задачей.
- Чтобы вернуться в окно Job для этого задания, щёлкните номер задания на панели состояния в левой части окна.
Чтобы просмотреть сведения о попытке выполнения задачи:
- В окне Job Task щёлкните ссылку View справа от попытки запуска задания. Метаданные, связанные с попыткой запуска, отображаются на вкладке Metadata.
- Чтобы просмотреть счётчики Hadoop для попытки выполнения задачи, щёлкните вкладку Counters. Будут отображены метрики счётчика, связанные с попыткой запуска.
- Чтобы просмотреть журналы, связанные с попыткой выполнения задачи, щёлкните вкладку Logs. Будут отображены журналы, связанные с попыткой выполнения задачи.
- Чтобы вернуться к списку задач для текущего задания, щёлкните номер задачи на панели состояния в левой части окна.
¶ 7.2.4.10.3 Типы
¶ 7.2.4.10.3.1 YARN (MapReduce)
Все задания, выполняемые в Resource Manager, будут автоматически отображены. Информация будет извлечена соответственно, если задание было перемещено на один из серверов истории.
¶ 7.2.5 Планировщик задач (Scheduler)
Приложение Scheduler позволяет создавать процессы (workflows), а затем планировать их регулярное автоматическое выполнение.
Интерфейс мониторинга показывает прогресс, логи и разрешает такие действия, как приостановка или остановка workflow.
Приложение Workflow — это набор действий (actions), организованных в ориентированный ациклический граф (DAG).
Приложение включает в себя два типа узлов:
- Поток управления (control flow) — начало, конец, разветвление, соединение, решение и уничтожение.
- Действие (action) — задания (jobs).
Приложение Coordinator позволяет определять и выполнять повторяющиеся и взаимозависимые workflow jobs. Приложение Coordinator определяет условия, при которых может происходить выполнение workflow.
Приложение Bundle позволяет вам группировать набор (bundle) приложений Coordinator.
¶ 7.2.5.1 Workflows
В Workflow Editor вы можете легко выполнять операции с узлами действий (action nodes) и узлами управления (control nodes).
¶ 7.2.5.1.1 Узлы действий (Action nodes)
Workflow Editor поддерживает перетаскивание узлов действий (action nodes). Когда вы перемещаете действие над другими действиями, активные области подсвечиваются. Если в процессе есть действия, сами действия подсвечиваются, а также области над и под действиями. Если вы перетаскиваете действие на существующее действие, к рабочему процессу добавляются развлетвление и соединение.
1. Добавьте действия в процесс, нажав
, и перетащите действие в процесс. Отобразится экран редактирования узла:
- Задайте свойства действия и нажмите Done. Каждое действие в процессе должно иметь уникальное имя.
2. Скопируйте действие, нажав кнопку
3. Действие открывается на экране редактирования узла.
4. Отредактируйте свойства действия и нажмите Done. Действие добавляется в конец процесса.
5. Удалите действие, нажав
6. Отредактируйте действие, нажав
7. Измените положение действия, щёлкнув левой кнопкой мыши и перетащив действие в новое место.
¶ 7.2.5.1.2 Узлы управления (Control nodes)
- Создайте развлетвление и соединение, поместив действие поверх другого действия.
- Удалите развлетвление и соединение, перетащив разветвление и поместив её вне области развлетвления.
3. Преобразуйте разветвление в решение, нажав
4. Чтобы отредактировать решение:
- Нажмите
- Заполните предикаты, которые определяют, какое действие следует выполнить, и выберите действие по умолчанию из раскрывающегося списка.
- Щёлкните Done.
|
Примечание. worfklows.xml и их job.properties также могут быть выбраны и выполнены напрямую через Браузер файлов. |
¶ 7.2.5.2 Расписание
В Менеджере-координаторе вы можете создавать приложения-координаторы и отправлять их на исполнение.
¶ 7.2.5.2.1 Редактирование координатора
В Редакторе координатора вы указываете свойства координатора и наборы данных, с которыми будет работать процесс, запланированный координатором, путём пошагового перехода между экранами в мастере. Вы также можете перейти к конкретным шагам и вернуться к ним, щёлкнув вкладки шагов над экранами.
- Введите имя, выберите процесс, установите флажок Is shared checkbox, чтобы поделиться заданием, и нажмите Next. Если Редактор координатора был открыт после планирования процесса, процесс будет сформирован.
- Выберите, сколько раз координатор будет запускаться для каждой указанной единицы, время начала и окончания координатора, часовой пояс времени начала и окончания и нажмите Next. Время должно быть выражено в формате UTC. Например, для запуска в 22:00 по PST укажите время начала 6:00 по UTC следующего дня (+3 часа) и установите в поле Timezone значение Russia/Moscow.
- Щёлкните Add, чтобы выбрать входной набор данных, и щёлкните Next.
- Нажмите Add, чтобы выбрать выходной набор данных. Щёлкните Save coordinator или Next, чтобы указать дополнительные настройки.
- Чтобы предоставить доступ к координатору всем пользователям, установите флажок Isshared.
- Заполните параметры для передачи, свойства, которые определяют, как долго координатор будет ждать до истечения тайм-аута, сколько координаторов может запускаться и ждать одновременно, а также политику выполнения координатора.
- Щёлкните Save coordinator.
¶ 7.2.5.2.2 Создание набора данных
- В Редакторе координатора выполните одно из следующих действий:
- Щёлкните here на панели Inputs или Outputs в верхней части редактора.
- На панели слева щёлкните ссылку Create new. Приступите к редактированию набора данных.
¶ 7.2.5.2.3 Редактирование набора данных
- Введите имя для набора данных.
- В полях Start и Frequency укажите, когда и как часто набор данных будет доступен.
- В поле URI укажите шаблон URI для расположения набора данных. Чтобы создать URI и пути URI, содержащие даты и отметки времени, вы можете указать переменные ${YEAR}, ${MONTH}, ${DAY}, ${HOUR}, ${MINUTE}. Например: hdfs://foo:9000/usr/app/stats/${YEAR}/${MONTH}/data.
- В поле Instance нажмите кнопку, чтобы выбрать экземпляр данных по умолчанию, один или диапазон экземпляров данных. Например, если frequency==DAY, окно последних скользящих 5 дней (не включая сегодняшний) будет выражено как начало: -5 и конец: -1. Установите флажок advanced, чтобы отобразить поле, в котором можно указать функцию EL-координатора.
- Укажите часовой пояс даты начала.
- В поле Done flag укажите флаг, который определяет, когда входные наборы данных больше не готовы.
¶ 7.2.5.3 Bundle
Пакет (bundle) состоит из набора расписаний.
¶ 7.2.5.3.1 Создание bundle
- Нажмите Create в правом верхнем углу.
- В поле Name введите имя.
- В поле Kick off time выберите время начала.
- Установите флажок Is shared, чтобы разрешить всем пользователям доступ к workflow.
- Щёлкните Save. Откроется Bundle Editor. Приступите к редактированию bundle.
¶ 7.2.5.3.2 Редактирование bundle
В Bundle Editor вы указываете свойства, переходя по экранам мастера. Вы также можете перейти к конкретным шагам и вернуться к ним, щёлкнув вкладки шагов над экранами.
- Щёлкните Add, чтобы выбрать coordinator, с которого будет запущен пакет.
- Выберите время начала. Время должно быть выражено в формате UTC. Например, для запуска в 22:00 по PST укажите время начала 6:00 по UTC следующего дня (+8 часов).
- Чтобы поделиться bundle со всеми пользователями, установите флажок Is shared.
- Щёлкните Next, чтобы указать дополнительные параметры, или щёлкните Save bundle.
- Введите параметры для передачи в Oozie.
- Щёлкните Save bundle.
¶ 8. УДАЛЕНИЕ HADOOP
Используйте следующие инструкции для удаления Hadoop:
1. Остановите все установленные службы Hadoop.
2. Если Knox установлен, выполните следующую команду на всех узлах кластера:
- Для РЕД ОС:
yum remove knox*3. Если Hive установлен, выполните следующую команду на всех узлах кластера:
- Для РЕД ОС:
yum remove hive\*4. Если HBase установлен, выполните следующую команду на всех узлах кластера:
- Для РЕД ОС:
yum remove hbase\*5. Удалите Hadoop. Выполните следующую команду на всех узлах кластера:
yum remove hadoop\*6. Удалите библиотеки ExtJS и коннектор MySQL. Выполните следующую команду на всех узлах кластера:
yum remove extjs-2.2-1 mysql-connector-java-5.0.8-1\*