¶ 1. ЭКСПЛУАТАЦИОННЫЕ ТРЕБОВАНИЯ
¶ 1.1 Системные требования
¶ 1.1.1 Системные требования к серверному оборудованию
Для установки RT.DataVision на серверном оборудовании предъявляются следующие системные требования в части поддерживаемых операционных систем:
- Debian и Ubuntu;
- Fedora и RHEL-производные дистрибутивы Linux;
- РЕД ОС 7/8
¶ 1.1.2 Системные требования к клиентскому оборудованию
Поскольку подключение пользователей к RT.DataVision выполняется с помощью веб-приложения, специальных системных требований к клиентскому оборудованию не предъявляется.
На клиентском оборудовании могут использоваться различные версии Windows, Linux и Mac OS X. На операционной системе должен быть установлен поддерживаемый браузер: любой (например, Mozilla Firefox, Google Chrome и прочие), за исключением Internet Explorer (этот браузер не поддерживается RT.DataVision).
¶ 1.2 Аппаратные требования
¶ 1.2.1 Аппаратные требования к серверному оборудование
Для установки серверной части RT.DataVision предъявляются следующие минимальные требования к оборудованию:
- Процессор — 4 ядра.
- Оперативная память — 8 Гб.
- Жёсткий диск — 40 Гб свободного пространства (без деления на OS и Data).
- Сетевой адаптер с высокоскоростным подключением к сети.
¶ 1.2.2 Аппаратные требования к клиентскому оборудованию
Специальных требований к клиентскому оборудованию не предъявляется.
¶ 2. УСТАНОВКА RT.DATAVISION (через RT.ClusterManager)
¶ 2.1 Предварительные условия
Перед установкой выполните следующие требования:
- Подготовьте Linux-сервер с одной из версий: CentOS 7+, РЕД ОС 7+
- Установите RT.ClusterManager не ниже версии 2.8.0.
- Загрузите на RT.ClusterManager плагины RT.DataVision (не ниже 2.0.0) и RT.DockerSwarm.
- Добавьте SSH-ключ для подключения к серверам, на которых будет производится инсталляция.
Важно. Установка RT.DataVision на тот же сервер, где развёрнут RT.ClusterManager, не рекомендуется.
¶ 2.2 Создание кластера RT.DockerSwarm
Для начала потребуется развернуть кластер Docker Swarm на серверах, выделенных для установки RT.DataVision. Провайдер RT.DockerSwarm позволяет удобно строить такой кластер и управлять им в дальнейшем через интерфейс RT.ClusterManager.
Выполните следующие шаги:
- Перейдите в раздел Провайдеры в левом меню RT.ClusterMaganer и создайте новый провайдер с последней стабильной версией плагина RT.DockerSwarm.
- Перейдите в ранее созданный провадер и разделе конфигурации провайдера укажите:
- repo_user - имя пользователя к репозиторию
- repo_pass - пароль для указанного пользователя
- Добавьте хосты для будущего кластера Docker Swarm. Для каждого хоста укажите:
- ansible_host - IP-адрес или hostname
- ansible_user - SSH пользователь
- swarm_role - роль в кластере (manager/worker)
- После добавления всех хостов запустите действие Validate для установки Docker на все хосты и инициализации кластера Docker Swarm
¶ 2.3 Создание кластера RT.DataVision
Выполните следующие шаги:
- Перейдите в Кластеры и добавьте новый кластер, выбрав плагин RT.DataVision
- Для каждого компонента настройте:
- Traefik
- HTTP/HTTPS порты
- Домены для DataVision, Flower, Traefik Dashboard
- DataVision
- Версия продукта
- Учетные данные администратора
- Загрузка демо-данных
- PostgreSQL
- Параметры базы данных
- Traefik
- Выберите хосты для каждой роли
- Запустите действие Install для DataVision
- Дождитесь завершения развертывания
¶ 3. УСТАНОВКА RT.DATAVISION (ручная установка)
Внимание. Развёртывание RT.DataVision осуществляется с использованием одного из двух репозиториев.
Используйте корректный репозиторий:
- Внутренний репозиторий vm-dcp-repo-int.dh.rt.ru — если вы устанавливаете RT.DataVision из внутренней сети ПАО “Ростелеком”.
- Внешний репозиторий repo.data.rt.ru— если вы разворачиваете RT.DataVision из интернета.
¶ 3.1 Развёртывание из исходника
¶ 3.1.1 Зависимости ОС
RT.DataVision хранит информацию о подключении к базе данных в своей БД метаданных. Для этого используется криптографическая библиотека Python для шифрования паролей подключения. Данная библиотека имеет зависимости на уровне ОС:
1. Debian и Ubuntu: Следующая команда обеспечит установку необходимых зависимостей:
sudo apt-get install build-essential libssl-dev libffi-dev python-dev python-pip libsasl2-dev libldap2-dev default-libmysqlclient-devДля Ubuntu 20.04 используйте следующую команду, которая обеспечит установку необходимых зависимостей:
sudo apt-get install build-essential libssl-dev libffi-dev python3-dev python3-pip libsasl2-dev libldap2-dev default-libmysqlclient-dev2. Fedora, RedOS и RHEL-производные дистрибутивы Linux: Установите следующие пакеты с помощью менеджера пакетов yum:
sudo yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel
bzip2-devel xz-devel zlib-devel sqlite-develВ более поздних версиях CentOS и Fedora вам может потребоваться установить другой набор пакетов с помощью dnf:
sudo dnf install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel
bzip2-devel xz-devel zlib-devel sqlite-devel3. Mac OS X: Если вы не используете последнюю версию Mac OS X, рекомендуется выполнить обновление, поскольку многие проблемы, с которыми сталкиваются пользователи RT.DataVision, связаны с более старыми версиями Mac OS X. После обновления Mac OS X установите последнюю версию инструментов командной строки XCode:
xcode-select --installУстановите менеджер homebrew, а затем выполните следующие команды:
brew install readline pkg-config libffi openssl mysql postgresЗатем установите версию Python, совместимую с устанавливаемой версией RT.DataVision:
- Для RT.DataVision от версии 1.2.0 — Python 3.11.
- Для RT.DataVision ниже версии 1.2.0 — Python 3.9.
Рекомендуется использовать менеджер виртуальных окружений Python, такой как pyenv (а также pyenv-virtualenv). Также убедитесь, что установлена последняя версия pip и setuptools:
pip3 install --upgrade setuptools pipНаконец, вам может понадобиться установить LDFLAGS и CFLAGS для определённых пакетов Python для корректной сборки. Экспортируйте эти переменные с помощью:
export LDFLAGS="-L$(brew --prefix openssl)/lib"
export CFLAGS="-I$(brew --prefix openssl)/include"После этого они будут доступны при установке требований к pip.
Рекомендуется собирать Python из исходников на целевой машине, а не использовать предустановленные версии.
Вы можете собрать и установить Python из исходников командой ниже. Доступные версии для сборки: 3.9.1 и 3.11.8.
Чтобы изменить версию Python для сборки и установки, замените значение переменной окружения в первой строке команды на нужную. В примере введена версия 3.9.1, которая может использоваться для установки любой версии продукта.
Вместо LOGIN и PASSWORD во второй строке команды подставьте ваши учётные данные от репозитория, выданные вам.
export PYTHON_VER_INSTALL=3.9.1 && \
wget https://LOGIN:PASSWORD@repo.data.rt.ru/repository/RT.DataVision-raw/raw/Python-${PYTHON_VER_INSTALL}.tgz && \
tar -xf Python-${PYTHON_VER_INSTALL}.tgz && \
cd Python-${PYTHON_VER_INSTALL} && \
./configure --enable-optimizations && \
sudo make altinstall && \
rm -rf Python-${PYTHON_VER_INSTALL} && \
rm -rf Python-${PYTHON_VER_INSTALL}.tgz¶ 3.1.2 Виртуальная среда Python
Рекомендуется устанавливать RT.DataVision внутри виртуальной среды. Python поставляется с virtualenv из коробки. Если вы используете pyenv, вы можете установить pyenv-virtualenv. Или вы можете установить его с помощью pip:
pip install virtualenvСоздайте и активируйте виртуальную среду, используя команду:
# virtualenv поставляется начиная с Python 3.6+ в качестве venv взамен pyvenv.
# Здесь представлено описание venv: https://docs.python.org/3.6/library/venv.html
python3 -m venv venv
. venv/bin/activateИли с использованием pyenv-virtualenv:
# Здесь мы называем виртуальную среду 'rt.datavision'
pyenv virtualenv rt.datavision
pyenv activate rt.datavisionКак только вы активируете виртуальную среду, все пакеты Python, которые вы устанавливаете или удаляете, будут ограничены этой средой. Вы можете выйти из среды, запустив deactivate в командной строке.
¶ 3.1.3 Развёртывание и инициализация RT.DataVision
Перед установкой продукта нужно указать подключение к публичному репозиторию для загрузки из него пакетов:
pip config --user set index https://user:pass@repo.data.rt.ru/repository/RT.DataVision-pypi/ && \
pip config --user set index-url https://user:pass@repo.data.rt.ru/repository/RT.DataVision-pypi/simple && \
pip config --user set trusted-host repo.data.rt.ruВместо user и pass в первых двух командах укажите выданный вам логин и пароль от репозитория.
Для корректного развёртывания и инициализации RT.DataVision последовательно выполните шаги:
1. Сначала установите rt.datavision:
pip install rt.datavision2. Экспортируйте Flask:
export FLASK_APP=superset3. Затем инициализируйте базу данных:
superset db upgrade4. Создайте роли и права по умолчанию:
superset init5. Создайте пользователя admin в БД метаданных (используйте `admin` в качестве имени пользователя, чтобы иметь возможность загружать примеры):
superset fab create-admin6. Загрузите пример данных для тестирования:
superset load_examples7. Запустите RT.DataVision:
gunicorn --access-logfile - --workers 5 --bind http://localhost:5000 "superset.app:create_app()" -e SUPERSET_CONFIG_PATH=путь_до_конфигу8. Если все шаги выполнены корректно, вы сможете перейти на hostname:port в браузере (например, локально по умолчанию на localhost:8088) и войти в RT.DataVision, используя имя пользователя и пароль, которые вы создали.
¶ 3.2 Развёртывание с использованием Nginx
В продуктивной среде рекомендуется разворачивать RT.DataVision вместе с прокси-сервером, например, Nginx.
Чтобы развернуть RT.DataVision совместно с Nginx, последовательно выполните шаги:
1. Настройте Nginx:
- Проверьте, что Nginx установлен на целевой машине. Для этого выполните команду от пользователя с правами администратора в системе:
sudo systemctl status nginx
- [Опционально] Если команда выдала ошибку об отсутствии сервиса (а не информацию о статусе Nginx), установите его:
CentOS/RedOS:
sudo yum install nginxDebian/Ubuntu:
sudo apt install nginx
- Далее добавьте файл конфигурации RT.DataVision в Nginx. Все конфигурации Nginx находятся по пути /etc/nginx/conf.d/. Создайте файл конфигурации RT.DataVision:
touch /etc/nginx/conf.d/datavision.conf
- Заполните созданный файл конфигурации содержимым:
server {
listen 80;
server_name your_hostname your_ip;
location / {
proxy_set_header Host $host;
proxy_set_header X-Forwarded-Host $host:$server_port;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://unix:/run/datavision.sock;
proxy_redirect default;
}
}Пояснения к параметрам конфигурации:
- listen 80 — Nginx будет слушать 80 порт, по которому будет доступен RT.DataVision на указанном хосте.
- server_name — указывает, какие хосты и IP-адреса будет слушать Nginx. Хосты и IP-адреса указываются через пробел.
- proxy_pass — ссылка, на которую Nginx будет перенаправлять запросы. В данном случае — это сокет демона datavision (настройка демона описана в последующих шагах). В proxy_pass может быть указана как обычная ссылка на datavision и локальный порт, так и как в примере содержимого конфигурации выше -- unix-ссылка на демон (сервис) в системе.
- Сохраните файл конфигурации datavision.conf, а затем перезапустите Nginx:
sudo systemctl restart nginx2. Настройте демона RT.DataVision:
- Создайте два файла datavision.socket и datavision.service в каталоге /etc/systemd/system/:
touch /etc/systemd/system/datavision.socket && touch /etc/systemd/system/datavision.service
- Наполните содержимым datavision.socket:
[Unit]
Description=RT.Datavision Socket
[Socket]
ListenStream=/run/datavision.sock
[Install]
WantedBy=sockets.target
- Наполните содержимым datavision.service:
[Unit]
Description=RT.DataVision daemon
Requires=datavision.socket
After=network.target
[Service]
User=some_user
Group=some_group
WorkingDirectory=/path/to/rt.datavision/work_directory/
ExecStart=/path/to/gunicorn \
--access-logfile - \
--workers 5 \
--bind unix:/run/datavision.sock \
"superset.app:create_app()" \
-e SUPERSET_CONFIG_PATH=/path/to/datavision/config.py
[Install]
WantedBy=multi-user.targetПояснения к файлу datavision.service:
- User — пользователь, от лица которого будет запускаться RT.DataVision.
- Group — группа этого пользователя.
- WorkingDirectory — путь до рабочего каталога.
- ExecStart — команда запуска RT.DataVision. В начале команды укажите путь до исполняемого файла gunicorn.
- --bind — IP/unix-адрес, на который будет происходить бинд RT.DataVision.
- SUPERSET_CONFIG_PATH — путь до файла конфигурации RT.DataVision. У пользователя, указанного в User, должны быть права на его чтение.
- После создания и заполнения файлов примените изменения:
sudo systemctl daemon-reload
- Добавьте сервис datavision в автозагрузку:
sudo systemctl enable datavision
- А затем запустите сам сервис datavision:
sudo systemctl start datavisionЕсли всё выполнено корректно, то RT.DataVision будет доступен извне по порту Nginx.
¶ 3.3 Развёртывание с помощью Docker Compose
Для развёртывания RT.DataVision с помощью Docker Compose выполните:
1. Установите Docker, который содержит движок Docker и последнюю версию docker compose из коробки, в соответствии с используемой ОС.
2. Загрузите установочный архив RT.DataVision из репозитория:
wget https://USERNAME:PASSWORD@repo.data.rt.ru/repository/RT.DataVision-raw/docker/rtdv-docker-public.tar.gzИ распакуйте его в отдельную директорию:
mkdir rtdv-docker && tar -xf rtdv-docker-public.tar.gz -C rtdv-dockerПосле успешного выполнения команды вы должны увидеть новый каталог со следующим составом файлов:
- datavision.env — environment-файл с переменными окружения с настройками RT.DataVision для Docker Compose.
- datavision_config.py — python-файл с конфигурацией RT.DataVision.
- docker-compose.yml — файл Docker Compose для обычного запуска продукта.
- docker-compose.swarm.yml — файл Docker Compose для запуска продукта в режиме Docker Swarm.
3. Авторизуйтесь в Docker репозитории со своей УЗ:
docker login repo.data.rt.ru:50024. Сконфигурируйте RT.DataVision. Для тестового запуска будет достаточно:
- Укажите версию RT.DataVision в переменной DATAVISION_VERSION в файле datavision.env.
- Сгенерируйте секретный ключ и вставьте его в переменную SECRET_KEY в datavision_config.py. Для генерации секретного ключа воспользуйтесь командой:
openssl rand -base64 42Описание параметров environment-файла datavision.env:
# First admin credentials
ADMIN_USERNAME=admin - Имя пользователя первого администратора
ADMIN_PASSWORD=admin - Пароль первого администратора
ADMIN_EMAIL=admin@datavision.rt.ru - Адрес почты первого администратора
ADMIN_FIRSTNAME=Datavision - Имя первого администратора
ADMIN_LASTNAME=Admin - Фамилия первого администратора
# Datavision server configuration
DATAVISION_VERSION=2.9.1 - Версия RT.DataVision
DATAVISION_LOAD_EXAMPLES=no - Загрузить ли при следующем запуске демо-данные (yes/no)
DATAVISION_BIND_ADDRESS=0.0.0.0 - IP-адрес, на которой биндить сервер RT.DataVision
DATAVISION_PORT=8088 - Порт, на который биндить сервер RT.DataVision
ACCESS_LOG_FILE=- - Путь до access лог-файла
ERROR_LOG_FILE=- - Путь до error лог-файла
SERVER_WORKER_AMOUNT=1 - Количество воркеров (n*2+1, где n - кол-во ядер для RT.DataVision)
SERVER_WORKER_CLASS=gevent - Класс воркеров (не стоит менять без необходимости)
SERVER_THREADS_AMOUNT=5 - Количество тредов (не стоит менять без необходимости)
GUNICORN_TIMEOUT=60
GUNICORN_KEEPALIVE=2
WORKER_MAX_REQUESTS=0
WORKER_MAX_REQUESTS_JITTER=0
SERVER_LIMIT_REQUEST_LINE=0
SERVER_LIMIT_REQUEST_FIELD_SIZE=05. Запустите RT.DataVision через Docker Compose:
docker compose --env-file datavision.env up -dДождитесь выполнения команды. RT.DataVision будет доступен по IP-адресу и порту, указанным в environment-файле datavision.env.
Примечание. Если в ходе развёртывания требуется изменить версию RT.DataVision, выполните:
- Укажите корректную версию в переменной DATAVISION_VERSION в файле datavision.env.
- Перезапустите RT.DataVision командой docker compose --env-file datavision.env down && docker compose --env-file datavision.env up -d
¶ 4. КОНФИГУРИРОВАНИЕ RT.DATAVISION
После завершения установки RT.DataVision выполните его конфигурирование в соответствии с Инструкцией администратора.
¶ 5. РАЗВЕРТЫВАНИЕ КЛАСТЕРА RT.DATAVISION ЧЕРЕЗ DOCKER SWARM
¶ 5.1 Описание кластера
Кластер RT.DataVision состоит из 7 сервисов, каждый из которых выполняет определенную роль в обеспечении работы системы. Кластер развертывается в контейнеризированной среде Docker с использованием оркестратора Docker Swarm. В этом разделе представлено детальное описание каждого сервиса и его взаимодействия с другими компонентами кластера.
¶ 5.1.1 Сервисы и их роли
Здесь перечислены все сервисы, фигурирующие в составе кластера RT.DataVision и их подробное описание:
- RT.DataVision – основное приложение, которое предоставляет веб-интерфейс для визуализации данных и работы с ними. Оно использует PostgreSQL для хранения данных и Redis для кэширования. Приложение RT.DataVision обрабатывает пользовательские запросы, генерирует дашборды и отчеты, а также взаимодействует с Celery для выполнения фоновых задач.
- Celery Worker – сервис, выполняющий фоновые задачи для приложения RT.DataVision. Он обрабатывает задачи, отправленные приложением, и взаимодействует с Redis для получения задач и их статусов. Celery Worker обеспечивает параллельное выполнение задач, таких как обновление дашбордов, обработка больших объемов данных и выполнение длительных вычислений, что позволяет разгрузить основное приложение и улучшить его производительность.
- Celery Beat Worker – сервис, отвечающий за планирование задач Celery. Он использует Redis для хранения расписания задач и отправляет их на выполнение Celery Worker. Celery Beat Worker позволяет автоматизировать выполнение повторяющихся задач по заданному расписанию, обеспечивая своевременное выполнение критически важных процессов в системе.
- PostgreSQL – база данных для хранения метаданных приложения RT.DataVision. PostgreSQL обеспечивает надежное и производительное хранение данных, необходимое для работы всех компонентов приложения. Метаданные включают информацию о конфигурациях, пользователях, дашбордах и отчетах.
- Redis – база данных, используемая для кэширования данных и как брокер сообщений для Celery. Он хранит временные данные, такие как результаты запросов и промежуточные данные задач Celery, что позволяет ускорить выполнение задач за счет кэширования и снизить нагрузку на базу данных. Redis обеспечивает быструю и эффективную передачу сообщений между компонентами системы.
- Traefik – обратный прокси и балансировщик нагрузки, который управляет входящими запросами и распределяет их между различными сервисами. Он предоставляет веб-интерфейс для мониторинга состояния и статистики прокси (доступен по адресу /dashboard/). Traefik плотно интегрирован с Docker, что позволяет автоматически обнаруживать новые сервисы и конфигурировать маршрутизацию без ручного вмешательства.
- Flower – интерфейс для мониторинга состояния Celery Worker и очередей задач. Позволяет удобно отслеживать состояние отложенных задач и тяжелых запросов, выполняющихся через Celery.
¶ 5.1.2 Сетевое взаимодействие
Кластер нуждается в одном главном домене и двух субдоменах для него. Это требуется для возможности получить доступ к сервисам RT.DataVision, Traefik и Flower. Ниже приведён пример распределения доменных имён:
1. datavision.ru – основной веб-интерфейс продукта RT.DataVision;
2. flower.datavision.ru – веб-интерфейс приложения Flower;
3. traefik.datavision.ru – веб-интерфейс статуса прокси Traefik. Дашборд доступен по пути /dashboard/.
Примечание. Маршрутизация запросов на домены задаётся в docker-compose-datavision.swarm.yml
Оркестратор Docker Swarm использует несколько типов сетей для обеспечения взаимодействия между контейнерами и службами:
- Overlay Network – основная сеть для связи между контейнерами на разных узлах. Каждый контейнер получает свой собственный IP-адрес в пределах overlay-сети, что позволяет им общаться друг с другом независимо от того, на каком узле они запущены.
- Ingress Network – специальная overlay-сеть для управления входящим трафиком к службам. Ingress-сеть позволяет маршрутизировать запросы из внешней сети к службам внутри кластера.
- Bridge Network – локальная сеть для связи контейнеров на одном узле. Используется для связи контейнеров, работающих на одном хосте.
- Host Network – сеть, использующая сетевой стек хоста напрямую. Контейнеры, работающие в host-сети, не получают своего собственного IP-адреса; вместо этого они используют IP-адрес хоста.
На каждой виртуальной машине должны быть открыты следующие порты, необходимые для работы кластера:
- 2377 – для управления кластером (Swarm management).
- 7946 – для обмена данными между узлами (overlay network).
- 4789 – для передачи данных между контейнерами в overlay-сетях.
¶ 5.2 Системные требования
Системные требования к каждой виртуальной машине зависят от сервисов, которые будут развернуты на ней. Ниже приведены минимальные системные требования для запуска экземпляра каждого конкретного сервиса:
1. RT.DataVision
- Процессор: 4 ядра и более
- ОЗУ: 8 гб и более
- Место: 20 гб и более
2. Celery Worker
- Процессор: 4 ядра и более
- ОЗУ: 8 гб и более
- Место: 20 гб и более
3. Celery Worker Beat
- Процессор: 2 ядра и более
- ОЗУ: 4 гб и более
- Место: 20 гб и более
4. PostgreSQL
- Процессор: 8 ядер и более
- ОЗУ: 16 гб и более
- Место: 50 гб и более
5. Redis
- Процессор: 8 ядер и более
- ОЗУ: 16 гб и более
- Место: 50 гб и более
6. Traefik
- Процессор: 2 ядра
- ОЗУ: 4 гб
- Место: 2 гб
7. Flower
- Процессор: 1 ядро
- ОЗУ: 2 гб
- Место: 2 гб
Общие системные требования:
- ОС: поддерживается любая система, поддерживающая Docker версии 23 и выше. Рекомендуемые - RedOS 7.3.4 и выше, CentOS 8 и выше
- Сеть: 1 гбит/с
На каждую виртуальную машину необходимо загрузить следующие Docker-образы:
- RT.DataVision необходимой версии. Используется для работы сервисов: RT.DataVision, Celery Worker, Celery Worker Beat, Flower;
- Traefik версии v3.1.0. Используется для работы сервисов: Traefik;
- Redis последней версии. Используется для работы сервисов: Redis;
- PostgreSQL версии 14. Используется для работы сервисов: PostgreSQL.
¶ 5.2.2 Конфигурация кластера
На мастер-ноде (celery-01) в домашней директории пользователя root создается директория RT.DataVision, содержащая два файла:
1. datavision_config.swarm.py – конфигурационный файл RT.DataVision. Все параметры идентичны с параметрами не кластеризованного продукта. Этот файл представлен в виде сущности config в Docker.
Для просмотра всех добавленных конфигов используйте команду:
docker config lsПоскольку Docker не поддерживает обновление конфигов, для применения изменений в конфиге RT.DataVision к кластеру необходимо перезапустить кластер следующей командой:
docker stack rm rtdv && sleep 8 && docker stack deploy --compose-file docker-compose-datavision.swarm.yml rtdv2. docker-compose-datavision.swarm.yml – конфигурационный файл кластера Docker Swarm, содержащий все переменные окружения с настройками gunicorn сервера для каждого сервиса RT.DataVision, а также параметры и настройки количества сервисов и правила для развертывания в кластере.
Примечание. Не пытайтесь использовать .env файлы – Docker Swarm не будет с ними работать!
¶ 5.3 Инструкция по развертыванию кластера (Docker Swarm)
¶ 5.3.1 Загрузка дистрибутивов
Процесс развертывания кластера начинается с загрузки дистрибутивов RT.DataVision на целевые машины. Для этого необходимо иметь учётную запись для доступа в репозиторий repo.data.rt.ru.
1. Скачайте все образы локально из репозитория repo.data.rt.ru:
docker pull repo.data.rt.ru/rt.datavision-registry/rtdatavision:1.5.1
repo.data.rt.ru/rt.datavision-registry/traefik:v3.1.0
repo.data.rt.ru/rt.datavision-registry/postgresql:14
repo.data.rt.ru/rt.datavision-registry/redis:latest2. Запакуйте образы в архив (напр. rtdatavision-full.tar):
docker save -o rtdatavision-full.tar repo.data.rt.ru/rt.datavision-registry/rtdatavision:1.5.1
repo.data.rt.ru/rt.datavision-registry/traefik:v3.1.0
repo.data.rt.ru/rt.datavision-registry/postgresql:14
repo.data.rt.ru/rt.datavision-registry/redis:latest3. На целевой машине создайте директорию rt.datavision и перенесите туда архив.
4. Распакуйте архивы и загрузите образы в Docker:
docker load -i rtdatavision-full.tar¶ 5.3.2 Подготовка окружения
Развертывание приложения осуществляется на пяти виртуальных машинах (ВМ), каждая из которых играет определенную роль в кластере. Убедитесь, что на всех ВМ установлены Docker CE и Docker Compose.
¶ 5.3.3 Установка Docker CE и Docker Compose
На каждой виртуальной машине выполните команды для установки Docker и Docker Compose:
sudo yum update
sudo yum install -y docker-ce docker-compose
sudo systemctl start docker
sudo systemctl enable docker¶ 5.3.4 Инициализация и настройка кластера Docker Swarm
¶ 5.3.4.1 Инициализация Docker Swarm
Инициализируйте Docker Swarm на мастер-ноде celery-01:
sudo docker swarm init --advertise-addr "IP-адрес мастер-ноды"¶ 5.3.4.2 Присоединение узлов к Docker Swarm
На остальных виртуальных машинах выполните команду, полученную на предыдущем шаге:
sudo docker swarm join --token SWMTKN-1-... "IP-адрес мастер-ноды"
Примечание. Все команды по взаимодействию с кластером и Docker, за исключением работы с volume и image, выполняются только на мастер-ноде celery-01.
¶ 5.3.5 Конфигурация сетей и портов
Убедитесь, что на всех нодах открыты следующие порты, необходимые для работы кластера:
- 2377 – для управления кластером (Swarm management).
- 7946 – для обмена данными между узлами (overlay network).
- 4789 – для передачи данных между контейнерами в overlay-сетях.
¶ 5.3.6 Развертывание кластера
Параметры конфигурации кластера определяются в файле docker-compose-datavision.swarm.yml, который находится в архиве rtdatavision с уже выставленными необходимыми параметрами конфигурации.
Развертывание стека на кластере Docker Swarm осуществляется командой:
docker stack deploy --compose-file docker-compose-datavision.swarm.yml rtdv
Примечание. Все команды по взаимодействию с кластером и Docker, за исключением работы с volume и image, выполняются только на мастер-ноде celery-01.
¶ 5.4 Пример развёртывания кластера на 5 нодах
¶ 5.4.1 Схема взаимодействия
