Важно: Данный раздел актуален для Платформы данных On-Premise.
Изменяет поведение распределенных подзапросов.
RT.WideStore применяет настройку в тех случаях, когда запрос содержит произведение распределённых таблиц, т.е. когда запрос к распределенной таблице содержит не-GLOBAL подзапрос к также распределенной таблице.
Условия применения:
Возможные значения:
Включает пробрасывание предикатов в подзапросы для запросов SELECT.
Пробрасывание предикатов может существенно уменьшить сетевой трафик для распределенных запросов.
Возможные значения:
Значение по умолчанию: 1.
Использование:
Рассмотрим следующие запросы:
Если enable_optimize_predicate_expression = 1, то время выполнения запросов одинаковое, так как RT.WideStore применяет WHERE к подзапросу сразу при его обработке.
Если enable_optimize_predicate_expression = 0, то время выполнения второго запроса намного больше, потому что секция WHERE применяется к данным уже после завершения подзапроса.
Форсирует запрос в устаревшую реплику в случае, если актуальные данные недоступны. См. Репликация.
Из устаревших реплик таблицы RT.WideStore выбирает наиболее актуальную.
Используется при выполнении SELECT из распределенной таблицы, которая указывает на реплицированные таблицы.
По умолчанию - 1 (включена).
Запрещает выполнение запросов, если использовать индекс по дате невозможно.
Работает с таблицами семейства MergeTree.
При force_index_by_date=1 RT.WideStore проверяет, есть ли в запросе условие на ключ даты, которое может использоваться для отсечения диапазонов данных. Если подходящего условия нет - кидается исключение. При этом не проверяется, действительно ли условие уменьшает объём данных для чтения. Например, условие Date != '2000-01-01' подходит даже в том случае, когда соответствует всем данным в таблице (т.е. для выполнения запроса требуется full scan). Подробнее про диапазоны данных в таблицах MergeTree читайте в разделе MergeTree.
Запрещает выполнение запросов, если использовать индекс по первичному ключу невозможно.
Работает с таблицами семейства MergeTree.
При force_primary_key=1 RT.WideStore проверяет, есть ли в запросе условие на первичный ключ, которое может использоваться для отсечения диапазонов данных. Если подходящего условия нет - кидается исключение. При этом не проверяется, действительно ли условие уменьшает объём данных для чтения. Подробнее про диапазоны данных в таблицах MergeTree читайте в разделе MergeTree.
Параметр применяется в том случае, когда используются форматы, требующие определения схемы, например Cap’n Proto или Protobuf. Значение параметра зависит от формата.
Включает или отключает fsync при записи .sql файлов. По умолчанию включено.
Имеет смысл выключать, если на сервере миллионы мелких таблиц-чанков, которые постоянно создаются и уничтожаются.
Включает или отключает сжатие данных в ответе на HTTP-запрос.
Для получения дополнительной информации, читайте Описание интерфейса HTTP.
Возможные значения:
Значение по умолчанию: 0.
Задаёт уровень сжатия данных в ответе на HTTP-запрос, если enable_http_compression = 1.
Возможные значения: числа от 1 до 9.
Значение по умолчанию: 3.
Включает или отключает проверку контрольной суммы при распаковке данных HTTP POST от клиента. Используется только для собственного (Navite) формата сжатия RT.WideStore (ни gzip, ни deflate).
Для получения дополнительной информации, читайте Описание интерфейса HTTP.
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает HTTP-заголовки X-ClickHouse-Progress в ответах clickhouse-server.
Для получения дополнительной информации, читайте Описание интерфейса HTTP.
Возможные значения:
Значение по умолчанию: 0.
Ограничивает максимальное количество переходов по редиректам в таблицах с движком URL при выполнении HTTP запросов методом GET. Настройка применяется для обоих типов таблиц: созданных запросом CREATE TABLE и с помощью табличной функции url.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает максимальное количество допустимых ошибок при чтении из текстовых форматов (CSV, TSV и т.п.).
Значение по умолчанию: 0.
Используйте обязательно в паре с input_format_allow_errors_ratio. Для пропуска ошибок, значения обеих настроек должны быть больше 0.
Если при чтении строки возникла ошибка, но при этом счетчик ошибок меньше input_format_allow_errors_num, то RT.WideStore игнорирует строку и переходит к следующей.
В случае превышения input_format_allow_errors_num RT.WideStore генерирует исключение.
Устанавливает максимальную долю допустимых ошибок при чтении из текстовых форматов (CSV, TSV и т.п.).
Доля ошибок задаётся в виде числа с плавающей запятой от 0 до 1.
Значение по умолчанию: 0.
Используйте обязательно в паре с input_format_allow_errors_num. Для пропуска ошибок, значения обеих настроек должны быть больше 0.
Если при чтении строки возникла ошибка, но при этом текущая доля ошибок меньше input_format_allow_errors_ratio, то RT.WideStore игнорирует строку и переходит к следующей.
В случае превышения input_format_allow_errors_ratio RT.WideStore генерирует исключение.
Включает или отключает парсер SQL, если потоковый парсер не может проанализировать данные. Этот параметр используется только для формата Values при вставке данных. Дополнительные сведения о парсерах читайте в разделе Синтаксис.
Возможные значения:
В этом случае необходимо вставлять форматированные данные. Смотрите раздел Форматы.
В этом случае вы можете использовать выражение SQL в качестве значения, но вставка данных намного медленнее. Если вы вставляете только форматированные данные, RT.WideStore ведет себя так, как будто значение параметра равно 0.
Значение по умолчанию: 1.
Пример использования:
Вставим значение типа DateTime при разных значения настройки.
SET input_format_values_interpret_expressions = 0;
INSERT INTO datetime_t VALUES (now())
Exception on client:
Code: 27. DB::Exception: Cannot parse input: expected ) before: now()): (at row 1)
SET input_format_values_interpret_expressions = 1;
INSERT INTO datetime_t VALUES (now())
Ok.
Последний запрос эквивалентен следующему:
SET input_format_values_interpret_expressions = 0;
INSERT INTO datetime_t SELECT now()
Ok.Включает или отключает попытку вычисления шаблона для выражений SQL в формате Values. Это позволяет гораздо быстрее парсить и интерпретировать выражения в Values, если выражения в последовательных строках имеют одинаковую структуру. ClickHouse пытается вычислить шаблон выражения, распарсить следующие строки с помощью этого шаблона и вычислить выражение в пачке успешно проанализированных строк.
Возможные значения:
Значение по умолчанию: 1.
Для следующего запроса:
INSERT INTO test VALUES (lower('Hello')), (lower('world')), (lower('INSERT')), (upper('Values')), ...
Эта настройка используется, только когда input_format_values_deduce_templates_of_expressions = 1. Выражения для некоторых столбцов могут иметь одинаковую структуру, но содержат числовые литералы разных типов, например:
(..., abs(0), ...), -- UInt64 literal
(..., abs(3.141592654), ...), -- Float64 literal
(..., abs(-1), ...), -- Int64 literalВозможные значения:
В этом случае, RT.WideStore может использовать более общий тип для некоторых литералов (например, Float64 или Int64 вместо UInt64 для 42), но это может привести к переполнению и проблемам с точностью.
В этом случае, RT.WideStore проверяет фактический тип литерала и использует шаблон выражения соответствующего типа. В некоторых случаях это может значительно замедлить оценку выражения в Values.
Значение по умолчанию: 1.
При вставке данных запросом INSERT, заменяет пропущенные поля значениям по умолчанию для типа данных столбца.
Поддерживаемые форматы вставки:
Примечание:
Когда опция включена, сервер отправляет клиенту расширенные метаданные. Это требует дополнительных вычислительных ресурсов на сервере и может снизить производительность.
Возможные значения:
Значение по умолчанию: 1.
Если эта настройка включена, все пустые поля во входящем TSV заменяются значениями по умолчанию. Для сложных выражений по умолчанию также должна быть включена настройка input_format_defaults_for_omitted_fields.
По умолчанию отключена.
Включает или отключает парсинг значений перечислений как идентификаторов перечислений для входного формата TSV.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Рассмотрим таблицу:
CREATE TABLE table_with_enum_column_for_tsv_insert (Id Int32,Value Enum('first' = 1, 'second' = 2)) ENGINE=Memory();При включенной настройке input_format_tsv_enum_as_number:
SET input_format_tsv_enum_as_number = 1;
INSERT INTO table_with_enum_column_for_tsv_insert FORMAT TSV 102 2;
INSERT INTO table_with_enum_column_for_tsv_insert FORMAT TSV 103 1;
SELECT * FROM table_with_enum_column_for_tsv_insert;Результат:
┌──Id─┬─Value──┐
│ 102 │ second │
└─────┴─────────┘
┌──Id─┬─Value──┐
│ 103 │ first │
└─────┴─────────┘При отключенной настройке input_format_tsv_enum_as_number запрос INSERT:
SET input_format_tsv_enum_as_number = 0;
INSERT INTO table_with_enum_column_for_tsv_insert FORMAT TSV 102 2;сгенерирует исключение.
Включает или отключает инициализацию значениями по умолчанию ячеек с NULL, если тип данных столбца не позволяет хранить NULL. Если столбец не позволяет хранить NULL и эта настройка отключена, то вставка NULL приведет к возникновению исключения. Если столбец позволяет хранить NULL, то значения NULL вставляются независимо от этой настройки.
Эта настройка используется для запросов INSERT ... VALUES для текстовых входных форматов.
Возможные значения:
NULL в столбец, не позволяющий хранить NULL, приведет к возникновению исключения.NULL инициализируются значением столбца по умолчанию.Значение по умолчанию: 1.
Включает или отключает пропускание вставки неизвестных данных.
При записи данных, если входные данные содержат столбцы, которых нет в целевой таблице, RT.WideStore генерирует исключение. Если пропускание вставки включено, RT.WideStore не вставляет неизвестные данные и не генерирует исключение.
Поддерживаемые форматы:
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает вставку данных JSON с вложенными объектами.
Поддерживаемые форматы:
Возможные значения:
Значение по умолчанию: 0.
См. также:
Включает или отключает проверку порядка столбцов при вставке данных.
Чтобы повысить эффективность вставки данных, рекомендуем отключить эту проверку, если вы уверены, что порядок столбцов входных данных такой же, как в целевой таблице.
Поддерживаемые форматы:
Возможные значения:
Значение по умолчанию: 1.
Выбор парсера для текстового представления дат и времени при обработке входного формата.
Настройка не применяется к функциям для работы с датой и временем.
Возможные значения:
RT.WideStore может парсить базовый формат YYYY-MM-DD HH:MM:SS и все форматы ISO 8601. Например, 2018-06-08T01:02:03.000Z.
RT.WideStore может парсить только базовый формат YYYY-MM-DD HH:MM:SS или YYYY-MM-DD. Например, 2019-08-20 10:18:56 или 2019-08-20.
Значение по умолчанию: basic.
См. также:
Позволяет выбрать разные выходные форматы текстового представления даты и времени.
Возможные значения:
Выходные дата и время RT.WideStore в формате YYYY-MM-DD hh:mm:ss. Например, 2019-08-20 10:18:56. Расчет выполняется в соответствии с часовым поясом типа данных (если он есть) или часовым поясом сервера.
Выходные дата и время RT.WideStore в формате ISO 8601 YYYY-MM-DDThh:mm:ssZ. Например, 2019-08-20T10:18:56Z. Обратите внимание, что выходные данные отображаются в формате UTC (Z означает UTC).
Выходные дата и время в формате Unix. Например: 1566285536.
Значение по умолчанию: simple.
См. также:
Устанавливает строгость по умолчанию для JOIN.
Возможные значения:
Значение по умолчанию: ALL.
Изменяет поведение операций, выполняемых со строгостью ANY.
Внимание
Настройка применяется только для операций JOIN, выполняемых над таблицами с движком Join.
Возможные значения:
Значение по умолчанию: 0.
См. также:
Устанавливает тип поведения JOIN. При объединении таблиц могут появиться пустые ячейки. RT.WideStore заполняет их по-разному в зависимости от настроек.
Возможные значения:
Отключает все оптимизации для запросов JOIN с частичным MergeJoin алгоритмом.
По умолчанию оптимизации включены, что может привести к неправильным результатам. Если вы видите подозрительные результаты в своих запросах, отключите оптимизацию с помощью этого параметра. В различных версиях сервера RT.WideStore, оптимизация может отличаться.
Возможные значения:
Значение по умолчанию: 1.
Устанавливает предельные размеры блоков данных «правого» соединения, для запросов JOIN с частичным MergeJoin алгоритмом.
Сервер RT.WideStore:
Возможные значения:
Значение по умолчанию: 65536.
Устанавливает количество файлов, разрешенных для параллельной сортировки, при выполнении операций MergeJoin на диске.
Чем больше значение параметра, тем больше оперативной памяти используется и тем меньше используется диск (I/O).
Возможные значения:
Значение по умолчанию: 64.
Устанавливает метод сжатия для временных файлов на диске, используемых при сортировки и объединения.
Возможные значения:
Значение по умолчанию: LZ4.
Включает устаревшее поведение сервера RT.WideStore при выполнении операций ANY INNER|LEFT JOIN.
Внимание: Используйте этот параметр только в целях обратной совместимости, если ваши варианты использования требуют устаревшего поведения JOIN.
Когда включено устаревшее поведение:
Когда устаревшее поведение отключено:
Возможные значения:
Значение по умолчанию: 0.
См. также:
Данные в RT.WideStore обрабатываются по блокам (наборам кусочков столбцов). Внутренние циклы обработки для одного блока достаточно эффективны, но есть заметные издержки на каждый блок. Настройка max_block_size – это рекомендация, какой размер блока (в количестве строк) загружать из таблиц. Размер блока не должен быть слишком маленьким, чтобы затраты на каждый блок были заметны, но не слишком велики, чтобы запрос с LIMIT, который завершается после первого блока, обрабатывался быстро. Цель состоит в том, чтобы не использовалось слишком много оперативки при вынимании большого количества столбцов в несколько потоков; чтобы оставалась хоть какая-нибудь кэш-локальность.
Значение по умолчанию: 65,536.
Из таблицы не всегда загружаются блоки размера max_block_size. Если ясно, что нужно прочитать меньше данных, то будет считан блок меньшего размера.
Служит для тех же целей что и max_block_size, но задает рекомендуемый размер блоков в байтах, выбирая адаптивное количество строк в блоке.
При этом размер блока не может быть более max_block_size строк.
По умолчанию: 1,000,000. Работает только при чтении из MergeTree-движков.
При чтении из таблиц MergeTree RT.WideStore использует несколько потоков. Этот параметр включает/выключает равномерное распределение заданий по рабочим потокам. Алгоритм равномерного распределения стремится сделать время выполнения всех потоков примерно равным для одного запроса SELECT.
Возможные значения:
Значение по умолчанию: 1.
Если количество строк, считываемых из файла таблицы MergeTree превышает merge_tree_min_rows_for_concurrent_read, то RT.WideStore пытается выполнить одновременное чтение из этого файла в несколько потоков.
Возможные значения:
Значение по умолчанию: 163840.
Если число байтов, которое должно быть прочитано из одного файла таблицы с движком MergeTree, превышает значение merge_tree_min_bytes_for_concurrent_read, то RT.WideStore выполняет одновременное чтение в несколько потоков из этого файла.
Возможное значение:
Значение по умолчанию: 251658240.
Если расстояние между двумя блоками данных для чтения в одном файле меньше, чем merge_tree_min_rows_for_seek строк, то RT.WideStore не перескакивает (seek) через блоки, а считывает данные последовательно.
Возможные значения:
Значение по умолчанию: 0.
Если расстояние между двумя блоками данных для чтения в одном файле меньше, чем merge_tree_min_bytes_for_seek байтов, то RT.WideStore не перескакивает (seek) через блоки, а считывает данные последовательно.
Возможные значения:
Значение по умолчанию: 0.
При поиске данных RT.WideStore проверяет засечки данных в файле индекса. Если RT.WideStore обнаруживает, что требуемые ключи находятся в некотором диапазоне, он делит этот диапазон на merge_tree_coarse_index_granularity поддиапазонов и выполняет в них рекурсивный поиск нужных ключей.
Возможные значения:
Значение по умолчанию: 8.
Если требуется прочитать более, чем merge_tree_max_rows_to_use_cache строк в одном запросе, RT.WideStore не используют кэш несжатых блоков.
Кэш несжатых блоков хранит данные, извлечённые при выполнении запросов. RT.WideStore использует этот кэш для ускорения ответов на повторяющиеся небольшие запросы. Настройка защищает кэш от замусоривания запросами, для выполнения которых необходимо извлечь большое количество данных. Настройка сервера uncompressed_cache_size определяет размер кэша несжатых блоков.
Возможные значения:
Значение по умолчанию: 128 ✕ 8192.
Если требуется прочитать более, чем merge_tree_max_bytes_to_use_cache байтов в одном запросе, RT.WideStore не используют кэш несжатых блоков.
Кэш несжатых блоков хранит данные, извлечённые при выполнении запросов. RT.WideStore использует кэш для ускорения ответов на повторяющиеся небольшие запросы. Настройка защищает кэш от переполнения. Настройка сервера uncompressed_cache_size определяет размер кэша несжатых блоков.
Возможное значение:
Значение по умолчанию: 2013265920.
Минимальный объём данных, необходимый для прямого (небуферизованного) чтения/записи (direct I/O) на диск.
RT.WideStore использует этот параметр при чтении данных из таблиц. Если общий объём хранения всех данных для чтения превышает min_bytes_to_use_direct_io байт, тогда RT.WideStore использует флаг O_DIRECT при чтении данных с диска.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает метод сжатия данных, который используется для обмена данными между серверами и между сервером и clickhouse-client.
Возможные значения:
Значение по умолчанию: LZ4.
См. также:
Регулирует уровень сжатия ZSTD. Используется только тогда, когда network_compression_method установлен на ZSTD.
Возможные значения:
Значение по умолчанию: 1.
Установка логирования запроса.
Запросы, переданные в ClickHouse с этой настройкой, логируются согласно правилам конфигурационного параметра сервера query_log.
Пример:
log_queries=1Минимальное время выполнения запроса для логгирования в системные таблицы:
В случае ненулевого порога log_queries_min_query_duration_ms, в лог будут записываться лишь события об окончании выполнения запроса:
Значение по умолчанию: 0 (логгировать все запросы).
Задаёт минимальный уровень логирования в query_log.
Возможные значения:
Значение по умолчанию: QUERY_START.
Можно использовать для ограничения того, какие объекты будут записаны в query_log, например, если вас интересуют ошибки, тогда вы можете использовать EXCEPTION_WHILE_PROCESSING:
log_queries_min_type='EXCEPTION_WHILE_PROCESSING'Установка логирования информации о потоках выполнения запроса.
Лог информации о потоках выполнения запросов, переданных в RT.WideStore с этой установкой, записывается согласно правилам конфигурационного параметра сервера query_thread_log.
Пример:
log_query_threads=1Формировать блоки указанного размера, при вставке в таблицу.
Эта настройка действует только в тех случаях, когда сервер сам формирует такие блоки.
Например, при INSERT-е через HTTP интерфейс, сервер парсит формат данных, и формирует блоки указанного размера.
А при использовании clickhouse-client, клиент сам парсит данные, и настройка max_insert_block_size на сервере не влияет на размер вставляемых блоков.
При использовании INSERT SELECT, настройка так же не имеет смысла, так как данные будут вставляться теми блоками, которые вышли после SELECT-а.
Значение по умолчанию: 1,048,576.
Это значение намного больше, чем max_block_size. Это сделано, потому что некоторые движки таблиц (*MergeTree) будут на каждый вставляемый блок формировать кусок данных на диске, что является довольно большой сущностью. Также, в таблицах типа *MergeTree, данные сортируются при вставке, и достаточно большой размер блока позволяет отсортировать больше данных в оперативке.
Устанавливает минимальное количество строк в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера.
Возможные значения:
Значение по умолчанию: 1048576.
Устанавливает минимальное количество байтов в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера.
Возможные значения:
Значение по умолчанию: 268435456.
Отключает отстающие реплики при распределенных запросах. См. Репликация.
Устанавливает время в секундах. Если отставание реплики больше установленного значения, то реплика не используется.
Значение по умолчанию: 300.
Используется при выполнении SELECT из распределенной таблицы, которая указывает на реплицированные таблицы.
Максимальное количество потоков обработки запроса без учёта потоков для чтения данных с удалённых серверов (смотрите параметр max_distributed_connections).
Этот параметр относится к потокам, которые выполняют параллельно одни стадии конвейера выполнения запроса.
Например, при чтении из таблицы, если есть возможность вычислять выражения с функциями, фильтровать с помощью WHERE и предварительно агрегировать для GROUP BY параллельно, используя хотя бы количество потоков max_threads, то используются max_threads.
Значение по умолчанию: количество процессорных ядер без учёта Hyper-Threading.
Если на сервере обычно исполняется менее одного запроса SELECT одновременно, то выставите этот параметр в значение чуть меньше количества реальных процессорных ядер.
Для запросов, которые быстро завершаются из-за LIMIT-а, имеет смысл выставить max_threads поменьше. Например, если нужное количество записей находится в каждом блоке, то при max_threads = 8 будет считано 8 блоков, хотя достаточно было прочитать один.
Чем меньше max_threads, тем меньше будет использоваться оперативки.
Максимальное количество потоков для выполнения запроса INSERT SELECT.
Возможные значения:
Значение по умолчанию: 0.
Параллельный INSERT SELECT действует только в том случае, если часть SELECT выполняется параллельно, см. настройку max_threads.
Чем больше значение max_insert_threads, тем больше потребление оперативной памяти.
Максимальный размер блоков несжатых данных перед сжатием при записи в таблицу. По умолчанию - 1 048 576 (1 MiB). При уменьшении размера, незначительно уменьшается коэффициент сжатия, незначительно возрастает скорость сжатия и разжатия за счёт кэш-локальности, и уменьшается потребление оперативной памяти.
Предупреждение: Эта настройка экспертного уровня, не используйте ее, если вы только начинаете работать с RT.WideStore.
Не путайте блоки для сжатия (кусок памяти, состоящий из байт) и блоки для обработки запроса (пачка строк из таблицы).
Для таблиц типа MergeTree. В целях уменьшения задержек при обработке запросов, блок сжимается при записи следующей засечки, если его размер не меньше min_compress_block_size. По умолчанию - 65 536.
Реальный размер блока, если несжатых данных меньше max_compress_block_size, будет не меньше этого значения и не меньше объёма данных на одну засечку.
Рассмотрим пример. Пусть index_granularity, указанная при создании таблицы - 8192.
Пусть мы записываем столбец типа UInt32 (4 байта на значение). При записи 8192 строк, будет всего 32 КБ данных. Так как min_compress_block_size = 65 536, сжатый блок будет сформирован на каждые две засечки.
Пусть мы записываем столбец URL типа String (средний размер - 60 байт на значение). При записи 8192 строк, будет, в среднем, чуть меньше 500 КБ данных. Так как это больше 65 536 строк, то сжатый блок будет сформирован на каждую засечку. В этом случае, при чтении с диска данных из диапазона в одну засечку, не будет разжато лишних данных.
Предупреждение: Эта настройка экспертного уровня, не используйте ее, если вы только начинаете работать с RT.WideStore.
Максимальный кусок запроса, который будет считан в оперативку для разбора парсером языка SQL.
Запрос INSERT также содержит данные для INSERT-а, которые обрабатываются отдельным, потоковым парсером (расходующим O(1) оперативки), и не учитываются в этом ограничении.
Значение по умолчанию: 256 Кб.
Ограничивает максимальную глубину рекурсии в парсере рекурсивного спуска. Позволяет контролировать размер стека.
Возможные значения:
Значение по умолчанию: 1000.
Интервал в микросекундах для проверки, не запрошена ли остановка выполнения запроса, и отправки прогресса.
Значение по умолчанию: 100,000 (проверять остановку запроса и отправлять прогресс десять раз в секунду).
Таймауты в секундах на сокет, по которому идёт общение с клиентом.
Значение по умолчанию: 10, 300, 300.
Отменяет HTTP readonly запросы (например, SELECT), когда клиент обрывает соединение до завершения получения данных.
Значение по умолчанию: 0.
Блокироваться в цикле ожидания запроса в сервере на указанное количество секунд.
Значение по умолчанию: 10.
Максимальное количество одновременных соединений с удалёнными серверами при распределённой обработке одного запроса к одной таблице типа Distributed. Рекомендуется выставлять не меньше, чем количество серверов в кластере.
Значение по умолчанию: 1024.
Следующие параметры имеют значение только на момент создания таблицы типа Distributed (и при запуске сервера), поэтому их не имеет смысла менять в рантайме.
Максимальное количество одновременных соединений с удалёнными серверами при распределённой обработке всех запросов к одной таблице типа Distributed. Рекомендуется выставлять не меньше, чем количество серверов в кластере.
Значение по умолчанию: 1024.
Таймаут в миллисекундах на соединение с удалённым сервером, для движка таблиц Distributed, если используются секции shard и replica в описании кластера.
В случае неуспеха, делается несколько попыток соединений с разными репликами.
Значение по умолчанию: 50.
Время ожидания соединения в миллисекундах, когда пул соединений заполнен.
Возможные значения:
Значение по умолчанию: 0.
Максимальное количество попыток соединения с каждой репликой, для движка таблиц Distributed.
Значение по умолчанию: 3.
Считать ли экстремальные значения (минимумы и максимумы по столбцам результата запроса). Принимает 0 или 1. По умолчанию - 0 (выключено).
Подробнее смотрите раздел «Экстремальные значения».
Время ожидания в миллисекундах для чтения сообщений из Kafka перед повторной попыткой.
Возможные значения:
Значение по умолчанию: 5000.
См. также:
Использовать ли кэш разжатых блоков. Принимает 0 или 1. По умолчанию - 0 (выключено).
Использование кэша несжатых блоков (только для таблиц семейства MergeTree) может существенно сократить задержку и увеличить пропускную способность при работе с большим количеством коротких запросов. Включите эту настройку для пользователей, от которых идут частые короткие запросы. Также обратите внимание на конфигурационный параметр uncompressed_cache_size (настраивается только в конфигурационном файле) – размер кэша разжатых блоков. По умолчанию - 8 GiB. Кэш разжатых блоков заполняется по мере надобности, а наиболее невостребованные данные автоматически удаляются.
Для запросов, читающих хоть немного приличный объём данных (миллион строк и больше), кэш разжатых блоков автоматически выключается, чтобы оставить место для действительно мелких запросов. Поэтому, можно держать настройку use_uncompressed_cache всегда выставленной в 1.
При использовании интерфейса HTTP может быть передан параметр query_id. Это любая строка, которая служит идентификатором запроса.
Если в этот момент, уже существует запрос от того же пользователя с тем же query_id, то поведение определяется параметром replace_running_query.
0 – (по умолчанию) кинуть исключение (не давать выполнить запрос, если запрос с таким же query_id уже выполняется);
1 – отменить старый запрос и начать выполнять новый.
Эта настройка, выставленная в 1, используется для реализации suggest-а значений для условий сегментации. После ввода очередного символа, если старый запрос ещё не выполнился, его следует отменить.
Время ожидания завершения выполнения запроса с тем же query_id, когда активирована настройка replace_running_query.
Возможные значения:
Значение по умолчанию: 5000.
Работает для таблиц со стриммингом в случае тайм-аута, или когда поток генерирует max_insert_block_size строк.
Значение по умолчанию: 7500.
Чем меньше значение, тем чаще данные сбрасываются в таблицу. Установка слишком низкого значения приводит к снижению производительности.
Задает алгоритм выбора реплик, используемый при обработке распределенных запросов.
RT.WideStore поддерживает следующие алгоритмы выбора реплик:
См. также:
load_balancing = randomДля каждой реплики считается количество ошибок. Запрос отправляется на реплику с минимальным числом ошибок, а если таких несколько, то на случайную из них.
Недостатки: не учитывается близость серверов; если на репликах оказались разные данные, то вы будете получать так же разные данные.
load_balancing = nearest_hostnameДля каждой реплики считается количество ошибок. Каждые 5 минут, число ошибок целочисленно делится на 2. Таким образом, обеспечивается расчёт числа ошибок за недавнее время с экспоненциальным сглаживанием. Если есть одна реплика с минимальным числом ошибок (то есть, на других репликах недавно были ошибки) - запрос отправляется на неё. Если есть несколько реплик с одинаковым минимальным числом ошибок, то запрос отправляется на реплику, имя хоста которой в конфигурационном файле минимально отличается от имени хоста сервера (по количеству отличающихся символов на одинаковых позициях, до минимальной длины обеих имён хостов).
Для примера, example01-01-1 и example01-01-2.widestore.rt.ru отличаются в одной позиции, а example01-01-1 и example01-02-2 - в двух.
Этот метод может показаться примитивным, но он не требует внешних данных о топологии сети и не сравнивает IP-адреса, что было бы сложно для наших IPv6-адресов.
Таким образом, если есть равнозначные реплики, предпочитается ближайшая по имени.
Также можно сделать предположение, что при отправке запроса на один и тот же сервер, в случае отсутствия сбоев, распределённый запрос будет идти тоже на одни и те же серверы. То есть, даже если на репликах расположены разные данные, запрос будет возвращать в основном одинаковые результаты.
load_balancing = in_orderРеплики с одинаковым количеством ошибок опрашиваются в порядке, определённом конфигурацией.
Этот способ подходит для тех случаев, когда вы точно знаете, какая реплика предпочтительнее.
load_balancing = first_or_randomАлгоритм выбирает первую реплику или случайную реплику, если первая недоступна. Он эффективен в топологиях с перекрестной репликацией, но бесполезен в других конфигурациях.
Алгоритм first or random решает проблему алгоритма in order. При использовании in order, если одна реплика перестаёт отвечать, то следующая за ней принимает двойную нагрузку, в то время как все остальные обрабатываю свой обычный трафик. Алгоритм first or random равномерно распределяет нагрузку между репликами.
load_balancing = round_robinЭтот алгоритм использует циклический перебор реплик с одинаковым количеством ошибок (учитываются только запросы с алгоритмом round_robin).
Включает или выключает предпочтительное использование localhost реплики при обработке распределенных запросов.
Возможные значения:
Значение по умолчанию: 1.
Предупреждение:
Отключайте эту настройку при использовании max_parallel_replicas.
Каким образом вычислять TOTALS при наличии HAVING, а также при наличии max_rows_to_group_by и group_by_overflow_mode = ‘any’.
Смотрите раздел «Модификатор WITH TOTALS».
Порог для totals_mode = 'auto'.
Смотрите раздел «Модификатор WITH TOTALS».
Максимальное количество используемых реплик каждого шарда при выполнении запроса.
Для консистентности (чтобы получить разные части одного и того же разбиения), эта опция работает только при заданном ключе сэмплирования.
Отставание реплик не контролируется.
Включить компиляцию запросов. По умолчанию - 0 (выключено).
Компиляция предусмотрена только для части конвейера обработки запроса - для первой стадии агрегации (GROUP BY).
В случае, если эта часть конвейера была скомпилирована, запрос может работать быстрее, за счёт разворачивания коротких циклов и инлайнинга вызовов агрегатных функций. Максимальный прирост производительности (до четырёх раз в редких случаях) достигается на запросах с несколькими простыми агрегатными функциями. Как правило, прирост производительности незначителен. В очень редких случаях возможно замедление выполнения запроса.
После скольких раз, когда скомпилированный кусок кода мог пригодиться, выполнить его компиляцию. По умолчанию - 3.
Для тестирования можно установить значение 0: компиляция выполняется синхронно, и запрос ожидает окончания процесса компиляции перед продолжением выполнения. Во всех остальных случаях используйте значения, начинающиеся с 1. Как правило, компиляция занимает по времени около 5-10 секунд.
В случае, если значение равно 1 или больше, компиляция выполняется асинхронно, в отдельном потоке. При готовности результата, он сразу же будет использован, в том числе, уже выполняющимися в данный момент запросами.
Скомпилированный код требуется для каждого разного сочетания используемых в запросе агрегатных функций и вида ключей в GROUP BY.
Результаты компиляции сохраняются в директории build в виде .so файлов. Количество результатов компиляции не ограничено, так как они не занимают много места. При перезапуске сервера, старые результаты будут использованы, за исключением случая обновления сервера - тогда старые результаты удаляются.
Если значение равно true, то при выполнении INSERT входные данные из столбцов с неизвестными именами будут пропущены. В противном случае эта ситуация создаст исключение.
Работает для форматов JSONEachRow и TSKV.
Если значение истинно, то при использовании JSON* форматов UInt64 и Int64 числа выводятся в кавычках (из соображений совместимости с большинством реализаций JavaScript), иначе - без кавычек.
При выводе данных в формате JSON включает отображение значений +nan, -nan, +inf, -inf.
Возможные значения:
Значение по умолчанию: 0.
Пример
Рассмотрим следующую таблицу account_orders:
┌─id─┬─name───┬─duration─┬─period─┬─area─┐
│ 1 │ Andrew │ 20 │ 0 │ 400 │
│ 2 │ John │ 40 │ 0 │ 0 │
│ 3 │ Bob │ 15 │ 0 │ -100 │
└────┴─────────┴───────────┴─────────┴──────┘Когда output_format_json_quote_denormals = 0, следующий запрос возвращает значения null.
SELECT area/period FROM account_orders FORMAT JSON;
{
"meta":
[
{
"name": "divide(area, period)",
"type": "Float64"
}
],
"data":
[
{
"divide(area, period)": null
},
{
"divide(area, period)": null
},
{
"divide(area, period)": null
}
],
"rows": 3,
"statistics":
{
"elapsed": 0.003648093,
"rows_read": 3,
"bytes_read": 24
}
}Если output_format_json_quote_denormals = 1, то запрос вернет:
{
"meta":
[
{
"name": "divide(area, period)",
"type": "Float64"
}
],
"data":
[
{
"divide(area, period)": "inf"
},
{
"divide(area, period)": "-nan"
},
{
"divide(area, period)": "-inf"
}
],
"rows": 3,
"statistics":
{
"elapsed": 0.000070241,
"rows_read": 3,
"bytes_read": 24
}
}Символ, интерпретируемый как разделитель в данных формата CSV. По умолчанию – ,.
input_format_csv_unquoted_null_literal_as_nullДля формата CSV включает или выключает парсинг неэкранированной строки NULL как литерала (синоним для \N).
Включает или отключает парсинг значений перечислений как идентификаторов перечислений для входного формата CSV.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Рассмотрим таблицу:
CREATE TABLE table_with_enum_column_for_csv_insert (Id Int32,Value Enum('first' = 1, 'second' = 2)) ENGINE=Memory();При включенной настройке input_format_csv_enum_as_number:
SET input_format_csv_enum_as_number = 1;
INSERT INTO table_with_enum_column_for_csv_insert FORMAT CSV 102,2;
SELECT * FROM table_with_enum_column_for_csv_insert;Результат:
┌──Id─┬─Value──┐
│ 102 │ second │
└─────┴─────────┘При отключенной настройке input_format_csv_enum_as_number запрос INSERT:
SET input_format_csv_enum_as_number = 0;
INSERT INTO table_with_enum_column_for_csv_insert FORMAT CSV 102,2;сгенерирует исключение.
Использовать в качестве разделителя строк для CSV формата CRLF (DOS/Windows стиль) вместо LF (Unix стиль).
Использовать в качестве разделителя строк для TSV формата CRLF (DOC/Windows стиль) вместо LF (Unix стиль).
Включает кворумную запись.
Значение по умолчанию: 0.
Кворумная запись
INSERT завершается успешно только в том случае, когда RT.WideStore смог без ошибки записать данные в insert_quorum реплик за время insert_quorum_timeout. Если по любой причине количество реплик с успешной записью не достигнет insert_quorum, то запись считается не состоявшейся и RT.WideStore удалит вставленный блок из всех реплик, куда уже успел записать данные.
Все реплики в кворуме консистентны, т.е. содержат данные всех более ранних запросов INSERT. Последовательность INSERT линеаризуется.
При чтении данных, записанных с insert_quorum можно использовать настройку select_sequential_consistency.
RT.WideStore генерирует исключение:
См. также:
Время ожидания кворумной записи в миллисекундах. Если время прошло, а запись так не состоялась, то RT.WideStore сгенерирует исключение и клиент должен повторить запрос на запись того же блока на эту же или любую другую реплику.
Значение по умолчанию: 600 000 миллисекунд (10 минут).
См. также:
Включает или выключает последовательную консистентность для запросов SELECT.
Возможные значения:
Значение по умолчанию: 0.
Использование
Когда последовательная консистентность включена, то RT.WideStore позволит клиенту выполнить запрос SELECT только к тем репликам, которые содержат данные всех предыдущих запросов INSERT, выполненных с insert_quorum. Если клиент обратится к неполной реплике, то RT.WideStore сгенерирует исключение. В запросе SELECT не будут участвовать данные, которые ещё не были записаны на кворум реплик.
См. также:
Включает и выключает дедупликацию для запросов INSERT (для Replicated* таблиц).
Возможные значения:
Значение по умолчанию: 1.
По умолчанию блоки, вставляемые в реплицируемые таблицы оператором INSERT, дедуплицируются (см. Репликация данных).
Включает и выключает проверку дедупликации для материализованных представлений, которые получают данные из Replicated* таблиц.
Возможные значения:
Значение по умолчанию: 0.
По умолчанию проверка дедупликации у материализованных представлений не производится, а наследуется от Replicated* (основной) таблицы, за которой «следит» материализованное представление.
Т.е. если INSERT в основную таблицу д.б. пропущен (с дедуплицирован), то автоматически не будет вставки и в материализованные представления. Это имплементировано для того, чтобы работали материализованные представления, которые сильно группируют данные основных INSERT, до такой степени что блоки вставляемые в материализованные представления получаются одинаковыми для разных INSERT в основную таблицу.
Одновременно это «ломает» идемпотентность вставки в материализованные представления. Т.е. если INSERT был успешен в основную таблицу и неуспешен в таблицу материализованного представления (напр. из-за сетевого сбоя при коммуникации с Zookeeper), клиент получит ошибку и попытается повторить INSERT. Но вставки в материализованные представления произведено не будет, потому что дедупликация сработает на основной таблице. Настройка deduplicate_blocks_in_dependent_materialized_views позволяет это изменить. Т.е. при повторном INSERT будет произведена дедупликация на таблице материализованного представления, и повторный инсерт вставит данные в таблицу материализованного представления, которые не удалось вставить из-за сбоя первого INSERT.
Задаёт, какая из функций uniq* используется при выполнении конструкции COUNT(DISTINCT …).
Возможные значения:
Значение по умолчанию: uniqExact.
Ограничивает объём данных (в байтах), который принимается или передается по сети при выполнении запроса. Параметр применяется к каждому отдельному запросу.
Возможные значения:
Значение по умолчанию: 0.
Ограничивает скорость обмена данными по сети в байтах в секунду. Параметр применяется к каждому отдельному запросу.
Возможные значения:
Значение по умолчанию: 0.
Ограничивает скорость обмена данными по сети в байтах в секунду. Этот параметр применяется ко всем одновременно выполняемым запросам, запущенным одним пользователем.
Возможные значения:
Значение по умолчанию: 0.
Ограничивает скорость обмена данными по сети в байтах в секунду. Этот параметр применяется ко всем одновременно выполняемым запросам на сервере.
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает тихий пропуск недоступных шардов.
Шард считается недоступным, если все его реплики недоступны. Реплика недоступна в следующих случаях:
RT.WideStore предпринимает несколько попыток подключиться к реплике. Если все попытки оказались неудачными, реплика считается недоступной.
Если имя хоста реплики не может быть разрешено с помощью DNS, это может указывать на следующие ситуации:
Возможные значения:
Если шард недоступен, то RT.WideStore возвращает результат, основанный на неполных данных и не оповещает о проблемах с доступностью хостов.
Если шард недоступен, то RT.WideStore генерирует исключение.
Значение по умолчанию: 0.
Включает или отключает пропуск неиспользуемых шардов для запросов SELECT , в которых условие ключа шардирования задано в секции WHERE/PREWHERE. Предполагается, что данные распределены с помощью ключа шардирования, в противном случае настройка ничего не делает.
Возможные значения:
Значение по умолчанию: 0.
Контролирует настройку optimize_skip_unused_shards (поэтому все еще требует optimize_skip_unused_shards) в зависимости от вложенности распределенного запроса (когда у вас есть Distributed таблица которая смотрит на другую Distributed таблицу).
Возможные значения:
Значение по умолчанию: 0.
Разрешает или запрещает выполнение запроса, если настройка optimize_skip_unused_shards включена, а пропуск неиспользуемых шардов невозможен. Если данная настройка включена и пропуск невозможен, RT.WideStore генерирует исключение.
Возможные значения:
Значение по умолчанию: 0.
Контролирует настройку force_optimize_skip_unused_shards (поэтому все еще требует optimize_skip_unused_shards) в зависимости от вложенности распределенного запроса (когда у вас есть Distributed таблица которая смотрит на другую Distributed таблицу).
Возможные значения:
Значение по умолчанию: 0.
Сбрасывает optimize_skip_unused_shards для вложенных Distributed таблиц.
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает генерирование исключения в случаях, когда запрос OPTIMIZE не выполняет мёрж.
По умолчанию, OPTIMIZE завершается успешно и в тех случаях, когда он ничего не сделал. Настройка позволяет отделить подобные случаи и включает генерирование исключения с поясняющим сообщением.
Возможные значения:
Значение по умолчанию: 0.
Управляет скоростью обнуления счетчика ошибок в распределенных таблицах. Предположим, реплика остается недоступна в течение какого-то времени, и за этот период накопилось 5 ошибок. Если настройка distributed_replica_error_half_life установлена в значение 1 секунда, то реплика снова будет считаться доступной через 3 секунды после последней ошибки.
См. также:
Счетчик ошибок каждой реплики ограничен этим значением, чтобы одна реплика не накапливала слишком много ошибок.
См. также:
Количество ошибок, которые будут проигнорированы при выборе реплик (согласно алгоритму load_balancing).
См. также:
Основной интервал отправки данных движком таблиц Distributed. Фактический интервал растёт экспоненциально при возникновении ошибок.
Возможные значения:
Значение по умолчанию: 100 миллисекунд.
Максимальный интервал отправки данных движком таблиц Distributed. Ограничивает экпоненциальный рост интервала, установленного настройкой distributed_directory_monitor_sleep_time_ms.
Возможные значения:
Значение по умолчанию: 30000 миллисекунд (30 секунд).
Включает/выключает пакетную отправку вставленных данных.
Если пакетная отправка включена, то движок таблиц Distributed вместо того, чтобы отправлять каждый файл со вставленными данными по отдельности, старается отправить их все за одну операцию. Пакетная отправка улучшает производительность кластера за счет более оптимального использования ресурсов сервера и сети.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает приоритет (nice) для потоков, исполняющих запросы. Планировщик ОС учитывает эти приоритеты при выборе следующего потока для исполнения на доступном ядре CPU.
Предупреждение: Для использования этой настройки необходимо установить свойство CAP_SYS_NICE. Пакет clickhouse-server устанавливает его во время инсталляции. Некоторые виртуальные окружения не позволяют установить CAP_SYS_NICE. В этом случае, clickhouse-server выводит сообщение при запуске.
Допустимые значения:
Более низкие значения означают более высокий приоритет. Потоки с низкими значениями приоритета nice выполняются чаще, чем потоки с более высокими значениями. Высокие значения предпочтительно использовать для долгих неинтерактивных запросов, поскольку это позволяет быстро выделить ресурс в пользу коротких интерактивных запросов.
Значение по умолчанию: 0.
Устанавливает период для таймера реального времени профилировщика запросов. Таймер реального времени считает wall-clock time.
Возможные значения:
Рекомендуемые значения:
Тип: UInt64.
Значение по умолчанию: 1000000000 наносекунд (раз в секунду).
См. также:
Устанавливает период для таймера CPU query profiler. Этот таймер считает только время CPU.
Возможные значения:
Рекомендуемые значения:
Тип: UInt64.
Значение по умолчанию: 1000000000 наносекунд.
См. также:
Включает или отключает функции самоанализа для профилирования запросов.
Возможные значения:
Значение по умолчанию: 0.
См. Также:
Включает режим, при котором входящие данные парсятся параллельно, но с сохранением исходного порядка следования. Поддерживается только для форматов TSV, TKSV, CSV и JSONEachRow.
Минимальный размер блока в байтах, который каждый поток будет анализировать параллельно.
Устанавливает кодек сжатия, используемый для вывода файла Avro.
Тип: строка.
Возможные значения:
Значение по умолчанию: snappy (если доступно) или deflate.
Устанавливает минимальный размер данных (в байтах) между маркерами синхронизации для выходного файла Avro.
Тип: unsigned int.
возможные значения: 32 (32 байта) - 1073741824 (1 GiB).
Значение по умолчанию: 32768 (32 KiB).
Задает количество потоков для выполнения фоновых операций в движках таблиц (например, слияния в таблицах c движком MergeTree). Настройка применяется при запуске сервера RT.WideStore и не может быть изменена во пользовательском сеансе. Настройка позволяет управлять загрузкой процессора и диска. Чем меньше пулл, тем ниже нагрузка на CPU и диск, при этом фоновые процессы замедляются, что может повлиять на скорость выполнения запроса.
Допустимые значения:
Значение по умолчанию: 16.
Включает параллельную обработку распределённых запросов INSERT ... SELECT.
Если при выполнении запроса INSERT INTO distributed_table_a SELECT ... FROM distributed_table_b оказывается, что обе таблицы находятся в одном кластере, то независимо от того реплицируемые они или нет, запрос выполняется локально на каждом шарде.
Допустимые значения:
Значение по умолчанию: 0.
Включает или отключает режим синхронного добавления данных в распределенные таблицы (таблицы с движком Distributed).
По умолчанию RT.WideStore вставляет данные в распределённую таблицу в асинхронном режиме. Если insert_distributed_sync=1, то данные вставляются сихронно, а запрос INSERT считается выполненным успешно, когда данные записаны на все шарды (по крайней мере на одну реплику для каждого шарда, если internal_replication = true).
Возможные значения:
Значение по умолчанию: 0.
См. также:
Включает или отключает генерирование исключения в функции pointInPolygon, если многоугольник самопересекающийся или самокасающийся.
Допустимые значения:
Значение по умолчанию: 1.
Запрещает слияние данных для таблиц семейства Replicated*MergeTree.
Если слияние запрещено, реплика никогда не выполняет слияние отдельных кусков данных, а всегда загружает объединённые данные из других реплик. Если объединённых данных пока нет, реплика ждет их появления. Нагрузка на процессор и диски на реплике уменьшается, но нагрузка на сеть в кластере возрастает. Настройка может быть полезна на репликах с относительно слабыми процессорами или медленными дисками, например, на репликах для хранения архивных данных.
Возможные значения:
Значение по умолчанию: 0.
См. также:
Разрешает сравнивать значения NULL в операторе IN.
По умолчанию, значения NULL нельзя сравнивать, поскольку NULL обозначает неопределённое значение. Следовательно, сравнение expr = NULL должно всегда возвращать false. С этой настройкой NULL = NULLвозвращает true в операторе IN.
Possible values:
Значение по умолчанию: 0.
Пример:
Рассмотрим таблицу null_in:
┌──idx─┬─────i─┐
│ 1 │ 1 │
│ 2 │ NULL │
│ 3 │ 3 │
└───────┴───────┘Запрос:
SELECT idx, i FROM null_in WHERE i IN (1, NULL) SETTINGS transform_null_in = 0;Ответ:
┌──idx─┬────i─┐
│ 1 │ 1 │
└──────┴───────┘Запрос:
SELECT idx, i FROM null_in WHERE i IN (1, NULL) SETTINGS transform_null_in = 1;Ответ:
┌──idx─┬─────i─┐
│ 1 │ 1 │
│ 2 │ NULL │
└───────┴───────┘См. Также:
Задает максимальный размер общего глобального словаря (в строках) для типа данных LowCardinality, который может быть записан в файловую систему хранилища. Настройка предотвращает проблемы с оперативной памятью в случае неограниченного увеличения словаря. Все данные, которые не могут быть закодированы из-за ограничения максимального размера словаря, RT.WideStore записывает обычным способом.
Допустимые значения:
Значение по умолчанию: 8192.
Включает или выключает использование единого словаря для куска (парта).
По умолчанию сервер RT.WideStore следит за размером словарей, и если словарь переполняется, сервер создает следующий. Чтобы запретить создание нескольких словарей, задайте настройку low_cardinality_use_single_dictionary_for_part = 1.
Допустимые значения:
Значение по умолчанию: 0.
Разрешает или запрещает использование типа данных LowCardinality с форматом данных Native.
Если использование типа LowCardinality ограничено, сервер RT.WideStore преобразует столбцы LowCardinality в обычные столбцы для запросов SELECT, а обычные столбцы - в столбцы LowCardinality для запросов INSERT.
В основном настройка используется для сторонних клиентов, не поддерживающих тип данных LowCardinality.
Допустимые значения:
Значение по умолчанию: 1.
Разрешает или запрещает использование типа данных LowCardinality с типами данных с фиксированным размером 8 байт или меньше: числовые типы данных и FixedString (8_bytes_or_less).
Для небольших фиксированных значений использование LowCardinality обычно неэффективно, поскольку RT.WideStore хранит числовой индекс для каждой строки. В результате:
Время слияния в таблицах на движке MergeTree также может увеличиться по описанным выше причинам.
Допустимые значения:
Значение по умолчанию: 0.
Задает количество потоков для выполнения фонового сброса данных в таблицах с движком Buffer. Настройка применяется при запуске сервера RT.WideStore и не может быть изменена в пользовательском сеансе.
Допустимые значения:
Значение по умолчанию: 16.
Задает количество потоков для фоновых перемещений кусков между дисками. Работает для таблиц с движком MergeTree. Настройка применяется при запуске сервера RT.WideStore и не может быть изменена в пользовательском сеансе.
Допустимые значения:
Значение по умолчанию: 8.
Задает количество потоков для выполнения фоновых задач. Работает для реплицируемых таблиц, стримов в Kafka и обновления IP адресов у записей во внутреннем DNS кеше. Настройка применяется при запуске сервера RT.WideStore и не может быть изменена в пользовательском сеансе.
Допустимые значения:
Значение по умолчанию: 16.
Задает количество потоков для выполнения фоновых задач. Работает для таблиц с движком Distributed. Настройка применяется при запуске сервера RT.WideStore и не может быть изменена в пользовательском сеансе.
Допустимые значения:
Значение по умолчанию: 16.
Задает количество потоков для фонового потокового вывода сообщений. Настройка применяется при запуске сервера RT.WideStore и не может быть изменена в пользовательском сеансе.
Допустимые значения:
Значение по умолчанию: 16.
Смотрите также
Задает URL реестра схем Confluent для использования с форматом AvroConfluent.
Значение по умолчанию: Пустая строка.
Позволяет использовать данные, которых не нашлось в схеме формата Avro или AvroConfluent. Если поле не найдено в схеме, RT.WideStore подставит значение по умолчанию вместо исключения.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает минимальное количество строк в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера. Настройка применяется только для блоков, вставляемых в материализованное представление. Настройка позволяет избежать избыточного потребления памяти.
Допустимые значения:
Значение по умолчанию: 1048576.
См. также:
Устанавливает минимальное количество байтов в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера. Настройка применяется только для блоков, вставляемых в материализованное представление. Настройка позволяет избежать избыточного потребления памяти.
Допустимые значения:
Значение по умолчанию: 268435456.
См. также:
Позволяет изменить кодировку, которая используется для отрисовки таблицы при выводе результатов запросов. Доступны следующие кодировки: UTF-8, ASCII.
Пример:
SET output_format_pretty_grid_charset = 'UTF-8';
SELECT * FROM a;
┌─a─┐
│ 1 │
└───┘
SET output_format_pretty_grid_charset = 'ASCII';
SELECT * FROM a;
+-a-+
| 1 |
+---+Включает или отключает оптимизацию в запросах SELECT с секцией ORDER BY при работе с таблицами семейства MergeTree.
Возможные значения:
Значение по умолчанию: 1.
См. также:
Включает или отключает оптимизацию в запросах SELECT с секцией GROUP BY при наличии подходящих ключей сортировки. Используется при работе с таблицами MergeTree.
Возможные значения:
Значение по умолчанию: 0.
См. также:
Позволяет выполнять запросы ALTER TABLE ... UPDATE|DELETE (мутации) синхронно.
Возможные значения:
Значение по умолчанию: 0.
См. также:
Для таблиц MergeTree включает или отключает возможность полного удаления кусков данных, в которых все записи устарели.
Когда настройка ttl_only_drop_parts отключена (т.е. по умолчанию), сервер лишь удаляет устаревшие записи в соответствии с их временем жизни (TTL).
Когда настройка ttl_only_drop_parts включена, сервер целиком удаляет куски данных, в которых все записи устарели.
Удаление целых кусков данных вместо удаления отдельных записей позволяет устанавливать меньший таймаут merge_with_ttl_timeout и уменьшает нагрузку на сервер, что способствует росту производительности.
Возможные значения:
Значение по умолчанию: 0.
См. также:
Ограничивает длину значения, выводимого в формате Pretty. Если значение длиннее указанного количества символов, оно обрезается.
Возможные значения:
Значение по умолчанию: 10000 символов.
Примеры:
Запрос:
SET output_format_pretty_max_value_width = 10;
SELECT range(number) FROM system.numbers LIMIT 10 FORMAT PrettyCompactNoEscapes;Результат:
┌─range(number)─┐
│ [] │
│ [0] │
│ [0,1] │
│ [0,1,2] │
│ [0,1,2,3] │
│ [0,1,2,3,4⋯ │
│ [0,1,2,3,4⋯ │
│ [0,1,2,3,4⋯ │
│ [0,1,2,3,4⋯ │
│ [0,1,2,3,4⋯ │
└─────────────────┘Запрос, где длина выводимого значения ограничена 0 символов:
SET output_format_pretty_max_value_width = 0;
SELECT range(number) FROM system.numbers LIMIT 5 FORMAT PrettyCompactNoEscapes;Результат:
┌─range(number)─┐
│ ⋯ │
│ ⋯ │
│ ⋯ │
│ ⋯ │
│ ⋯ │
└─────────────────┘Включает режим отображения номеров строк для запросов, выводимых в формате Pretty.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Запрос:
SET output_format_pretty_row_numbers = 1;
SELECT TOP 3 name, value FROM system.settings;Результат:
┌─name─────────────────────┬─value───┐
1. │ min_compress_block_size │ 65536 │
2. │ max_compress_block_size │ 1048576│
3. │ max_block_size │ 65505 │
└───────────────────────────┴─────────┘Позволяет выбрать события с нулевыми значениями из таблицы system.events.
В некоторые системы мониторинга вам нужно передать значения всех измерений (для каждой контрольной точки), даже если в результате – "0".
Возможные значения:
Значение по умолчанию: 0.
Примеры:
Запрос:
SELECT * FROM system.events WHERE event='QueryMemoryLimitExceeded';Результат:
Ok.Запрос:
SET system_events_show_zero_values = 1;
SELECT * FROM system.events WHERE event='QueryMemoryLimitExceeded';Результат:
┌─event──────────────────────┬─value─┬─description───────────────────────────────────────────────┐
│ QueryMemoryLimitExceeded │ 0 │ Number of times when memory limit exceeded for query. │
└─────────────────────────────┴───────┴────────────────────────────────────────────────────────────┘Включает или отключает поддержку целочисленных значений, превышающих максимальное значение, допустимое для типа int.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает, сколько секунд сервер ожидает возможности выполнить блокировку таблицы.
Таймаут устанавливается для защиты от взаимоблокировки при выполнении операций чтения или записи. Если время ожидания истекло, а блокировку выполнить не удалось, сервер возвращает исключение с кодом DEADLOCK_AVOIDED и сообщением "Locking attempt timed out! Possible deadlock avoided. Client should retry." ("Время ожидания блокировки истекло! Возможная взаимоблокировка предотвращена. Повторите запрос.").
Возможные значения:
Значение по умолчанию: 120 секунд.
Включает или отключает сохранение типа Nullable для аргумента функции CAST.
Если настройка включена, то когда в функцию CAST передается аргумент с типом Nullable, функция возвращает результат, также преобразованный к типу Nullable.
Если настройка отключена, то функция CAST всегда возвращает результат строго указанного типа.
Возможные значения:
Значение по умолчанию: 0.
Примеры
Запрос возвращает аргумент, преобразованный строго к указанному типу:
SET cast_keep_nullable = 0;
SELECT CAST(toNullable(toInt32(0)) AS Int32) as x, toTypeName(x);Результат:
┌─x─┬─toTypeName(CAST(toNullable(toInt32(0)), 'Int32'))─┐
│ 0 │ Int32 │
└───┴────────────────────────────────────────────────────────┘Запрос возвращает аргумент, преобразованный к типу Nullable для указанного типа:
SET cast_keep_nullable = 1;
SELECT CAST(toNullable(toInt32(0)) AS Int32) as x, toTypeName(x);Результат:
┌─x─┬─toTypeName(CAST(toNullable(toInt32(0)), 'Int32'))─┐
│ 0 │ Nullable(Int32) │
└───┴────────────────────────────────────────────────────────┘См. также:
Отключает перманентность для табличных движков Set и Join.
Уменьшает расходы на ввод/вывод. Может быть полезно, когда требуется высокая производительность, а перманентность не обязательна.
Возможные значения:
Значение по умолчанию: 1.
Определяет представление NULL для формата выходных данных TSV. Пользователь может установить в качестве значения любую строку.
Значение по умолчанию: \N.
Примеры:
Запрос:
SELECT * FROM tsv_custom_null FORMAT TSV;Результат:
788
\N
\NЗапрос:
SET output_format_tsv_null_representation = 'My NULL';
SELECT * FROM tsv_custom_null FORMAT TSV;Результат:
788
My NULL
My NULLПозволяет выводить все строки в виде массива JSON в формате JSONEachRow.
Возможные значения:
Значение по умолчанию: 0.
Пример запроса с включенной настройкой:
Запрос:
SET output_format_json_array_of_rows = 1;
SELECT number FROM numbers(3) FORMAT JSONEachRow;Результат:
[
{"number":"0"},
{"number":"1"},
{"number":"2"}
]Пример запроса с отключенной настройкой:
Запрос:
SET output_format_json_array_of_rows = 0;
SELECT number FROM numbers(3) FORMAT JSONEachRow;Результат:
{"number":"0"}
{"number":"1"}
{"number":"2"}Включает или отключает поддержку типа Nullable для ключей таблиц MergeTree.
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает перезапись всех агрегатных функций в запросе, с добавлением к ним суффикса -OrNull. Включите для совместимости со стандартом SQL.
Реализуется с помощью перезаписи запросов (аналогично настройке count_distinct_implementation), чтобы получить согласованные результаты для распределенных запросов.
Возможные значения:
Значение по умолчанию: 0.
Пример
Рассмотрим запрос с агрегирующими функциями:
SELECT SUM(-1), MAX(0) FROM system.one WHERE 0;Результат запроса с настройкой aggregate_functions_null_for_empty = 0:
┌─SUM(-1)─┬─MAX(0)─┐
│ 0 │ 0 │
└──────────┴─────────┘Результат запроса с настройкой aggregate_functions_null_for_empty = 1:
┌─SUMOrNull(-1)─┬─MAXOrNull(0)─┐
│ NULL │ NULL │
└────────────────┴────────────────┘Устанавливает режим объединения результатов SELECT запросов. Настройка используется только при совместном использовании с UNION без явного указания UNION ALL или UNION DISTINCT.
Возможные значения:
Значение по умолчанию: ''.
Смотрите примеры в разделе UNION.
Позволяет использовать по умолчанию тип данных Nullable в определении столбца без явных модификаторов NULL или NOT NULL.
Возможные значения:
Значение по умолчанию: 0.
Включает особую логику выполнения слияний на репликах.
Возможные значения:
Значение по умолчанию: 0.
Использование: Выбирается одна реплика для выполнения слияния. Устанавливается порог времени с момента начала слияния. Другие реплики ждут завершения слияния, а затем скачивают результат. Если время выполнения слияния превышает установленный порог и выбранная реплика не выполняет слияние, тогда слияние выполняется на других репликах как обычно.
Большие значения этой настройки могут привести к задержкам репликации.
Эта настройка полезна, когда скорость слияния ограничивается мощностью процессора, а не скоростью операций ввода-вывода (при выполнении "тяжелого" сжатия данных, при расчете агрегатных функций или выражений по умолчанию, требующих большого объема вычислений, или просто при большом количестве мелких слияний).
Устанавливает максимальное количество параллельных потоков для фазы чтения данных запроса SELECT с модификатором FINAL.
Возможные значения:
Значение по умолчанию: 16.
Задает вероятность того, что RT.WideStore начнет трассировку для выполненных запросов (если не указан входящий контекст трассировки).
Возможные значения:
Значение по умолчанию: 0.
Включает или выключает преобразование данных перед добавлением в таблицу, как будто над добавляемым блоком предварительно было произведено слияние (в соответствии с движком таблицы).
Возможные значения:
Значение по умолчанию: 1.
Пример:
Сравните добавление данных при включенной и выключенной настройке:
Запрос:
SET optimize_on_insert = 1;
CREATE TABLE test1 (`FirstTable` UInt32) ENGINE = ReplacingMergeTree ORDER BY FirstTable;
INSERT INTO test1 SELECT number % 2 FROM numbers(5);
SELECT * FROM test1;
SET optimize_on_insert = 0;
CREATE TABLE test2 (`SecondTable` UInt32) ENGINE = ReplacingMergeTree ORDER BY SecondTable;
INSERT INTO test2 SELECT number % 2 FROM numbers(5);
SELECT * FROM test2;Результат:
┌─FirstTable─┐
│ 0 │
│ 1 │
└─────────────┘
┌─SecondTable─┐
│ 0 │
│ 0 │
│ 0 │
│ 1 │
│ 1 │
└──────────────┘Обратите внимание на то, что эта настройка влияет на поведение материализованных представлений и БД MaterializeMySQL.
Разрешает использование экспериментальных типов данных для работы с географическими структурами.
Возможные значения:
Значение по умолчанию: 0.
В дополнение к общим настройкам, пользователи могут определять собственные настройки.
Название пользовательской настройки должно начинаться с одного из предопределённых префиксов. Список этих префиксов должен быть задан в параметре custom_settings_prefixes конфигурационнного файла сервера.
<custom_settings_prefixes>custom_</custom_settings_prefixes>Чтобы задать значение пользовательской настройке, используйте команду SET:
SET custom_a = 123;Чтобы получить текущее значение пользовательской настройки, используйте функцию getSetting():
SELECT getSetting('custom_a');Определяет алгоритм выполнения запроса JOIN.
Возможные значения:
hash — используется алгоритм соединения хешированием.partial_merge — используется алгоритм соединения слиянием сортированных списков.prefer_partial_merge — используется алгоритм соединения слиянием сортированных списков, когда это возможно.auto — сервер ClickHouse пытается на лету заменить алгоритм hash на merge, чтобы избежать переполнения памяти.Значение по умолчанию: hash.
При использовании алгоритма hash правая часть JOIN загружается в оперативную память.
При использовании алгоритма partial_merge сервер сортирует данные и сбрасывает их на диск. Работа алгоритма merge в ClickHouse немного отличается от классической реализации. Сначала ClickHouse сортирует правую таблицу по блокам на основе ключей соединения и для отсортированных блоков строит индексы min-max. Затем он сортирует куски левой таблицы на основе ключей соединения и объединяет их с правой таблицей операцией JOIN. Созданные min-max индексы используются для пропуска тех блоков из правой таблицы, которые не участвуют в данной операции JOIN.
Позволяет конвертировать тип LowCardinality в тип DICTIONARY формата Arrow для запросов SELECT.
Возможные значения:
LowCardinality не конвертируется в тип DICTIONARY.LowCardinality конвертируется в тип DICTIONARY.Значение по умолчанию: 0.
172. database_atomic_wait_for_drop_and_detach_synchronously
Добавляет модификатор SYNC ко всем запросам DROP и DETACH.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает отображение запроса SHOW TABLE.
Возможные значения:
Значение по умолчанию: 0.
Включает экспериментальную возможность использования LIVE-представлений.
Возможные значения:
Значение по умолчанию: 0.
Задает интервал в секундах для периодической проверки существования LIVE VIEW.
Значение по умолчанию: 15.
Задает наибольшее число вставок, после которых запрос на формирование LIVE VIEW исполняется снова.
Значение по умолчанию: 64.
Задает время в секундах, по истечении которого LIVE VIEW с установленным автообновлением обновляется.
Значение по умолчанию: 60.
Определяет уровень детализации результата для запросов CHECK TABLE для таблиц семейства MergeTree.
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает замену названий столбцов на псевдонимы (alias) в выражениях и секциях запросов, см. Примечания по использованию синонимов. Включите эту настройку, чтобы синтаксис псевдонимов в ClickHouse был более совместим с большинством других СУБД.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Какие изменения привносит включение и выключение настройки:
Запрос:
SET prefer_column_name_to_alias = 0;
SELECT avg(number) AS number, max(number) FROM numbers(10);Результат:
Received exception from server (version 21.5.1):
Code: 184. DB::Exception: Received from localhost:9000. DB::Exception: Aggregate function avg(number) is found inside another aggregate function in query: While processing avg(number) AS number.Запрос:
SET prefer_column_name_to_alias = 1;
SELECT avg(number) AS number, max(number) FROM numbers(10);Результат:
┌─number─┬─max(number)─┐
│ 4.5 │ 9 │
└─────────┴──────────────┘Устанавливает максимальное количество строк, возвращаемых запросом. Ограничивает сверху значение, установленное в запросе в секции LIMIT.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает количество строк, которые необходимо пропустить перед началом возврата строк из запроса. Суммируется со значением, установленным в запросе в секции OFFSET.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Исходная таблица:
CREATE TABLE test (i UInt64) ENGINE = MergeTree() ORDER BY i;
INSERT INTO test SELECT number FROM numbers(500);Запрос:
SET limit = 5;
SET offset = 7;
SELECT * FROM test LIMIT 10 OFFSET 100;Результат:
┌───i─┐
│ 107 │
│ 108 │
│ 109 │
└─────┘Тайм-аут для HTTP-соединения (в секундах).
Возможные значения:
Значение по умолчанию: 1.
Тайм-аут для отправки данных через HTTP-интерфейс (в секундах).
Возможные значения:
Значение по умолчанию: 1800.
Тайм-аут для получения данных через HTTP-интерфейс (в секундах).
Возможные значения:
Значение по умолчанию: 1800.
Позволяет объединить агрегатные функции с одинаковым аргументом. Запрос, содержащий по крайней мере две агрегатные функции: sum, count или avg с одинаковым аргументом, перезаписывается как sumCount.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Запрос:
CREATE TABLE fuse_tbl(a Int8, b Int8) Engine = Log;
SET optimize_syntax_fuse_functions = 1;
EXPLAIN SYNTAX SELECT sum(a), sum(b), count(b), avg(b) from fuse_tbl FORMAT TSV;Результат:
SELECT
sum(a),
sumCount(b).1,
sumCount(b).2,
(sumCount(b).1) / (sumCount(b).2)
FROM fuse_tblПозволяет создавать базы данных с движком Replicated.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает, как долго начальный DDL-запрос должен ждать, пока реплицированная база данных прецессирует предыдущие записи очереди DDL в секундах.
Возможные значения:
Значение по умолчанию: 300.
Устанавливает тайм-аут для ответов на DDL-запросы от всех хостов в кластере. Если DDL-запрос не был выполнен на всех хостах, ответ будет содержать ошибку тайм-аута, и запрос будет выполнен в асинхронном режиме.
Возможные значения:
Значение по умолчанию: 180.
Задает формат результата распределенного DDL-запроса.
Возможные значения:
throw — возвращает набор результатов со статусом выполнения запросов для всех хостов, где завершен запрос. Если запрос не выполнился на некоторых хостах, то будет выброшено исключение. Если запрос еще не закончен на некоторых хостах и таймаут distributed_ddl_task_timeout превышен, то выбрасывается исключение TIMEOUT_EXCEEDED.none — идентично throw, но распределенный DDL-запрос не возвращает набор результатов.null_status_on_timeout — возвращает NULL в качестве статуса выполнения в некоторых строках набора результатов вместо выбрасывания TIMEOUT_EXCEEDED, если запрос не закончен на соответствующих хостах.never_throw — не выбрасывает исключение и TIMEOUT_EXCEEDED, если запрос не удался на некоторых хостах.Значение по умолчанию: throw.
Устанавливает формат данных у вложенных столбцов.
Возможные значения:
Значение по умолчанию: 1.
Использование:
Если установлено значение 0, можно использовать любой уровень вложенности.
Примеры:
Запрос:
SET flatten_nested = 1;
CREATE TABLE t_nest (`n` Nested(a UInt32, b UInt32)) ENGINE = MergeTree ORDER BY tuple();
SHOW CREATE TABLE t_nest;Результат:
┌─statement───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE default.t_nest( `n.a` Array(UInt32), `n.b` Array(UInt32))ENGINE = MergeTreeORDER BY tuple()SETTINGS index_granularity = 8192 │
└──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘Запрос:
SET flatten_nested = 0;
CREATE TABLE t_nest (`n` Nested(a UInt32, b UInt32)) ENGINE = MergeTree ORDER BY tuple();
SHOW CREATE TABLE t_nest;Результат:
┌─statement─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE default.t_nest( `n` Nested(a UInt32, b UInt32))ENGINE = MergeTreeORDER BY tuple()SETTINGS index_granularity = 8192 │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘Определяет, как табличные функции mysql, postgresql и odbc] используют Nullable столбцы.
Возможные значения:
Значение по умолчанию: 1.
Использование:
Если установлено значение 0, то табличная функция не делает Nullable столбцы, а вместо NULL выставляет значения по умолчанию для скалярного типа. Это также применимо для значений NULL внутри массивов.
Задает максимальное количество строк, собранных в памяти перед вставкой данных в таблицу базы данных PostgreSQL.
Возможные значения:
Значение по умолчанию: 65536.
Задает список таблиц базы данных PostgreSQL, разделенных запятыми, которые будут реплицироваться с помощью движка базы данных MaterializedPostgreSQL.
Значение по умолчанию: пустой список — база данных PostgreSQL будет полностью реплицирована.
Позволяет автоматически обновить таблицу в фоновом режиме при обнаружении изменений схемы. DDL-запросы на стороне сервера PostgreSQL не реплицируются с помощью движка ClickHouse MaterializedPostgreSQL, поскольку это запрещено протоколом логической репликации PostgreSQL, но факт DDL-измененений обнаруживается транзакционно. После обнаружения DDL по умолчанию прекращается репликация этих таблиц. Однако, если эта настройка включена, то вместо остановки репликации, таблицы будут перезагружены в фоновом режиме с помощью снимка базы данных без потери информации, и репликация для них будет продолжена.
Возможные значения:
Значение по умолчанию: 0.
Строка с идентификатором слота репликации, созданного пользователем вручную. Эта настройка должна использоваться совместно с materialized_postgresql_snapshot.
Строка с идентификатором снэпшота, из которого будет выполняться исходный дамп таблиц PostgreSQL. Эта настройка должна использоваться совместно с materialized_postgresql_replication_slot.
Включает или отключает поддержку проекций при обработке запросов SELECT.
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает обязательное использование проекций в запросах SELECT, если поддержка проекций включена (см. настройку allow_experimental_projection_optimization).
Возможные значения:
Значение по умолчанию: 0.
Позволяет настроить ожидание выполнения действий на репликах запросами ALTER, OPTIMIZE или TRUNCATE.
Возможные значения:
Значение по умолчанию: 1.
Указывает время ожидания (в секундах) выполнения запросов ALTER, OPTIMIZE или TRUNCATE для неактивных реплик.
Возможные значения:
Значение по умолчанию: 120 секунд.
Задает максимальное количество совпадений для регулярного выражения. Настройка применяется для защиты памяти от перегрузки при использовании "жадных" квантификаторов в регулярном выражении для функции extractAllGroupsHorizontal.
Возможные значения:
Значение по умолчанию: 1000.
Задает максимальное количество попыток чтения данных во время одного HTTP-запроса.
Возможные значения:
Значение по умолчанию: 1024.
Позволяет пользователю записывать в системные таблицы query_log, query_thread_log и query_views_log только часть запросов, выбранных случайным образом, с указанной вероятностью. Это помогает снизить нагрузку при большом объеме запросов в секунду.
Возможные значения:
0.5, примерно половина запросов регистрируется в системных таблицах.Значение по умолчанию: 1.
Позволяет вычислять функции if, multiIf, and и or по короткой схеме. Это помогает оптимизировать выполнение сложных выражений в этих функциях и предотвратить возможные исключения (например, деление на ноль, когда оно не ожидается).
Возможные значения:
enable — по короткой схеме вычисляются функции, которые подходят для этого (могут сгенерировать исключение или требуют сложных вычислений).force_enable — все функции вычисляются по короткой схеме.disable — вычисление функций по короткой схеме отключено.Значение по умолчанию: enable.
Задает максимальную длину каждого регулярного выражения в hyperscan-функциях поиска множественных совпадений в строке.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Запрос:
SELECT multiMatchAny('abcd', ['ab','bcd','c','d']) SETTINGS max_hyperscan_regexp_length = 3;Результат:
┌─multiMatchAny('abcd', ['ab', 'bcd', 'c', 'd'])─┐
│ 1 │
└────────────────────────────────────────────────────┘Запрос:
SELECT multiMatchAny('abcd', ['ab','bcd','c','d']) SETTINGS max_hyperscan_regexp_length = 2;Результат:
Exception: Regexp length too large.См. также:
Задает максимальную общую длину всех регулярных выражений в каждой hyperscan-функции поиска множественных совпадений в строке.
Возможные значения:
Значение по умолчанию: 0.
Пример:
Запрос:
SELECT multiMatchAny('abcd', ['a','b','c','d']) SETTINGS max_hyperscan_regexp_total_length = 5;Результат:
┌─multiMatchAny('abcd', ['a', 'b', 'c', 'd'])─┐
│ 1 │
└─────────────────────────────────────────────────┘Запрос:
SELECT multiMatchAny('abcd', ['ab','bc','c','d']) SETTINGS max_hyperscan_regexp_total_length = 5;Результат:
Exception: Total regexp lengths too large.См. также:
Включает и отключает поддержку позиционных аргументов для GROUP BY, LIMIT BY, ORDER BY.
Возможные значения:
Значение по умолчанию: 1.
Пример:
Запрос:
CREATE TABLE positional_arguments(one Int, two Int, three Int) ENGINE=Memory();
INSERT INTO positional_arguments VALUES (10, 20, 30), (20, 20, 10), (30, 10, 20);
SELECT * FROM positional_arguments ORDER BY 2,3;Результат:
┌─one─┬─two─┬─three─┐
│ 30 │ 10 │ 20 │
│ 20 │ 20 │ 10 │
│ 10 │ 20 │ 30 │
└─────┴──────┴───────┘Включает или отключает возвращение результатов типа:
Date32 с расширенным диапазоном (по сравнению с типом Date) для функций toStartOfYear, toStartOfISOYear, toStartOfQuarter, toStartOfMonth, toStartOfWeek, toMonday и toLastDayOfMonth.DateTime64 с расширенным диапазоном (по сравнению с типом DateTime) для функций toStartOfDay, toStartOfHour, toStartOfMinute, toStartOfFiveMinutes, toStartOfTenMinutes, toStartOfFifteenMinutes и timeSlot.Возможные значения:
Date или DateTime для всех типов аргументов.Date32 или DateTime64 для аргументов типа Date32 или DateTime64 и возвращают Date или DateTime в других случаях.Значение по умолчанию: 0.
Включает или отключает автоматическую оптимизацию PREWHERE в запросах SELECT.
Работает только с таблицами семейства *MergeTree.
Возможные значения:
PREWHERE отключена.PREWHERE включена.Значение по умолчанию: 1.
Включает или отключает автоматическую оптимизацию PREWHERE в запросах SELECT с модификатором FINAL.
Работает только с таблицами семейства *MergeTree.
Возможные значения:
PREWHERE в запросах SELECT с модификатором FINAL отключена.PREWHERE в запросах SELECT с модификатором FINAL включена.Значение по умолчанию: 0.
См. также:
Включает или отключает описание подстолбцов при выполнении запроса DESCRIBE. Настройка действует, например, на элементы Tuple или подстолбцы типов Map, Nullable или Array.
Возможные значения:
DESCRIBE.DESCRIBE.Значение по умолчанию: 0.
Пример:
Смотрите пример запроса DESCRIBE.
Включает или отключает асинхронные вставки. Работает только для вставок по протоколу HTTP. Обратите внимание, что при таких вставках дедупликация не производится.
Если включено, данные собираются в пачки перед вставкой в таблицу. Это позволяет производить мелкие и частые вставки в ClickHouse (до 15000 запросов в секунду) без промежуточных таблиц.
Вставка данных происходит либо как только объем вставляемых данных превышает async_insert_max_data_size, либо через async_insert_busy_timeout_ms миллисекунд после первого запроса INSERT. Если в async_insert_stale_timeout_ms задано ненулевое значение, то данные вставляются через async_insert_stale_timeout_ms миллисекунд после последнего запроса.
Если включен параметр wait_for_async_insert, каждый клиент ждет, пока данные будут сброшены в таблицу. Иначе запрос будет обработан почти моментально, даже если данные еще не вставлены.
Возможные значения:
Значение по умолчанию: 0.
Максимальное число потоков для фоновой обработки и вставки данных.
Возможные значения:
Значение по умолчанию: 16.
Включает или отключает ожидание обработки асинхронных вставок. Если включено, клиент выведет OK только после того, как данные вставлены. Иначе будет выведен OK, даже если вставка не произошла.
Возможные значения:
OK даже если вставка данных еще не завершена.OK только после завершения вставки данных.Значение по умолчанию: 1.
Время ожидания в секундах, выделяемое для обработки асинхронной вставки.
Возможные значения:
Значение по умолчанию: lock_acquire_timeout.
Максимальный размер необработанных данных (в байтах), собранных за запрос, перед их вставкой.
Возможные значения:
Значение по умолчанию: 1000000.
Максимальное время ожидания в миллисекундах после первого запроса INSERT и перед вставкой данных.
Возможные значения:
Значение по умолчанию: 200.
Максимальное время ожидания в миллисекундах после последнего запроса INSERT и перед вставкой данных. Если установлено ненулевое значение, async_insert_busy_timeout_ms будет продлеваться с каждым запросом INSERT, пока не будет превышен async_insert_max_data_size.
Возможные значения:
Значение по умолчанию: 0.
Включает или отключает вывод информации о кусках, к которым были успешно применены операции манипуляции с партициями и кусками. Применимо к ATTACH PARTITION|PART и к FREEZE PARTITION
Возможные значения:
Значение по умолчанию: 0.
Пример:
CREATE TABLE test(a Int64, d Date, s String) ENGINE = MergeTree PARTITION BY toYYYYMM(d) ORDER BY a;
INSERT INTO test VALUES(1, '2021-01-01', '');
INSERT INTO test VALUES(1, '2021-01-01', '');
ALTER TABLE test DETACH PARTITION ID '202101';
ALTER TABLE test ATTACH PARTITION ID '202101' SETTINGS alter_partition_verbose_result = 1;
┌─command_type─────┬─partition_id─┬─part_name────┬─old_part_name─┐
│ ATTACH PARTITION │ 202101 │ 202101_7_7_0 │ 202101_5_5_0 │
│ ATTACH PARTITION │ 202101 │ 202101_8_8_0 │ 202101_6_6_0 │
└──────────────────┴──────────────┴──────────────┴───────────────┘
ALTER TABLE test FREEZE SETTINGS alter_partition_verbose_result = 1;
┌─command_type─┬─partition_id─┬─part_name─────┬─backup_name─┬─backup_path─────────────────────┬─part_backup_path────────────────────────────────────────────────┐
│ FREEZE ALL │ 202101 │ 202101_7_7_0 │ 8 │ /var/lib/clickhouse/shadow/8/ │ /var/lib/clickhouse/shadow/8/data/default/test/202101_7_7_0 │
│ FREEZE ALL │ 202101 │ 202101_8_8_0 │ 8 │ /var/lib/clickhouse/shadow/8/ │ /var/lib/clickhouse/shadow/8/data/default/test/202101_8_8_0 │
└───────────────┴────────────────┴───────────────┴──────────────┴──────────────────────────────────┴──────────────────────────────────────────────────────────────────┘Определяет, как сопоставить тип данных ClickHouse Enum и тип данных Enum формата CapnProto из схемы.
Возможные значения:
'by_values' — значения в перечислениях должны быть одинаковыми, а имена могут быть разными.'by_names' — имена в перечислениях должны быть одинаковыми, а значения могут быть разными.'by_name_case_insensitive' — имена в перечислениях должны быть одинаковыми без учета регистра, а значения могут быть разными.Значение по умолчанию: 'by_values'.
Это экспериментальная настройка. Устанавливает минимальный объем памяти для чтения больших файлов без копирования данных из ядра в пространство пользователей. Рекомендуемый лимит составляет около 64 MB, поскольку mmap/munmap работает медленно. Это имеет смысл только для больших файлов и помогает только в том случае, если данные находятся в кеше страниц.
Возможные значения:
Значение по умолчанию: 0.
Устанавливает правило экранирования данных формата CustomSeparated.
Возможные значения:
'Escaped' — как в формате TSV.'Quoted' — как в формате Values.'CSV' — как в формате CSV.'JSON' — как в формате JSONEachRow.'XML' — как в формате XML.'Raw' — данные импортируются как есть, без экранирования, как в формате TSVRaw.Значение по умолчанию: 'Escaped'.
Задает символ, который интерпретируется как разделитель между полями данных формата CustomSeparated.
Значение по умолчанию: '\t'.
Задает символ, который интерпретируется как разделитель перед полем первого столбца данных формата CustomSeparated.
Значение по умолчанию: ''.
Задает символ, который интерпретируется как разделитель после поля последнего столбца данных формата CustomSeparated.
Значение по умолчанию: '\n'.
Задает символ, который интерпретируется как разделитель между строками данных формата CustomSeparated.
Значение по умолчанию: ''.
Задает символ, который интерпретируется как префикс перед результирующим набором данных формата CustomSeparated.
Значение по умолчанию: ''.
Задает символ, который интерпретируется как суффикс после результирующего набора данных формата CustomSeparated.
Значение по умолчанию: ''.
Если установлено значение true и пользователь хочет прервать запрос (например, с помощью Ctrl+C на клиенте), то запрос продолжает выполнение только для данных, которые уже были считаны из таблицы. После этого он вернет частичный результат запроса для той части таблицы, которая была прочитана. Чтобы полностью остановить выполнение запроса без частичного результата, пользователь должен отправить 2 запроса отмены.
Пример с выключенной настройкой при нажатии Ctrl+C
SELECT sum(number) FROM numbers(10000000000)
Cancelling query.
Ok.
Query was cancelled.
0 rows in set. Elapsed: 1.334 sec. Processed 52.65 million rows, 421.23 MB (39.48 million rows/s., 315.85 MB/s.)Пример с включенной настройкой при нажатии Ctrl+C
SELECT sum(number) FROM numbers(10000000000) SETTINGS partial_result_on_first_cancel=true
┌──────sum(number)──┐
│ 1355411451286266 │
└────────────────────┘
1 row in set. Elapsed: 1.331 sec. Processed 52.13 million rows, 417.05 MB (39.17 million rows/s., 313.33 MB/s.)Возможные значения:: true, false
Значение по умолчанию: false
Включает или отключает вставку значений по умолчанию вместо NULL в столбцы, которые не позволяют хранить NULL. Если столбец не позволяет хранить NULL и эта настройка отключена, то вставка NULL приведет к возникновению исключения. Если столбец позволяет хранить NULL, то значения NULL вставляются независимо от этой настройки.
Эта настройка используется для запросов INSERT ... SELECT. При этом подзапросы SELECT могут объединяться с помощью UNION ALL.
Возможные значения:
NULL в столбец, не позволяющий хранить NULL, приведет к возникновению исключения.NULL вставляется значение столбца по умолчанию.Значение по умолчанию: 1.
Для формата CSV включает или выключает парсинг неэкранированной строки NULL как литерала (синоним для \N)
Включает или отключает возможность вставки данных в колонки типа Nested в виде массива структур в формате ввода Parquet.
Возможные значения:
Nested в виде массива структур.Nested в виде массива структур.Значение по умолчанию: 0.
Включает или отключает возможность вставки данных в колонки типа Nested в виде массива структур в формате ввода Arrow.
Возможные значения:
Nested в виде массива структур.Nested в виде массива структур.Значение по умолчанию: 0.
Включает или отключает возможность вставки данных в колонки типа Nested в виде массива структур в формате ввода ORC.
Возможные значения:
Nested в виде массива структур.Nested в виде массива структур.Значение по умолчанию: 0.
Включает или отключает оптимизацию путем преобразования некоторых функций к чтению подстолбцов, таким образом уменьшая объем данных для чтения.
Могут быть преобразованы следующие функции:
Возможные значения:
Значение по умолчанию: 0.