КЛАСТЕР

В режиме кластера Сфера MDX сервер распределяет данные куба по узлам и выполняет запрос на всех узлах параллельно

Массово-параллельная архитектура

MPP (Massively Parallel Processing) — архитектура, в которой данные распределены между независимыми узлами (шардами), а каждый узел обрабатывает свою часть данных одновременно с остальными. Частичные результаты затем объединяются в общий ответ.

Для OLAP-кубов это существенно: аналитический запрос агрегирует очень большое число строк фактов. На одном сервере время ответа и объём данных ограничены его ресурсами, а в MPP-кластере нагрузка делится между узлами.

Распределение данных

Данные куба разделены по узлам, каждый узел хранит свою часть.

Параллельное выполнение

Запрос выполняется на всех узлах одновременно, результаты объединяются.

Масштабирование

Объём данных и производительность наращиваются добавлением узлов, а не увеличением производительности одного сервера.

Архитектура кластера

Кластерный режим рассчитан на встроенное MPP-хранилище MDWH Storage либо оригинальный сервер ClickHouse. Клиенты работают с сервером так же, как и без кластера: распределение запроса по узлам и сбор результата выполняет MPP-хранилище.

Клиенты

Microsoft ExcelВеб-приложениеДесктоп-приложениеАдминистративный порталИИ-агенты (MCP)

gRPC и MCP

Сервер

Сфера MDX сервер

Роли и права доступаПолитики строк (RLS)Трансляция MDX в SQL

SQL

ХД в режиме кластера

Распределённая таблица куба

Distributed: точка входа запроса, распределение по шардам и сбор результата

Шард 1

Локальная таблица куба

Измерения (реплика)

Шард 2

Локальная таблица куба

Измерения (реплика)

Шард N

Локальная таблица куба

Измерения (реплика)

Координатор репликации и выполнения DDL-операций

Принципы построения

1
Куб — распределённая таблица
Сфера выбирает данные из распределённой таблицы, а ХД раскладывает запрос по шардам и собирает результат. Данные распределяются между шардами по ключу шардирования, который задаётся при построении куба, например случайному для равномерной загрузки.
2
Измерения реплицируются
Справочники измерений хранятся на всех узлах (ReplicatedMergeTree). Поэтому каждый шард выполняет свою часть запроса, не обращаясь к другим узлам.
3
Одна аналитическая таблица
Исходные данные куба загружаются в одну таблицу на узле-инициаторе (узел «Аналитическая таблица»), а куб строится из неё записью сразу в распределённую таблицу (узел «Создать куб»). Эта аналитическая таблица может использоваться как табличное хранилище для других систем Сферы либо автоматически удаляться, чтобы избежать дублирования данных.
4
Единые права на всех узлах
Роли, разрешения и политики строк создаются на каждом узле кластера. На шардах запрос выполняется от имени того же пользователя, поэтому ограничения строк действуют и там.
5
Администрирование
Административный портал показывает состав кластера, узлы и их роль, а для каждого распределённого куба — распределение данных по шардам. Шард без данных помечается как аварийный.

Режимы работы и ограничения

Работа без кластера

Если кластер не настроен, Сфера MDX сервер работает с одним сервером ClickHouse или с другой базой данных, с обычными таблицами куба и без распределённых таблиц. Все возможности сервера доступны и в этом режиме.

Смешанный режим

Если кластер в ХД настроен, но режим MPP нужен не для всех кубов, Сфера MDX сервер работает в смешанном режиме: в кластере можно создавать нераспределённые кубы. Такой куб создаётся на узле-инициаторе.

Недоступность шарда

Если один из шардов недоступен, запрос к распределённому кубу завершается ошибкой, а не возвращает неполный итог. Так сделано намеренно, чтобы не выдавать неверные цифры. Административный портал показывает, на каком шарде нет данных.

Ключ шардирования

Для распределённого куба ключ шардирования обязателен. Изменить его у готового куба без перераспределения данных нельзя, поэтому ключ выбирается при проектировании куба.

Права на построение куба

Для построения куба в кластере пользователю необходимы права на уровне кластера.

Свяжитесь с нами

Стоимость программного обеспечения рассчитывается индивидуально. По вопросам приобретения Сфера MDX сервер обращайтесь по электронной почте или просто позвоните.

Написать Позвонить