Хранение архивной статистики или холодные хранилища

• Общая концепция хранения данных
• Условия, при которых происходит охлаждение статистики
• Как выгрузить архивную статистику из холодного хранилища

Общая концепция хранения данных

В системе используется многоуровневая модель хранения статистики:

Горячее хранилище - основное хранилище данных, в котором находится актуальная статистика - текущие результаты пользователей, доступные для стандартной выгрузки в разделе Статистика административной панели.

Холодное хранилище - дополнительное хранилище данных, где хранится информация о неактуальной (удаленной, измененной, архивной) статистике.

Охлаждённое хранилище — это временная зона ожидания между горячим и холодным хранилищем. В него автоматически попадает статистика, которая перестала быть актуальной.

Пока данные находятся в охлаждённом хранилище:

• они уже удалены из актуальной статистики;
• но ещё не доступны для выгрузки в административной панели (можно будет выгрузить после попадания в холодное хранилище).

Что такое охлаждение данных

Охлаждение данных - процесс переноса данных из горячего в холодное хранилище. При изменении материала/программы/траектории существующая статистика по нему устаревает и начинается процесс охлаждения (архивации).

При изменении материала/программы/траектории существующая статистика по нему устаревает и начинается процесс её охлаждения (архивации).

По умолчанию в системе используется только горячее хранилище, в котором хранится вся актуальная статистика и доступна стандартная выгрузка данных.

Охлаждённое и холодное хранилища используются только при дополнительном подключении функционала холодных хранилищ.

Если холодные хранилища не включены:

• в разделе Статистика отображается информация на текущий момент, при изменении данных она не архивируется;
• исторические данные не сохраняются автоматически - при необходимости администратор может вручную формировать выгрузки из административной панели с определенной периодичностью.

Условия, при которых происходит охлаждение статистики

Траектория обучения

Охлаждение происходит при следующих действиях:

• добавление или удаление программы обучения в траектории;
• скрытие или активация программы, входящей в траекторию;
• сброс статистики по траектории;
• удаление траектории (выгрузка такой статистики будет реализована в следующих обновлениях).

Программа обучения

Охлаждение статистики запускается, если:

• изменён состав материалов в программе;
• изменены флаги обязательности материалов в программе;
• выполнен сброс статистики по программе;
• удалена программа. Если удаляемая программа находится в траектории, охлаждение статистики происходит и для траектории (выгрузка такой статистики будет реализована в следующих обновлениях).

Материалы типа Тест

Статистика охлаждается при следующих изменениях:

• изменение порога прохождения;
• изменение количества вопросов;
• изменение количества вопросов в случайной выборке;
• изменение количества баллов за вопрос;
• изменение типа вопроса;
• изменение количества вариантов ответа;
• сброс статистики по материалу типа Тест;
• удаление материала типа Тест (выгрузка такой статистики будет реализована в следующих обновлениях).

Что происходит после запуска процесса охлаждения статистики

Если было выполнено одно из условий выше, то статистика охлаждается (удаляется из актуальной выгрузки в админ панели по материалу/программе/траектории), а затем отправляется в холодное хранилище.

Выгрузить архивную статистику может только администратор с полными правами (Main administrator). Администраторы с ограниченной ролью видят заглушку, что есть холодная статистика, обратитесь к main администратору.

Минимальный срок переноса данных в холодное хранилище 1 день (для появления кнопки выгрузки экспорта архивной статистики в административной панели по изменившимся данным). Таким образом, после действий администратора статистика по данному материалу/программе/траектории отобразится в экспорте заархивированной статистики, не ранее чем через сутки.

Статистические данные по умолчанию хранятся в холодном хранилище 1 год. Через 1 год и 1 день статистика будет перезаписывать устаревшие данные. Если у вас есть необходимость хранить данные в заархивированном виде свыше 1 года, то согласуйте больший период с вашим менеджером.

Как выгрузить архивную статистику из холодного хранилища

Чтобы выгрузить архивную статистику из холодного хранилища, необходимо:

1. Перейти в раздел Статистика и выбрать нужный раздел (для выгрузки по материалу - Материалы, для выгрузки по программе - Обучение);
2. Выбрать материал/программу/траекторию (выгрузка по траектории из холодного хранилища появится в будущих обновлениях) чек-боксом;
3. Нажать Экспорт архивной статистики;
4. Нажать Экспорт.

При экспорте холодной статистики в файле выгрузки будет содержаться столбец Статистика по состоянию на, в котором будут зафиксированы даты, когда данные были загружены в холодное хранилище.

Пример охлаждения данных:

1. Администратор добавляет, удаляет или изменяет вопрос в тесте, который используется в программе обучения.
2. Если по данной программе обучения уже существует пользовательская статистика, выполняется охлаждение данных — актуальная статистика переносится в архив. Пока данные находятся в охлаждённом хранилище, их нельзя скачать из административной панели.
3. Через сутки после действий администратора архивная статистика переносится в холодное хранилище. После этого в административной панели появляется возможность экспортировать статистику — как по программе обучения целиком, так и по отдельному материалу.

Подключение данной опции необходимо согласовывать с вашим менеджером по сопровождению.

Если вам не хватило информации, то дайте, пожалуйста, обратную связь по ссылке: Предложения по улучшению статей.

За обновлениями вы можете следить в нашем блоге