Что нового в конвертере QvDB-Qlever: скорость, работа с большими QVD-файлами, загрузка в ClickHouse

В Qlik Sense или QlikView используются файлы собственного формата .qvd, которые хранят в себе исторические данные, важные в дальнейшем для глубокого анализа. Воссоздать реляционную таблицу на основе этих файлов стандартными методами невозможно.

Для решения проблемы переноса QVD-файлов команда Qlever Solutions разработала конвертер QvDB-Qlever. Конвертер переводит файлы из формата .qvd в данные для СУБД, позволяя использовать их вне приложений Qlik и ускорить процесс миграции на новое ПО.

***

Первая версия конвертера зарекомендовала себя на проектах Qlever. Например, для одного из наших заказчиков, крупной ритейл сети, конвертер использовался при построении корпоративного хранилища данных (DWH).

Благодаря конвертеру удалось сократить время проекта на 3 месяца от изначального плана и обогатить DWH историческими данными для возможностей глубокой аналитики.

***

Мы решили не останавливаться на достигнутом и усовершенствовали наш конвертер для еще большей производительности и скорости работы с большими объемами данных.

Что добавили в новую версию QvDB-Qlever:

- Добавили возможность загрузки файлов в ClickHouse – самую часто используемую колоночную СУБД для выполнения аналитических запросов

- Убрали ограничение на загрузку больших файлов и увеличили скорость выгрузки в СУБД – чтобы любые объемы QVD-файлов конвертировались легко и быстро

- Настроили корректное извлечение из файлов разных типов данных (дата, число, строка, время), и ни одна деталь теперь не будет упущена при построении отчетности на их основе

- Снизили потребление оперативной памяти - требуется не более 4 ГБ

- Улучшили CLI-интерфейс продукта для максимальной простоты и удобства использования конвертера

Конвертер QVD-файлов поддерживает

ОС:

• Astra Linux Сommon Edition версия 2.12 и выше
• Astra Linux Special Edition x.7
• Альт Рабочая станция версии 9 и выше
• Альт Сервер версии 9 и выше
• РЕД ОС 7.2 и выше
• Ubuntu версия 20.04 LTS и выше
• CentOS версии 7.9 и выше
• AlmaLinux версии 8.5 и выше
• Debian версии 9.4 и выше
• FreeBSD версии 12.4 и выше

СУБД:

• PostgreSQL версии 11 и выше
• Postgres Pro Standard версии 11 и выше
• Postgres Pro Enterprise версии 11 и выше
• ClickHouse версии 22.12 и выше

***

Преимущества конвертера QvDB-Qlever:

- Подходит для импортозамещения

Входит в реестр российского ПО на основании поручения Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации от 05.09.2023

- Безопасен

Не имеет подключения к внешней сети интернет, не собирает данные с сервера пользователя и работает только в ручном режиме

- Прост в использовании

Пользователь вводит команду с аргументами нужного формата, настроенного под конкретное ПО, используя интерфейс одного окна. На базе этих аргументов QvDB–Qlever осуществляет конвертацию и выгрузку данных в СУБД.