Платформа Monopoly.Online перенесла «озеро данных» в Yandex Cloud с помощью BI.Qube

Monopoly.Online создала несколько сервисов, которые помогают транспортным компаниям искать и размещать грузы на платформе, автоматизировать работу автозаправочных станций, организовать грузоперевозки и упростить работу дальнобойщиков. Все эти сервисы генерируют разнородные данные, которые обрабатываются и хранятся с помощью сервисов платформы данных Yandex Cloud.

Ключевой целью проекта было локализовать «озеро данных» компании. Кроме того, компания стремилась улучшить качество аналитики и отчетности, а также повысить эффективность и безопасность обработки больших объемов транзакционных данных, связанных с логистической деятельностью.

Monopoly.Online выбрала платформу данных Yandex Cloud, которая предоставляет экосистему сервисов от сбора и хранения до анализа и визуализации данных. Сервисы функционируют на базе Open source и легко интегрируются друг с другом.

Платформа Yandex Cloud, на которую мигрировала Monopoly.Online, содержит компоненты Open source, предоставляемые в виде управляемых сервисов. Такой подход дает возможность быстро разворачивать и гибко конфигурировать инфраструктуру, управлять производительностью и стоимостью использования в соответствии со справедливой и удобной моделью учёта PAYG (оплата по мере использования).

«Понравился инструментарий BI.Qube и экспертиза команды разработчиков, подход к выбору и внедрению архитектурного решения. Платформа данных Yandex Cloud позволяет быстро тестировать новые концепции и легко масштабировать полученные решения. Мы получили возможность развития с использованием сервисов машинного обучения Yandex Cloud», - комментирует Дмитрий Власкин, руководитель направления аналитики данных Monopoly.Online.

Проект миграции данных был выполнен за четыре месяца с использованием BI.Qube. BI.Qube включает в себя отраслевые модели, инструменты построения модели данных в концепции no-code/low-code и алгоритмы на платформе Yandex Cloud. Инструменты обеспечивают автоматическую миграцию на платформы и технологии open source с поддержкой высокоскоростного извлечения больших объемов данных из распределённых источников любых типов: SQL Server, PostgreSQL, MySQL, REST API, Excel, CSV, Google BigQuery, Kafka.

«Мы рады, что наши продукты платформы BI.Qube помогли Monopoly.Online быстро организовать работу с данными на российском программном обеспечении. Это был интересный и непростой с технической точки зрения проект, который потребовал применения гибких подходов к разработке и нетривиальных решений. Мы имели дело с большим количеством разнородных источников, сложной логикой обработки данных и высокими требованиями к контролю их качества. Не скрою, что это был наш первый проект такого масштаба, и мы успешно справились благодаря команде специалистов, обладающих межплатформенной экспертизой и опытом построения аналитических хранилищ в соответствии с современными методологиями Data Vault, DevOps и Agile», – сказал директор по развитию BI.Qube Дмитрий Поликовский.

Общий объем перенесенных в облако данных составил 4 ТБ, количество разнородных источников более 10, количество объектов с данными более 300. Проект был реализован в соответствии с методологией Agile и принципами DevOps, что обеспечило высокую скорость разработки и качество решения. На новый стек технологий перенесена вся основная загрузка и функциональность решения, также организован непрерывный поток для оперативной доставки актуальных данных в многочисленные витрины.

«Транспортные и логистические компании обрабатывают в реальном времени большое количество данных из разрозненных сервисов – например, для поиска и размещения грузов, автоматизации работы АЗС и придорожных сервисов, отслеживания передвижения транспорта. Все эти системы генерируют данные, при работе с которыми при этом важно учитывать временные метки. Для того, чтобы эффективно работать с этой информацией и строить аналитику, хорошо подходят облачные технологии, одно из преимуществ которых – возможность быстрого масштабирования. Управляемые сервисы позволяют фокусироваться на работе с данными, а не на обслуживании инфраструктуры. Опыт проектов, подобных Monopoly.Online, может быть полезен для других представителей индустрии, которые изучают возможности для эффективной организации озера данных», - комментирует Александр Черников, коммерческий директор Yandex Cloud.