Проект «Неофлекс» и «Национального Клирингового Центра» получил признание ИТ-директоров России

Проект был признан лучшим решением в предметной области в номинации Big Data. Выбор победителя происходил путем открытого голосования среди ИТ-директоров – участников сообщества.

«Национальный Клиринговый Центр» выполняет функции клиринговой организации и центрального контрагента на рынках «Московской Биржи». Его основная задача — поддержка стабильности на обслуживаемых сегментах финансового рынка за счет высокоэффективной и отвечающей международным стандартам системы управления рисками.

В результате выполненного проекта НКЦ получил эффективное решение для формирования обязательной банковской и налоговой отчетности, а также готовое хранилище данных в концепции Data Lake с финансовой информацией, которое может использоваться для развития аналитики.

Процесс подготовки отчетности в НКЦ сократился не менее чем в 3 раза. Сейчас быстродействие системы составляет порядка 120 минут для расчета сложных взаимосвязанных форм на объемах около 60 млн проводок в день. Формирование ежедневного пакета отчетов выполняется за 10–15 минут вместо одного часа. А базирующаяся на технологиях Hadoop, система Neoflex Reporting Big Data Edition может легко и без особых финансовых затрат со стороны заказчика масштабироваться при необходимости в будущем.

Высокая скорость работы автоматизированной системы подготовки отчетности обеспечивается использованием принципиально новых для данного класса задач технологий и инструментов. Для хранения данных используется HDFS (Hadoop), а для обработки — платформа Spark, поддерживающая распределенные in-memory вычисления. Возможности Hadoop и Spark по параллельной обработке данных обеспечивают высокую надежность и отказоустойчивость системы, при этом позволяют снизить затраты на серверное оборудование и программное обеспечение.