В платформе Informatica появились новые функции – Catalog of Catalogs и Informatica Data Marketplace

Первый в своём роде Catalog of Catalogs с ИИ обеспечивает учёт всех метаданных и выстраивание взаимосвязей (data lineage, линеджей данных) для всех данных компании и всех сценариев их использования. Это помогает получить более полное понимание корпоративной информации во всех экосистемах организации. Data Marketplace позволяет бизнес-пользователям из единой панели управления искать, просматривать данные, делать запросы к ним, получать доступ к надёжным корпоративным сведениям.

«Новые функции расширяют возможности использования Informatica Enterprise Data Catalog и Informatica Axon Data Governance. Catalog of Catalogs позволит работать с метаданными всех каталогов, которые установлены в компании. Data Marketplace станет отдельной удобной средой для использования данных не ИТ-специалистами», – рассказал Павел Лихницкий, генеральный директор DIS Group.

Кроме того, в Informatica Intelligent Data Platform был проведён целый ряд улучшений, которые помогут компаниям эффективнее каталогизировать данные, управлять ими и защищать их, использовать продвинутую аналитику и лучше понимать своих клиентов. Также был усилен функционал работы с данными в облачных и гибридных средах.

Среди нововведений в области каталогизации данных – улучшенные подключения для сбора метаданных из BI-решений (например, Qlik Sense, Microsoft PowerBI), баз данных и хранилищ (например, SAP BW, SAP BW/4HANA, Snowflake и Cassandra), облачных платформ (например, Google Cloud Storage), ETL-инструментов и каталогов метаданных (например, AWS Glue). Также в платформу добавлен единственный в своём роде каталог правил обеспечения качества данных и возможность мониторинга этого качества. Кроме того, был добавлен инструмент Data Provisioning, который позволяет data scientists и пользователям BI-решений самостоятельно перемещать данные в единую среду для отдельного использования. Стало доступно профилирование данных с помощью Spark. Оно позволило в 3-5 раз повысить производительность обработки данных в среде Hadoop и обеспечить масштабируемость до миллиардов строк. Улучшено построение линеджей (взаимосвязей) метаданных из инструментов интеграции, BI-решений и других каталогов данных. Многоуровневый просмотр линеджей позволяет пользователям видеть взаимосвязи между данными на уровне и систем, и отдельных полей. Появилась возможность экспорта данных из каталога и обмена метаданными в нём. С помощью искусственного интеллекта CLAIRE и машинного обучения теперь можно определять и находить сложные бизнес-сущности, выявлять ключевые отношения в наборах данных.

В области управления данными и их защиты также был сделан ряд улучшений. Первый в мире супермаркет данных Data Marketplace использует лучшие в своём роде инструменты для обеспечения качества данных, управления метаданными, защиты данных, выстраивает сквозные линеджи. ИИ автоматизирует каталогизацию и классификацию данных из всех источников, ведёт их учёт в едином пространстве с возможностью полностью просмотреть бизнес-семантику и линеджи данных. Стала прозрачнее информация о качестве данных, их источниках, их конфиденциальности, статуса защиты и доступа к ним, а также – о политиках , которые определяют их использование. При этом владелец данных теперь может заранее согласовывать возможность доступа к данным. Категоризация сведений позволяет легко находить и просматривать детали для более простого доступа к управляемым данным. Нововведения обеспечат квалификационный отбор приоритетных активов данных. Это поможет повысить продуктивность работы ИТ-службы и её соответствие требованиям бизнеса. При этом улучшится качество данных и политики конфиденциальности данных.

Изменения в платформе Informatica коснулись и аналитики нового поколения. Новая линейка Informatica Data Engineering (ранее Big Data) поможет эффективнее реализовывать инициативы в области продвинутой аналитики и data science. В частности, теперь поддерживается последняя версия Spark в облачных аналитических системах Databricks, AWS и Microsoft Azure. Кроме того, стали доступны рекомендации на основе искусственного интеллекта для конвейеров инжиниринга данных, а также – для категоризации, построения линеджей данных и подготовке данных. Также внедрены нововведения, которые поддерживают продвинутые сценарии использования инжиниринга данных. Среди этих сценариев – применение блокчейна для приложений в финансовой сфере, сферах безопасности и здравоохранения. Также теперь стала доступна продвинутая поддержка реестра Confluent Schema. Были трансформированы конвейеры потоковых данных, в частности, в области обеспечения качества и поиска структуры данных с помощью искусственного интеллекта CLAIRE.

Значительно были улучшены и решения для работы с клиентскими данными. Появилась возможность искать разные варианты записей об одной и той же сущности, сравнивать их, валидировать с использованием искусственного интеллекта. Теперь записи более эффективно автоматически сопоставляются, очищаются, обогащаются с помощью ИИ, который принимает во внимание их контекст. Это помогает упростить использование данных для лучшего понимания компанией своих клиентов, повышения качества клиентского опыта. Технология «нечёткой логики» SSA-Name3 для поиска разных вариантов записей об одной сущности и для сведения этих вариантов в одну «золотую» запись теперь имеет возможность верификации адреса. Это позволяет автоматизировать отслеживание данных, их очистку, стандартизацию, обеспечивает более лёгкий поиск информации, повышает её надёжность. Для большей продуктивности маркетинговых инициатив были улучшены дашборды. Они стали гибче и дают возможность самостоятельной работы бизнес-пользователей при персонализации предложения, мониторинге и подготовке отчётности. Это обеспечивается за счёт новых функциональных возможностей для создания клиентских сегментов и управления ими.