EMC Data Lake 2.0 — осознанный переход к аналитике больших данных и цифровой экономике

Согласно исследованию, корпорации EMC, 99% мировых данных не проанализировано и являются сырыми данными. В большинстве случаев этот огромный пласт информации становится «теневым»: данные складируются, архивируются или просто уничтожаются. Без нового подхода к сбору, хранению и обработке этих данных они не станут топливом для цифровой экономики.

Цифровая экономика — драйвер развития современного общества – полностью основана на данных. По разным оценкам, цифровая экономика составляет от 3 до 16% ВВП стран большой двадцатки. При этом ее вес в росте ВВП может доходить до 21%. По оценке РАЭК, объем цифровой экономики в РФ составляет 1 трлн. рублей — около 1,5% от ВВП. У РФ есть огромный потенциал роста цифровой экономики, даже при достижении среднего показателя G20 в 3.4% — это более чем 2х-кратный рост.

Цифровая экономика уже сейчас генерирует новые идеи в бизнесе. Достаточно посмотреть на верхнюю десятку всем известных компаний-eдинорогов — Airbnb, Uber и.т.д. Их фантастический рост заключается в умении трансформировать накопленные данные в прибыль. Постепенно цифровая экономика охватывает все новые отрасли: промышленность, транспорт, науку, что существенно увеличивает эффект роста ВВП.

Цифровая экономика позволяет существенно поднять производительность труда - за счет новых подходов в работе персонала и мобильных приложений и уменьшить расходы благодаря сбору и анализу информации, в том числе анализа с предсказанием.

Большая часть генерируемых мировым сообществом данных является неструктурированными. Их рост составит 133 Экзабайта к 2017 году, то есть почти вдвое превысит объем данных в 2015 году. Это происходит за счет стремительного расширения источников данных: всевозрастающего проникновения интернета вещей, мобильных устройств, социальных сетей, датчиков, систем видеонаблюдения, а также ресурсоемких научных исследований.

Рост данных, множественность подходов к их обработке требуют новой архитектуры хранения, которая позволит аккумулировать разрозненные данные в едином репозитории и предоставлять доступ к различным способам обработки данных прозрачно и без дополнительных затрат. Такая концепция получила название Озера данных 2.0 (Data Lake 2.0). Идея Озера данных заключается в том, что у компаний появляется единое информационное пространство (озеро), в котором хранятся все данные компании, которые используются для различных бизнес-приложений. Data Lake 2.0 призвана стать универсальным инструментом для хранения и последующей аналитики собранной информации.

Озеро данных является органичным средством перехода от классического ИТ к цифровому бизнесу, полностью вовлеченному в цифровую экономику будущего. Озеро данных позволяет компаниям и государственным органам прозрачно использовать как текущие приложения, так и новейшие платформы обработки данных.

Концепция озера данных 2.0 позволяет решить основные сложности, при переходе к цифровому бизнесу :безопасность, защита и управление данными (48%), возможность сбора данных из разных источников (47%), интеграция платформы хранения и обработки данных в существующую инфраструктуру (37%), нехватка знаний и умений обслуживающего персонала (31%), сама инфраструктура и архитектура для аналитики данных (22%) (исследование Gartner).

В ноябре 2015 года корпорация EMC представила новое поколение своей флагманской платформы EMC Isilon, являющейся фундаментом Озера Данных 2.0. Основными отличием новой платформы стало расширение Озера Данных за пределы ЦОД заказчиков – теперь озеро данных включает в себя и данные филиалов (удаленных офисов) и данные находящиеся в облаке.

Платформа EMC ISILON является лидирующим решением на рынке горизонтально-масштабируемых систем ) и имеет более 7 000 заказчиков по всему миру. EMC ISILON — это первая платформа сочетающая в себе весь функционал озера данных с функционалом корпоративных СХД и имеющая интегрированную поддержку HDFS (интегрированный в операционную систему уровень хранения HADOOP).