Вышла новая версия Arenadata Hadoop с обновлёнными компонентами Hbase, Flink и Zookeeper

Arenadata Hadoop 2.1.7_b1 включил следующие улучшения и новый функционал:

• возможность установить версию сервиса Flink 1.15.1, а также «по кнопке» обновиться с предыдущей версии. Пользователи смогут воспользоваться функционалом новой версии и исправить проблемы предыдущей;
• возможность установить новую версию сервиса Hbase 2.0.4 и «по кнопке» обновиться с предыдущей версии, исправив проблемы старой версии;
• возможность установить новую версию сервиса Zookeeper 3.5.10, а также «по кнопке» обновиться с предыдущей версии. Новая версия позволит исправить проблемы предыдущей;
• возможность установить новый компонент сервиса Spark3 — Livy 0.7.1 c поддержкой Spark 3.3.0 на Scala 2.13 в качестве отдельного компонента параллельно Livy для Spark версии 2.3.2. В компонент добавлена возможность поддержки Spark 3.3.0 и Scala 2.13;
• новый сервис Airflow версии 2.3.3. Он устанавливается параллельно Airflow версии 1.10.11. Это даёт возможность перенести настройки и задания с предыдущей версии;
• поддержка кастомизации krb5.conf и ldap.conf через интерфейс Arenadata Cluster Manager (ADCM). Это даёт возможность пользователю самостоятельно средствами ADCM изменить содержимое конфигурационных файлов krb5.conf и ldap.conf. Этот функционал позволит настраивать более сложные и тонкие конфигурации керберизации и авторизации в зависимости от сложности инфраструктуры;
• добавлена возможность принудительно отключить политики доступа HDFS ACL, если включен плагин Ranger. Это позволит использовать единую «точку правды» для организации доступа пользователей.

«Arenadata стремится предоставить заказчикам возможность получать последние версии компонентов Hadoop. Для нас важно, чтобы у пользователей была возможность обновить их автоматически „по кнопке“». Кроме того, наши специалисты, работая над новыми версиями Arenadata Hadoop, заботятся о том, чтобы продукт был безопасен, а его компоненты совместимы друг с другом и стабильно работали в рамках всей платформы», — рассказал Александр Большаков, директор по продуктам Arenadata.

В краткосрочных планах развития Arenadata Hadoop — обновление Hive до версии 3.1.3, сделать это можно будет «по кнопке». В течение 2023 года в roadmap Arenadata Hadoop будут включены поддержка отечественной ОС Astra Linux, расширение возможностей отказоустойчивости компонентов и обновление их версий. ADH станет стабильнее и безопаснее, в upstream-версии будут устранены ошибки и уязвимости информационной безопасности. Также специалисты Arenadata планируют переработать и дополнить документацию Arenadata Hadoop.

Напомним, что дистрибутив Arenadata Hadoop на базе Apache Hadoop адаптирован для корпоративного использования и предназначен для хранения и обработки слабоструктурированных и неструктурированных данных.