NVIDIA EGX Edge AI для ИИ в реальном времени на граничных устройствах

NVIDIA сегодня представила два новых продукта для платформы EGX Edge AI — конвергентный ускоритель EGX A100 для крупных коммерческих готовых к использованию серверов и крошечный EGX Jetson Xavier NX для граничных (edge) микросерверов, призванных обеспечить высокую скорость обработки ИИ-данных на периферии инфраструктуры.

Благодаря платформе NVIDIA EGXTM Edge AI  больницы, магазины, фермы и заводы могут выполнять в реальном времени обработку огромных массивов данных, поступающих с триллионов датчиков, с полной их защитой. Платформа позволяет разворачивать, управлять и обновлять парки серверов удаленно.

Конвергентный ускоритель EGX A100 и микросервер EGX Jetson Xavier NX удовлетворяют широкому спектру требований по размерам, стоимости и производительности. Так, серверы на базе EGX A100 могут управлять сотнями камер в аэропортах, в то время как EGX Jetson Xavier NX подойдет для управления несколькими камерами в небольших магазинах. Нативная облачная поддержка всех продуктов линейки EGX обеспечивает возможность использования единого оптимизированного ПО, позволяя быстро создавать и внедрять ИИ-приложения.

«Сочетание интернета вещей и ИИ позволяет наделять интеллектом, без преувеличения, любое устройство, - говорит Дженсен Хуанг (Jensen Huang), учредитель и генеральный директор NVIDIA. - Крупные индустрии теперь могут выпускать умные подключенные продукты, как это происходит со смартфонами в телекоммуникациях. Платформа NVIDIA EGX Edge AI превращает стандартный сервер в небольшой защищенный облачный дата-центр с поддержкой ИИ.  С помощью ИИ-фреймворков NVIDIA компании могут создавать различные ИИ-сервисы – от умной розницы и роботизированных заводов до автоматических колл-центров».

EGX A100 на базе архитектуры NVIDIA Ampere

EGX A100 – это первый edge продукт для ИИ на базе архитектуры NVIDIA Ampere. С распространением ИИ на периферийных устройствах компании могут устанавливать EGX A100 в свои серверы для обработки в реальном времени и защиты больших массивов данных, поступающих с граничных датчиков.

Это решение сочетает высокую скорость вычислений архитектуры NVIDIA Ampere с ускоренным интерфейсом и возможностями безопасности, обеспеченными NVIDIA Mellanox ConnectX-6 Dx SmartNIC,  чтобы превратить стандартные и специализированные edge серверы в защищенные облачные суперкомпьютеры для ИИ.

Архитектура NVIDIA Ampere — 8-я архитектура GPU NVIDIA — обеспечивает самый большой прирост производительности для широкого спектра ресурсоемких задач, включая ИИ-инференс и работу с 5G-приложениями на периферии. Это позволяет EGX A100 обрабатывать большие массивы данных в реальном времени, поступающие с камер и других IoT-датчиков для быстрого получения информации и повышения эффективности бизнеса.

«Данные, ИИ и умные облачные приложения кардинально меняют работу периферийных систем компаний во всех отраслях, -  говорит Крис Райт (Chris Wright), старший вице-президент и технический директор Red Hat. - Новые ускорители NVIDIA EGX A100 вместе с предустановленными драйверами для Red Hat Enterprise Linux и сертифицированными операторами для Red Hat Openshift упрощают размещение и управление аппаратным обеспечением и помогают клиентам решать самые сложные задачи ИИ, граничных устройств и 5G».

С сетевой картой NVIDIA Mellanox ConnectX-6 Dx система EGX A100 может получать до 200 Gbps данных и отправлять их прямо в память GPU для обработки ИИ или 5G сигналов. С управляемой по времени технологией передачи данных NVIDIA Mellanox для телекома (5T для 5G) облачный, программно определяемый ускоритель EGX A100 способен справляться с большинством задач 5G, чувствительных к задержкам. Это создает полноценную ИИ/5G платформу для принятия решений в реальном времени непосредственно в местах событий — магазинах, больницах и на производствах.

«Вместе с NVIDIA мы строим высокопроизводительную виртуализованную сеть радиодоступа 5G и ускоренную сеть 5G пакетной коммутации, - говорит Падип Коли (Pardeep Kohli), президент и генеральный директор Mavenir. - Это даст нам возможность предоставлять широкий круг GPU-ускоренных 5G сервисов - от ИИ и машинного обучения до дополненной и виртуальной реальности».

Маленький, но мощный EGX Jetson Xavier NX

EGX Jetson Xavier NX – это самый маленький, но очень мощный ИИ-суперкомпьютер для микросерверов и edge AIoT-устройств. Свыше 20 решений на нем уже доступно от партнеров компании. Вся мощь системы-на-чипе NVIDIA Xavier заключена в модуле размером с кредитную карту. EGX Jetson Xavier NX, оснащенный облачным программным стеком EGX, может быстро обрабатывать потоковые данные от многочисленных датчиков высокого разрешения.

Энергоэффективный модуль обладает производительностью до 21 TOPS при потреблении 15 Вт и 14 TOPS при 10 Вт. В результате, EGX Jetson Xavier NX открывает путь для встраиваемых устройств для граничных вычислений, которым требуется повышенная производительность для ИИ-задач для при сохранении компактных размеров, малого веса, лимита энергопотребления или стоимости.

«NVIDIA Jetson и NVIDIA EGX помогают преобразовывать розницу, ускоряя и делая безопаснее самообслуживание покупателей, - говорит Мэтт Скотт (Matt Scott), учредитель и генеральный директор Malong Technologies. - ИИ в нашей линейке продуктов RetailAI помогает точно распознавать сотни наименований продуктов в реальном времени, что делает шопинг легче и безопаснее. Такие системы можно развернуть в любом масштабе. Мы применяем решения NVIDIA, чтобы повысить удовлетворенность покупателей и компенсировать сокращение розницы, благодаря применению ИИ-решений на граничных устройствах».