Nvidia EGX (платформа для периферийных вычислений)

2020: Конвергентный ускоритель EGX A100 и микросервер EGX Jetson Xavier NX

14 мая 2020 года компания NVIDIA представила два продукта для платформы EGX Edge AI — конвергентный ускоритель EGX A100 для крупных коммерческих готовых к использованию серверов и крошечный EGX Jetson Xavier NX для граничных (edge) микросерверов, призванных обеспечить высокую скорость обработки ИИ-данных на периферии инфраструктуры. Благодаря платформе NVIDIA EGX Edge AI больницы, магазины, фермы и заводы могут выполнять в реальном времени обработку огромных массивов данных, поступающих с триллионов датчиков, с полной их защитой. Платформа позволяет разворачивать, управлять и обновлять парки серверов удаленно. По мнению производителя, конвергентный ускоритель EGX A100 и микросервер EGX Jetson Xavier NX удовлетворяют широкому спектру требований по размерам, стоимости и производительности. Так, серверы на базе EGX A100 могут управлять сотнями камер в аэропортах, в то время как EGX Jetson Xavier NX подойдет для управления несколькими камерами в небольших магазинах. Нативная облачная поддержка всех продуктов линейки EGX обеспечивает возможность использования единого оптимизированного ПО, позволяя быстро создавать и внедрять ИИ-приложения.

«Сочетание интернета вещей и ИИ позволяет наделять интеллектом, без преувеличения, любое устройство. Крупные индустрии могут выпускать умные подключенные продукты, как это происходит со смартфонами в телекоммуникациях. Платформа NVIDIA EGX Edge AI превращает стандартный сервер в небольшой защищенный облачный дата-центр с поддержкой ИИ. С помощью ИИ-фреймворков NVIDIA компании могут создавать различные ИИ-сервисы – от умной розницы и роботизированных заводов до автоматических колл-центров», отметил Дженсен Хуанг (Jensen Huang), учредитель и генеральный директор NVIDIA

Как отметили в NVIDIA, EGX A100 – это edge продукт для ИИ на базе архитектуры NVIDIA Ampere. С распространением ИИ на периферийных устройствах компании могут устанавливать EGX A100 в свои серверы для обработки в реальном времени и защиты больших массивов данных, поступающих с граничных датчиков. Это решение сочетает высокую скорость вычислений архитектуры NVIDIA Ampere с ускоренным интерфейсом и возможностями безопасности, обеспеченными NVIDIA Mellanox ConnectX-6 Dx SmartNIC, чтобы превратить стандартные и специализированные edge серверы в защищенные облачные суперкомпьютеры для ИИ. Архитектура NVIDIA Ampere — 8-я архитектура GPU NVIDIA — обеспечивает, по данным NVIDIA, самый большой прирост производительности для широкого спектра ресурсоемких задач, включая ИИ-инференс и работу с 5G-приложениями на периферии. Это позволяет EGX A100 обрабатывать большие массивы данных в реальном времени, поступающие с камер и других IoT-датчиков для быстрого получения информации и повышения эффективности бизнеса.

«Данные, ИИ и умные облачные приложения кардинально меняют работу периферийных систем компаний во всех отраслях. Ускорители NVIDIA EGX A100 вместе с предустановленными драйверами для Red Hat Enterprise Linux и сертифицированными операторами для Red Hat Openshift упрощают размещение и управление аппаратным обеспечением и помогают клиентам решать самые сложные задачи ИИ, граничных устройств и 5G», отметил Крис Райт (Chris Wright), старший вице-президент и технический директор Red Hat

Со слов разработчика, с сетевой картой NVIDIA Mellanox ConnectX-6 Dx система EGX A100 может получать до 200 Gbps данных и отправлять их прямо в память GPU для обработки ИИ или 5G сигналов. С управляемой по времени технологией передачи данных NVIDIA Mellanox для телекома (5T для 5G) облачный, программно-определяемый ускоритель EGX A100 способен справляться с большинством задач 5G, чувствительных к задержкам. Это создает полноценную ИИ/5G платформу для принятия решений в реальном времени непосредственно в местах событий — магазинах, больницах и на производствах.

«Вместе с NVIDIA мы строим высокопроизводительную виртуализованную сеть радиодоступа 5G и ускоренную сеть 5G пакетной коммутации. Это даст нам возможность предоставлять широкий круг GPU-ускоренных 5G сервисов - от ИИ и машинного обучения до дополненной и виртуальной реальности», отметил Падип Коли (Pardeep Kohli), президент и генеральный директор Mavenir

EGX Jetson Xavier NX – это самый маленький, но мощный ИИ-суперкомпьютер для микросерверов и edge AIoT-устройств, утверждают в NVIDIA. По данным на май 2020 года свыше 20 решений на нем уже доступно от партнеров компании. Вся мощь системы-на-чипе NVIDIA Xavier заключена в модуле размером с кредитную карту. EGX Jetson Xavier NX, оснащенный облачным программным стеком EGX, может быстро обрабатывать потоковые данные от многочисленных датчиков высокого разрешения. Энергоэффективный модуль обладает производительностью до 21 TOPS при потреблении 15 Вт и 14 TOPS при 10 Вт. В результате, EGX Jetson Xavier NX открывает путь для встраиваемых устройств для граничных вычислений, которым требуется повышенная производительность для ИИ-задач для при сохранении компактных размеров, малого веса, лимита энергопотребления или стоимости.

«NVIDIA Jetson и NVIDIA EGX помогают преобразовывать розницу, ускоряя и делая безопаснее самообслуживание покупателей. ИИ в нашей линейке продуктов RetailAI помогает точно распознавать сотни наименований продуктов в реальном времени, что делает шопинг легче и безопаснее. Такие системы можно развернуть в любом масштабе. Мы применяем решения NVIDIA, чтобы повысить удовлетворенность покупателей и компенсировать сокращение розницы, благодаря применению ИИ-решений на граничных устройствах», отметил Матт Скотт (Matt Scott), учредитель и генеральный директор Malong Technologies

Облачная архитектура платформы EGX AI Edge позволяет запускать контейнеризованное ПО для различных GPU-ускоряемых задач.

С поддержкой облачных технологий, доступных во всей линейке NVIDIA EGX, производители умных машин и разработчики ИИ-приложений могут создавать и разворачивать качественные, программно-определяемые приложения на встраиваемых и периферийных устройствах для робототехники, умных городов, медицины и промышленных IoT-устройств.Чекап для искусственного интеллекта: зачем и как тестировать ИИ-решения?

EGX A100 будут доступны к концу 2020 года. На май 2020 года готовые к работе edge микросерверы на базе EGX Jetson Xavier уже доступны для компаний, планирующих создание высокопроизводительных edge систем.

2019: Анонс ИИ-платформы для периферийных вычислений

27 мая 2019 года Nvidia представила свою первую ИИ-платформу для периферийных вычислений — Nvidia EGX. Она способна различать, понимать и обрабатывать данные в режиме реального времени без предварительной их отправки в облако или дата-центр.

Как пишет SiliconANGLE, использование искусственного интеллекта в периферийных устройствах, таких как смартфоны, всевозможные датчики и производственное оборудование, стало новым этапом технологической эволюции. Первые ИИ-алгоритмы были настолько сложными, что запускать их можно было запускать только на мощных компьютерах в облачных ЦОДах, и приходилось передавать большие массивы информации по сетям. Последние должны иметь высокую пропускную способность, но избежать существенных задержек в обработке всё равно тяжело, поэтому работа искусственного интеллекта в реальном времени затрудняется.

Компании хотят, чтобы ИИ-приложения запускались там, где создаются данные, например, на производственных объектах, складах или в магазинах. Для этих целей и была создана платформа Nvidia EGX.

Она может масштабироваться — от небольшого сервера на процессоре Jetson Nano, обрабатывающего 0,5 триллиона операций в секунду с потреблением нескольких ватт энергии, до микро-ЦОДа, включающего множество серверов с ИИ-ускорителями Nvidia T4, способных выполнять 10 000 триллионов операций в секунду.

Энергосберегающие возможности чипов важны для искусственного интеллекта, поскольку при выполнении таких задач традиционное оборудование является огромным источником потребления энергии.


Для продвижения платформы EGX компания Nvidia начала сотрудничать с 13 производителями серверов, среди которых — Cisco, Dell EMC, HPE и Lenovo. Также заключено соглашение с Red Hat, в рамках которого платформа интегрируется с решением для оркестрации контейнеров OpenShift Kubernetes.^[1]

Примечания