Nvidia Jetson

На 10 марта 2017 года Jetson - вычислительная платформа, ориентированная на производителей роботов, дронов, дорожных камер и других «умных» устройств.

2020: Выпуск микросервера EGX Jetson Xavier NX для платформы EGX Edge AI

14 мая 2020 года компания NVIDIA представила EGX Jetson Xavier NX - маленький и мощный ИИ-суперкомпьютер для микросерверов и edge AIoT-устройств, оснащенный облачным программным стеком EGX, благодаря чему он может быстро обрабатывать потоковые данные от многочисленных датчиков высокого разрешения. Подробнее здесь.

2019

Nvidia представила Jetson Xavier NX — самый маленький в мире суперкомпьютер для ИИ

В начале ноября 2019 года Nvidia представила систему Jetson Xavier NX, которая, согласно заявлению производителя, является самым маленьким суперкомпьютером для решения задач, связанных с искусственным интеллектом. Такое устройство позволяет значительно расширить возможности ИИ без увеличения размера или энергопотребления устройства, говорится в пресс-релизе.

Суперкомпьютер Jetson Xavier NX размером с кредитную карту предназначен для компаний, специализирующихся на робототехнике и встраиваемых вычислительных системах. В частности, он может пригодиться в случаях, требующих повышенной производительности, но имеющих ограничения по размеру, весу или энергопотреблению.

Nvidia представила систему Jetson Xavier NX, которая, согласно заявлению производителя, является самым маленьким суперкомпьютером для решения задач, связанных с ИИ

Среди потенциальных направлений использования Jetson Xavier NX компания выделяет роботы, дроны, системы машинного зрения, сетевые видеорегистраторы, портативные медицинские устройства и другие системы интернета вещей. Несмотря на маленький размер и энергопотребление 15 Вт, этот модуль обеспечивает производительность на уровне до 21 тераопераций/с (Топс).

Обеспечивая параллельную работу с несколькими нейронными сетями и обработку данных с нескольких датчиков высокого разрешения, Jetson Xavier NX способен выполнять до 14 Топс при потреблении 10 Вт или 21 Топс при 15 Вт. Благодаря инженерным разработкам Nvidia, Jetson Xavier NX обеспечивает производительность в 15 раз большую, чем Jetson TX2 с тем же энергопотреблением. Метавселенная ВДНХ 3.4 т

Как и другие продукты Nvidia от Jetson, Jetson Xavier NX работает на программной архитектуре CUDA-X AI и поддерживает комплект разработки Nvidia JetPack, представляющий собой полный программный стек искусственного интеллекта, способный работать со сложными сетями ИИ, ускоренными библиотеками для глубинного обучения, а также машинным зрением, компьютерной графикой и мультимедиа.^[1]

Найден способ перехватывать управление над суперкомпьютерами Nvidia

Компания Nvidia опубликовала в апреле 2019 года обновления для ОС Linuxfor Tegra, на базе которой работают ее одномодульные суперкомпьютеры Jetson TX1 и TX2. Уязвимости в наборах драйверов для этих компьютеров позволяли повышать привилегии в системе, вызывать сбои и выводить информацию^[2].

Jetson TX1 и TX2 — специализированные встраиваемые компьютеры, предназначенные для использования в решениях, связанных с искусственным интеллектом и машинным обучением.

Патч исправляет в общей сложности 21 уязвимость, но только четыре из них получили индекс угрозы выше 8.0.

Самая серьезная — CVE-2018-6269 — содержится в модуле управления вводом-выводом (IOCTL). Ошибка позволяет потенциальному злоумышленнику повышать привилегии, выводить систему из строя (DoS), а также получать несанкционированный доступ к информации о системе и даже запускать произвольный код — при условии локального доступа к системе.

Три другие уязвимости — CVE-2017-6278, CVE-2018-6267 и CVE-2018-6271 — содержатся в разных модулях ядра Tegra, но в случае успешной эксплуатации дают примерно одни и те же результаты: повышение привилегий или вывод системы из работоспособного состояния.

Совместное решение Nvidia и Amazon на базе Jetson и AWS IoT Greengrass

Компания Nvidia 18 марта 2019 года объявила о сотрудничестве с компанией Amazon по платформе Nvidia Jetson, чтобы наделить искусственным интеллектом и глубоким обучением миллионы подключенных устройств. Это совместное решение позволяет создавать, обучать и оптимизировать модели на AWS и затем их разворачивать на конечных устройствах на базе Jetson с помощью AWS IoT Greengrass. Подробнее здесь.

Jetson Nano

18 марта 2019 года компания Nvidia анонсировала Jetson Nano - компьютер с поддержкой ИИ.

Со слов производителя, маленький, но мощный компьютер для задач ИИ на базе CUDA-X обеспечивает производительность в 472 гигафлопс в современных приложениях для ИИ при энергопотреблении всего 5 Вт.

По информации на март 2019 года, Jetson Nano имеет две модификации — набор разработчика за $99 для разработчиков и энтузиастов и готовый к производству модуль за $129 для компаний, нацеленных на создание готовых систем для массового рынка.

Jetson Nano поддерживает датчики высокого разрешения, способен обрабатывать данные со множества датчиков одновременно и запускать несколько нейросетей на каждом потоке с датчика. Он также поддерживает множество ИИ-фреймворков, позволяя разработчикам интегрировать в продукт предпочтительные модели и фреймворки, утверждают в Nvidia.

В Nvidia отметили, что мощь ИИ в основном еще малодоступна для разработчиков и учащихся, потому что стандартные технологии не обладают достаточной мощью и не имеют программной ИИ-платформы. Набор разработчика Jetson Nano способен наделить мощью ИИ недорогую платформу, вдохновляя разработчиков, изобретателей и учащихся. Они могут создавать ИИ-проекты, которые раньше были невозможны: мобильных роботов и дронов, цифровых помощников, автоматические приборы и так далее. Набор имеет поддержку для Linux, совместим со многими периферийными устройствами и аксессуарами и включает готовые проекты и руководства. Nvidia также поддерживает форум для разработчиков Jetson, где можно получить ответы на технические вопросы.

«Набор разработчика Jetson Nano – это решение, предоставляющее передовые возможности ИИ пользователям решений DYI очень простым способом. Это мощная и доступная платформа, которая позволит обучить глубокому обучению и робототехнике более широкий круг людей». Крис Андерсон (Chris Anderson), основатель сообщества DIY Robocars и DIY Drones, а также проекта Linux Foundation Dronecode

Согласно заявлению разработчика, модуль Jetson Nano открывает двери для широкого спектра встроенных областей применения, включая сетевые видеорекордеры, домашних роботов и умные шлюзы с аналитическими возможностями. Он позволяет сократить время на разработку конструкции, тестирование и проверку сложных, мощных и экономичных ИИ-систем, чтобы ускорить вывод продуктов на рынок. Модуль имеет в комплекте блок управления питанием, частотами, память и интерфейсы. Так как ИИ-нагрузки определяются программно, компании могут увеличивать производительность и возможности даже после установки системы.

Чтобы помочь клиентам переместить задачи ИИ и машинного обучения на периферийные устройства, Nvidia вместе с Amazon Web Services оптимизировали работу AWS Internet of Things Greengrass в связке с устройствами на базе Jetson, таких как Jetson Nano.

«Наши клиенты работают в самых разных областях, включая управление, промышленность, логистику, умные здания и дома. Компании из всех этих областей встраивают умные системы и компьютерное зрение в свои продукты, чтобы они работали в конечных устройствах практически в режиме реального времени. AWS IoT Greengrass позволяет нашим клиентам выполнять локальный инференс на устройствах с Jetson и отправлять актуальные данные назад в облако для совершенствования обучения модели». Дирк Дидаскалу (Dirk Didascalou), вице-президент по IoT в Amazon Web Services

На март 2019 года единый программный стек для всего семейства Jetson Nvidia CUDA-X – это набор из более чем 40 библиотек, позволяющих современным вычислительным приложениям задействовать преимущества GPU-ускоренной вычислительной платформы Nvidia. JetPack SDK построен на CUDA-X и поставляется вместе с полным ИИ программным стеком с ускоренными библиотеками для глубокого обучения, компьютерного зрения, обработки компьютерной графики и мультимедийных данных, который поддерживает семейство Jetson, подчеркнули в Nvidia. JetPack включает CUDA, cuDNN, TensorRT и десктопную версию ОС Linux. Jetson совместим с ИИ-платформой Nvidia.

Nvidia также создала референсную платформу, позволяющую быстро приступить к созданию ИИ-приложений, максимально сократив время на аппаратную часть. Nvidia JetBot - это маленький мобильный робот, который можно собрать из стандартных компонентов. По информации на март 2019 года, разработка доступна на GitHub.

Характеристики Jetson Nano:

• GPU: 128-ядерный GPU на базе NVIDIA Maxwell
• CPU: четырехъядерный ARM A57
• Видео: кодирование и декодирование 4K @ 30 fps (H.264/H.265) / 4K @ 60 fps (H.264/H.265)
• Камера: MIPI CSI-2 DPHY линии, 12 (в модуле) и 1 (в наборе разработчика)
• Память: 4 ГБ 64-bit LPDDR4; 25.6 ГБ/с
• Интерфейсы: Gigabit Ethernet
• Поддержка ОС: Linux for Tegra
• Размеры модуля: 70мм x 45мм
• Размеры набора для разработчика: 100мм x 80мм

Поставки Nvidia Jetson Nano начнутся в июне 2019 года.

2018

Продажи мини-компьютеров для роботов и дронов Jetson AGX Xavier

14 декабря 2018 года компания Nvidia выпустила в продажу вычислительные модули Jetson AGX Xavier, предназначенные для установки в роботозированные системы с искусственным интеллектом.

Модуль Jetson AGX Xavier представляет собой мини-компьютер для роботов и дронов, который умещается в ладони и потребляет всего 10 Вт - примерно столько же, сколько радиочасы. Это облегчает задачу разработчиков беспилотных систем, которым требуется предоставить достаточную вычислительную мощность для полноценной работы ИИ-систем. Новый модуль использует платформу искусственного интеллекта Nvidia, которая обеспечивает базу для многочисленных приложений - полный набор инструментов, которые помогают разработчикам быстро обучать и развертывать нейронные сети.

Jetson AGX Xavier

Модуль может одновременно решать множество задач, ориентированных на ИИ (30 трлн вычислительных операций в секунду), занимая относительно небольшое пространство. Вычислительная мощность Jetson AGX Xavier в 20 раз превосходит показатели предыдущих чипов линейки Jetson. В модуль входят ARM-процессор, GPU на платформе Volta, пара чипов для самообучения системы, компоненты машинного зрения, а также программное обеспечение для обработки изображений и видео.

Он поддерживает приложения для разработки программного обеспечения JetPack и DeepStream. Они обеспечивают потоковую аналитику, интегрируя ИИ беспилотного робота в интернете вещей и приложения для интеллектуальных городов. С их помощью разработчики могут создавать многокамерные и мультисенсорные приложения для обнаружения и идентификации различных объектов, таких как транспортные средства, пешеходы и велосипедисты.

Модули продаются партиями по 1000 штук при цене $1100 за одну единицу. Покупателями станут компании, которые специализируются на системах беспилотной доставки с помощью роботов и дронов и подобных им систем. Уже известно, что Nvidia заключила договора на продажу Jetson AGX Xavier для таких компаний, как Yamaha (для дронов), Nanopore (секвенирование ДНК) и JD.com (для дронов доставки)^[3]

Jetson Xavier

Jetson Xavier

4 июня 2018 года компания Nvidia представила Jetson Xavier — вычислительную платформу, разработанную специально для роботов. "Сердцем" системы является Xavier SoC, которая производится TSMC и содержит 9 млрд транзисторов.^[4] Jetson Xavier обеспечивает производительность в 30 TOPS (трлн операций в секунду), потребляя при этом всего лишь треть энергопотребления обычной лампочки, утверждают в компании.

Плата для разработчиков представляет собой полноценную систему с охлаждением, корпусом и интерфейсами. Для сравнения, до сих пор комплекты для разработчиков состояли только из платы. С выпуском данной системы Nvidia рассчитывает упростить разработку роботов.

В основе Jetson Xavier шесть типов высокопроизводительных процессоров — GPU Volta с тензорными ядрами, восьмиядерный CPU ARM64, два ускорителя глубокого обучения NVDLA, процессор для обработки изображений, процессор компьютерного зрения и процессор для работы с видео. Такая комбинация позволяет обрабатывать десятки алгоритмов одновременно и в реальном времени обрабатывать сигналы с датчиков, производить одометрию, локализацию и сопоставление с картой, работать с алгоритмами компьютерного зрения и восприятия, планировать маршрут.

Согласно заявлению Nvidia, такой уровень производительности необходим роботам, чтобы принимать сигналы с датчиков, определять местоположение, изучать окружение, распознавать и предсказывать движение окружающих объектов, выстраивать действия и четко обозначать свои действия.

2017: Jetson TX2

10 марта 2017 года компания Nvidia представила второе поколение вычислительной платформы Jetson. Основной упор компания-разработчик сделала на возможности включения ИИ-вычисления в конечные устройства, которые непосредственно взаимодействуют с окружением и пользователем.

В системе использован CPU с двумя ядрами Denver 2 и четырьмя Cortex A57. Jetson TX2 оснащен 256-ядерным CUDA GPU. На смену Maxwell пришла архитектура Pascal. Максимально возможная тактовая частота 1302 МГц. Процессор выполнен на основе 16-нм техпроцесса (в Tegra K1 применен 28-нм техпроцесс) ^[5].

Jetson TX2, (2017)

Габариты устройства 50×87 мм. Оно оснащено 8 ГБ ОЗУ LPDDR4 пропускной способностью 58,3 Гб/с. В составе Jetson TX2 32 ГБ памяти eMMC, гигабитный Ethernet и беспроводные интерфейсы Wi-Fi 802.11ac и Bluetooth. Система обеспечивает возможность подключения до шести видеокамер и обработку 4K-видео на скорости до 60 кадров/с.

Модуль может работать в одном из двух режимов — Max-Q и Max-P. Первый обеспечивает максимальную эффективность: тактовые частоты SoC снижаются, потребление энергии уменьшается до 7,5 Вт. В этом режиме Jetson TX2 должен быть в два раза эффективнее Jetson TX1. В режиме Max-P модуль работает с максимальной производительностью: напряжение и тактовые частоты возрастают, энергопотребление увеличивается до 15 Вт.

Вместе с TX2 производитель анонсировал релиз версии ИИ SDK (JetPack 3.0) для семейства устройств на базе Jetson. В нем поддерживаются технологии для глубинных нейронных сетей и машинного зрения.

Компания открыла предзаказ на TX2 Developer Kit в США и Европе. Расширенный набор предлагается за $599, начало продаж намечено на 14 марта 2017 года. Встраиваемая платформа TX2 оценена в $399 и её поставки начнутся во втором квартале 2017 года.

Примечания