Высокопроизводительная платформа, предназначенная для развертывания систем ИИ от Adlinktech

Генеративный ИИ продолжает проникать в различные отрасли и многие устройства, занимающиеся периферийными вычислениями, сталкиваются с узкими местами производительности из-за недостаточной емкости оперативной памяти при выполнении больших языковых моделей, что влияет на операции моделей и даже вызывает такие проблемы, как недостаточная длина токена.

В конце 2024 года компания Adlinktech представила устройство для периферийных вычислений DLAP-411-Orin Supreme на базе модуля NVIDIA Jetson AGX Orin, которое представляет собой высокопроизводительную платформу, предназначенную для развертывания систем на базе ИИ. DLAP-411-Orin Supreme преодолевает ограничения памяти в приложениях генеративного ИИ за счет использования технологии aiDAPTIV+ от Phison.

aiDAPTIV+ AI представляет собой гибридное (программное и аппаратное) решение в виде модуля M.2, которое использует флеш-память NAND типа SLC (типоразмер 2280), которое расширяет возможности графических процессоров по оптимизации и масштабированию работы с большими языковыми моделями (LLM). Решение поддерживает до 70B параметров модели с низкой задержкой и высоконадежным хранилищем (100 DWPD).
Другими словами, создается область виртуальной оперативной памяти на накопителе.

Серия DLAP Supreme, использующая технологию aiDAPTIV+, эффективно преодолевает эти ограничения и значительно повышает производительность вычислений. Кроме того, она поддерживает периферийные вычисления в проведении обучения генеративных языковых моделей, предоставляя им возможности обучения моделей ИИ и улучшая их автономное обучение и адаптивность.
При использовании DLAP-411 Orin Supreme, оснащенного конфигурацией NVIDIA Jetson AGX Orin 32GB вместе с моделью Gemma 27B, вывод TTFT улучшился в 8 раз, а длина токена увеличилась в 4 раза.

В состав DLAP-411-Orin Supreme входит
🔹модуль NVIDIA Jetson AGX Orin с производительностью 275 TOPS в зависимости от модели;
🔹интерфейс M.2, key M, типоразмер 2242 или 2280 PCIe Gen4;
🔹интерфейс M.2, key B, типоразмер 3042 или 3052 для 5G/LTE;
🔹интерфейс M.2, key E, типоразмер 2230 для Wifi;
🔹слот для установки карт формата MicroSD.
🔹Ввод/вывод:
- 1х HDMI (3840x2160 @ 60Hz);
- 4x USB 3.2 Gen2, разъём USB3.0 Type A;
- 1x USB 3.2 Gen2 Type-C (OTG);
- 4x 1000Base-T , PoE (IEEE 802.3af/at) опционально;
- 1x Mic-in (Mono), Line-out (Stereo);
- 2x разъёма DSUB26F выводов с интерфейсами GPIO, I2C, SPI;
- 1x COM RS-232/RS-422/RS-485, разъём DSUB9M;
- 1x изолированный CAN2.0b, разъём DSUB9M.
🔹Индикация, кнопка сброса и т.д.
🔹Напряжение питания 24 В постоянного тока.
🔹Мощность потребления до 220 Вт в зависимости от состава.
🔹Рабочий диапазон температур от -20°C до +(40..60)°C в зависимости от состава и скорости обдува.
🔹Устойчивость к вибрации: 5g, 5-500Гц в зависимости от состава.
🔹Устойчивость к одиночным ударам: 100 g в зависимости от состава.

Доступно 10 различных исполнений устройства.

➡️https://www.adlinktech.com/Products/Deep_Learning_Accelerator_Platform_and_Server/Inference_Platform/DLAP-411-Orin?lang=en#tab-53657

➡️https://www.phison.com/en/aidaptiv-plus-ai-data-storage-solution

❔ Вообще, зачем производить обучение LLM на локальном устройстве, а не в ЦОД? В каких случаях это необходимо?

#AI #Adlinktech #Phison #aiDAPTIV #NVIDIA #BoxPC

✔️ Встраиваемые системы. Подписаться.

Новый стандарт для автомобилей, использующих технологию ИИ.

Американские регуляторы, включая Национальное управление по безопасности дорожного движения США, озабоченны безопасностью роботакси Tesla, которые уже несколько десятков раз создали угрозу для безопасности окружающих. Предполагая такое развитие, в декабре 2024 года Международная организация по стандартизации (ISO) сообщила о публикации новой открытой спецификаций ISO/PAS 8800:2024.

Документ регламентирует системы безопасности, которые включают одну или несколько электрических и/или электронных (E/E) систем, использующих технологию ИИ и которые устанавливаются на серийных дорожных транспортных средствах, за исключением мопедов. Он не рассматривает уникальные системы E/E в специальных транспортных средствах, такие как системы E/E, предназначенные для водителей с ограниченными возможностями.

Цель - предоставить отраслевые рекомендации по использованию систем ИИ в функциях, связанных с безопасностью. Он не ограничивается конкретными методами ИИ или конкретными функциями транспортных средств.

Этот документ определяет рамки для управления безопасностью ИИ, адаптируя или расширяя существующие подходы, определенные в серии стандартов ISO 26262 и ISO 21448. Риски, связанные с функциональной безопасностью, возникающие из-за неисправного поведения системы ИИ, рассматриваются путем адаптации или расширения соответствующих пунктов из серии ISO 26262. Риски, связанные с функциональными недостатками в системе ИИ, рассматриваются путем расширения концепций и рекомендаций, предоставленных в ISO 21448. Предлагается причинная модель для понимания источников функциональных недостатков в системе ИИ. Эта модель используется для выведения набора требований к безопасности для системы ИИ, а также набора мер по снижению рисков.

📌 Примечание:
ISO 21448 применим к предполагаемым функциональным возможностям, где правильное восприятие ситуации имеет решающее значение для безопасности, и где такое восприятие ситуации основано на датчиках и алгоритмах обработки, особенно для функциональных возможностей систем экстренного вмешательства и систем с уровнями автоматизации вождения ISO/SAE PAS 22736 от 1 до 5. Поэтому возможно, что системы используют технологии ИИ, которые не подпадают под действие ISO 21448.

📌 Пример:
ISO 21448 не применяется к разработке блока управления двигателем, который использует ИИ для оптимизации своей работы, в то время как этот документ применим.

Данный документ признает, что из-за широкого спектра применения ИИ и связанных с ним требований к безопасности, а также быстро развивающегося состояния технологий, невозможно предоставить детальные требования к процессу или характеристикам продукта, необходимых для достижения приемлемо низкого уровня остаточного риска, связанного с использованием систем ИИ. Поэтому, помимо предоставления рекомендаций по адаптации или расширению серии ISO 26262 и ISO 21448, этот документ сосредоточен на принципах, поддерживающих создание специфического для проекта аргумента обеспечения безопасности элементов ИИ в бортовых системах транспортных средств. Это включает в себя предложение мер по снижению рисков на этапах проектирования и эксплуатации с использованием итеративного подхода к снижению рисков, как указано в ISO/IEC Guide 51.

Анализ опасностей и анализ рисков выходят за рамки данного документа. Они рассматриваются как часть мероприятий по системной безопасности на уровне транспортного средства, описанных в серии ISO 26262 и ISO 21448, или в применении конкретных стандартов, таких как ISO TS 5083.

ISO/IEC TR 5469 предоставляет общие рекомендации по применению технологий ИИ в рамках функций безопасности, независимо от конкретных отраслевых секторов. Многие концепции, изложенные в ISO/IEC TR 5469, могут быть применены в контексте дорожных транспортных средств. Таким образом, существует тесная связь между концепциями, описанными в этом документе, и ISO/IEC TR 5469.

➡️ https://www.iso.org/ru/standard/83303.html

#AI #Safety #Automotive

✔️ @iiotandembedded