⭐️ Native-sparse-attention-pytorch – представляет собой реализацию разреженного механизма внимания на PyTorch, оптимизированного для работы с большими последовательностями.

Он позволяет существенно снизить потребление памяти и ускорить вычисления по сравнению с классическим полносвязным вниманием.

Одним из главных преимуществ данного решения является его высокая эффективность при обработке длинных последовательностей.

За счёт вычисления внимания только по выбранным элементам (а не по всем парам токенов) удаётся уменьшить сложность алгоритма.

Кроме того, инструмент интегрируется непосредственно с PyTorch и использует нативные CUDA-ядра, что позволяет достичь оптимальной производительности на GPU.

Репозитория поможет в экспериментах с архитектурами, где внимание применяется к длинным последовательностям – будь то тексты, временные ряды или изображения – и обеспечивает возможность более эффективного использования вычислительных ресурсов.

native-sparse-attention-pytorch даёт существенные преимущества в снижении затрат памяти и ускорении вычислений, что делает его ценным инструментом для глубокого обучения.

$ pip install native-sparse-attention-pytorch

▪ Github

@ai_machinelearning_big_data


#deeplearning #artificialintelligence #attention #sparseattention #ml #ai

🤖 Перед вами недавно снятое видео с "испытательных полигонов" Unitree, демонстрирует головокружительную скорость развития человекоподобных-роботов.

Unitree постоянно совершенствуют алгоритмы управления, позволяя роботу обучаться и осваивать всё более сложные и точные движения.

Модель G1 обладает 23 степенями свободы, это гарантирует исключительную устойчивость и координацию.

Робот оснащён 3D-лидаром, камерой глубины и комплектом микрофонов с функцией шумоподавления для надёжного распознавания голосовых команд.

Его «сердцем» является 8-ядерный процессор, обеспечивающий такую высокую манёвренность ❤️

G1 оборудован легко заменяемой батареей ёмкостью 9000 мА·ч, что позволяет ему работать до двух часов, с возможностью оперативной замены источника питания. Максимальная скорость робота достигает 7,2 км/ч.

При росте 1,32 метра и весе 35 кг, гуманоидный робот может компактно складываться, занимая пространство в контейнере размером всего 69 × 44 × 30 см.

На этапе первичного обучения G1 использует симулятор Isaac от Nvidia, который с помощью методов обучения с подкреплением помогает осваивать сложнейшие алгоритмы поведения в контролируемой цифровой среде.

Затем отработанные действия плавно переносятся в физическую модель с использованием процесса Sim2Real, что обеспечивает высокую точность выполнения движений в реальном мире.

Unitree выпустила открытый датаяет, предназначенный для повышения эффективности управления и координации движений человекоподобных роботов.

Набор данных, созданный с применением технологии захвата движения LAFAN1, полностью совместим с гуманоидными системами Unitree.

Он включает усовершенствованный алгоритм перенаправления, который оптимизирует планирование движений через интерактивную обработку и обратную кинематику с учётом ограничений позы, сочленений суставов и параметров скорости.

Кстати, цена такого робота начинается от 16к$

https://www.unitree.com/g1

@ai_machinelearning_big_data


#ai #robots #news #unitree #ArtificialIntelligence #HumanoidRobot