🌟 iMESA:  распределенный алгоритм совместной одновременной локализации и картографирования (C-SLAM) для групп рoботов.


iMESA расширяет алгоритм MESA, используя согласованный метод множителей с переменным направлением (C-ADMM) для пакетных задач C-SLAM.
Он дает возможность роботам обновлять свои локальные решения по мере поступления новых измерений и взаимодействовать друг с другом для поддержания согласованности, предоставляя точные оценки состояния в режиме реального времени при незначительном количестве спораидальных взаимодействий между собой.

iMESA использует возможности оптимизации iSAM2, обеспечивая согласованность оценок состояния с помощью смещенных априорных значений.
Алгоритм масштабируем, хорошо справляется с различными размерами групп и сложностью задач. Он подходит для разработки мультироботных систем в условиях, связанных с развертыванием групп роботов в реальном мире при ограниченных коммуникационных и вычислительные ресурсах.

Программная реализация iMESA выполнена в виде библиотеки C++ с классом IMESAAgent для использования на борту каждого робота. iMESA имеет зависимость от GTSAM версии 4.2.0. Специфические функции разработки, необходимые для iMESA, доступны в ветке 4.2.0-imesa. Тестовые проекты для запуска можно найти в репозитории imesa-experiments.

Поскольку этот пакет представляет собой только библиотеку, чаще всего он будет использоваться в качестве сторонней зависимости в вашем проекте. Используйте FetchContext для доступа к библиотеке iMESA, включите iMESA как зависимость в свой проект, добавив в файл CMakeLists.txt:

include(FetchContent)
FetchContent_Declare(
  imesa
  GIT_REPOSITORY  https://github.com/rpl-cmu/imesa.git 
  GIT_TAG         main
)
FetchContent_MakeAvailable(imesa)

📌Лицензирование : MIT license


🟡Arxiv
🖥Github [ Stars: 69 | Issues: 1 | Forks: 4]


@ai_machinelearning_big_data

#AI #MESA #Robots #ML

🤖 Modern Robotics Course: Открытый курс по современной робототехнике.

Курс содержит лекции, учебные заметки, алгоритмы и практические задания, что позволяет последовательно изучать тему – от основ кинематики до сложных вопросов управления и планирования роботов.

🌟 Что внутри?
▪ Лекции: От основ робототехники, математики и физики до пространственных преобразований, обратной кинематике и более продвинутым концепциям .
▪ Практика: Примеры кода на Python и C++ для управления роботами.
▪Симуляторы: Интеграция с стимуляторами Gazebo и ROS ( операционная система для робото) для тестирования алгоритмов.
▪Задания: Реальные практические задачи (например, управление манипулятором робота).

🌟 Для кого?
▪ Начинающие робототехники: Освоить кинематику, динамику, управление.
▪ Программисты: Интегрировать алгоритмы в ROS, Gazebo, Python/C++.
▪ Инженеры: Возможность Научиться разрабатывать автономные системы и манипуляторы.
▪Технологические энтузиасты

С курсом у вас будет возможность проектировать роботов, не имея железа под рукой (через симуляторы).

✔️ Готовые решения: Внутри вы найдете библиотеки для работы с преобразованиями, датчиками, движением.

✔️Карьера в робототехнике: Курс даст возможность получить базовые навыки, востребованные в Bosch, Boston Dynamics, Tesla.

⭐️ Преимущества перед другими открытыми курсами
🟠 Акцент на практике: Минимум абстракций — максимум кода.
🟠Совместимость с ROS: Стандарт для промышленной робототехники.
🟠 Современные алгоритмы: Не только классика, но и нейросетевые подходы.

➡️ Cовет: Для погружения в курс, вам поможет книга Robotics, Vision and Control: Fundamental Algorithms in Python, Peter Corke, вот ее репозиторий с примерами кода.

P.S. А для тех, кто любит формат «сделай сам»: Курс научит вас собирать робота виртуально, а потом переносить решения на реальные устройства. 🤖💡

✔️ Github
✔️ Введение в курс
✔️Видео лекции

#course #ai #ml #robots #education #курс #робототехника

🤖 RoboVerse — это универсальная платформа для исследований в области робототехники.

Содержит среду для симуляции, синтетический датасет и бенчмарки.

RoboVerse позволяет работать с разными симуляторами и различными типами роботов и роботизированными платформами через единый API.

Позволяет легко переключаться между симуляторами, подгружать необходимые объекты, управлять физикой и т.д.

Платформа ориентирована на задачи обучения с подкреплением (RL) и имитационное обучение (IL).

Предусматриваются разные уровни обобщения и усложнения задач, что помогает объективно сравнивать алгоритмы и подходы.

Высокая реалистичность: точная физика и фотореалистичный рендеринг улучшают перенос (sim-to-real transfer).

Единая инфраструктура: снижает порог вхождения для исследователей, которые хотят тестировать алгоритмы в разных симуляторах и на разных роботах.

RoboVerse упрощает проведение экспериментов и помогает получить надёжные результаты — от имитационного обучения до обучения с подкреплением и моделирования окружения.

🔥 Лицензирование: Apache License 2.0.

🟡Код
🟡Wiki
🟡Project

#rl #ai #robots #IL

🦾 Berkeley Humanoid Lite — открытый человекоподобный робот

Калифорнийский университет Беркли представил проект Humanoid Lite — результат многолетних исследований и экспериментов по созданию простых в производстве человекоподобных роботов.

Платформа полностью придерживается принципов Open Hardware: в ней используются свободно распространяемое ПО, серийные комплектующие, доступные в розничной продаже, а также детали, напечатанные на 3D-принтере.

🌟 100 % open-source под MIT-лицензией: прошивки, схемы, BOM, STL-модели, RL-контроллеры
✔️ Open Hardware: доступные в рознице электро- и мехкомпоненты, детали печатаются на обычном FDM-принтере
➡️ Итоговая стоимость сборки — примерно 5 000 USD
⭐️ Модульная конструкция: легко превращается в квадропода или «кенавроподобного» робота
➡️ Экосистема: Isaac Lab / Isaac Sim / MuJoCo, телеметрия через SteamVR-контроллеры

⏩ Что доступно:

- Исходный код робота на C++ и Python
- Модели машинного обучения для контроллера движений
- Чертежи пластиковых деталей
- Полный список комплектующих с ссылками на покупку
- Пошаговый сборочный план
- Симуляционные окружения для тренировки и запуска робота


🌟 Что робот умеет уже сейчас
- локомоция: RL-контроллер приводит в заданную точку
- телеприсутствие: человек управляет манипулятором через VR-контроллеры
- навигация: экспериментальные алгоритмы обхода препятствий
- поддержка мелкой моторики

🔥 Как удалось удешевить:
- пластиковые шестерни, напечатанные на 3D-принтере
- циклоидные редукторы, повышающие надёжность пластика
- использование типовых драйверов и контроллеров без кастомных плат

*Clone → Print → Build → Hack!* 🤓

🔜 Проект
🔜 Код
🔜 Схемы

@ai_machinelearning_big_data


#robots #ai #ml #opensource

✔️ Новое видео с Optimus,
которое опубликовал Илон Маск - выглядит интеерснее, чем может показаться на первый взгляд.

Впервые Optimus двигается в танце с участием нижней части тела —
раньше его ноги и ступни оставались неподвижными.

Если посмотреть последнее видео в замедленном режиме, можно заметить, что он не просто танцует — он подпрыгивает и держит равновесие на одной ноге.

Такой уровень динамического баланса и контроля невероятно сложно реализовать для человекоподобного робота.

С балансом у нового робота от Tesla — полный порядок!

Факты о роботе
🦿 1. Создан на базе автопилота Tesla
Optimus использует ту же систему обработки окружающего мира, что и автопилот Tesla — включая нейросети и камеры. Робот буквально «видит» как электромобиль Tesla.

⚙️ 2. Высота — 173 см, вес — около 56 кг
Это делает Optimus ростом со взрослого человека и достаточно лёгким, чтобы быть маневренным, но достаточно прочным для работы с физическими объектами.

🧠 3. Мозг — это Tesla FSD Chip
Внутри — собственный чип Tesla, разработанный для Full Self-Driving. Он обрабатывает видео в реальном времени и принимает решения, как вождения, так и манипуляций руками и телом.

🤖 4. Умеет поднимать до 20 кг и нести до 9 кг
Optimus спроектирован для выполнения задач, таких как переноска ящиков, компонентов на сборочных линиях и базовая логистика.

🎥 5. Первые версии уже помогают на фабрике Tesla
В 2023–2024 Tesla начала использовать Optimus на своих производственных линиях — например, для сортировки деталей и доставки мелких компонентов.

🕺 6. Новый уровень движения — он уже танцует и ходит
В 2025 году Optimus научился координировать движения нижней части тела. Ранее ноги были статичными — теперь он танцует, ходит и держит равновесие на одной ноге.

🔋 7. Полный день работы от одной зарядки
Цель — добиться автономной работы в течение рабочего дня на одном заряде, что делает его пригодным для фабрик и логистических центров.

🌍 8. Массовый рынок — конечная цель
Илон Маск заявил, что Optimus должен стоить меньше $20,000 — чтобы каждый мог позволить себе персонального робота.

@ai_machinelearning_big_data

#robots #ai #ml #Tesla #Optimus

🤖 RoboBrain 2.0 — ИИ для нового поколения роботов.

RoboBrain 2.0 — это open-source модель способная к широкому спектру задач: от восприятия окружения до управления роботами.

Её уже называют фундаментом для следующего поколения гуманоидов.

🔹 Поддерживает планирование, восприятие и действия в реальном мире
🔹 Заточен на легкую интеграцию (под капотом 7B параметров) в реальные проекты и роботизированные системы
🔹 Полностью открытый код

Архитектура:

• Обрабатывает изображения, длинные видео и визуальные данные высокого разрешения
• Понимает сложные текстовые инструкции
• Входные данные:
 — Визуальные — проходят через Vision Encoder + MLP Projector
 — Текстовые — превращаются в унифицированный токен-поток
• Всё подаётся в LLM Decoder, который выполняет рассуждение, строит планы, определяет координаты и пространственные связи

С такими темпами более чем реально, что уже к 2027 году мы увидим массовое производство продвинутых гуманоидных роботов.

ИИ выходит в физический мир — и делает это уверено.

Запуск:

git clone https://github.com/FlagOpen/RoboBrain2.0.git
cd RoboBrain

# build conda env.
conda create -n robobrain2 python=3.10
conda activate robobrain2
pip install -r requirements.txt

▪Github: https://github.com/FlagOpen/RoboBrain2.0
▪Hugging face: https://huggingface.co/collections/BAAI/robobrain20-6841eeb1df55c207a4ea0036/

@ai_machinelearning_big_data

#ai #ml #robots #ComputerVision #BAAI

🔥 VLMgineer — когда робот сам себе конструктор

Основная идея VLMgineer - путь к роботам, которые сами изобретают нужные приборы под конкретные задачи, экономя время инженеров и расширяя границы автоматизации.

Что это
● Фреймворк, объединяющий Vision-Language-модель и эволюционный поиск.
● Полностью автоматизирует два процесса:
 1) проектирует физический инструмент;
 2) пишет пошаговый план, как этим инструментом пользоваться.

Как это работает
1️⃣ VLM получает описание задачи («забей гвоздь», «разбей лёд») и создаёт начальный эскиз инструмента + набор движений робота.
2️⃣ Симуляция проверяет, насколько успешно связка «инструмент + действие» решает задачу.
3️⃣ Эволюционный алгоритм вносит правки (меняет форму, размеры, материалы), VLM уточняет план.
4️⃣ Цикл повторяется, пока не найден оптимальный дизайн.

Никаких шаблонов и ручной настройки — всю «физическую креативность» выполняет модель.

Исследователи протестировали возможности VLMgineer по созданию инструментов и планов действий в сравнении с тремя типами участников:
• специалист по LLM
• эксперт по робототехнике
• обычный человек без технического бэкграунда

📊 Результаты:
VLMgineer показал на 64,7% более высокий средний успех выполнения задач, чем решения, предложенные людьми, скоро обещают дропнуть код проекта.

🔜 Подробнее: vlmgineer.github.io/release

@ai_machinelearning_big_data

#ai #robots #vlm