OmniFusion: прорыв в мультимодальных моделях

Революция в машинном обучении: мультимодальные умные ассистенты.
Используются два подхода, второй - сильная языковая модель - эффективней.
Языковые модели, как GigaChat-7B, эффективно интегрируются с разными модальностями.
OmniFusion совмещает GigaChat-7B и визуальный энкодер CLIP-ViT-L.
Обучение OmniFusion включает предобучение адаптера и дообучение языковой модели.
Высокая производительность OmniFusion доказана на различных бенчмарках.
Модальности модели: изображения, текст, звук, 3D, видео.
Обновления OmniFusion на GitHub.
За разработку отвечает научная группа FusionBrain в составе AIRI и Sber AI.

Вскоре мы сможем взаимодействовать со смарт-ассистентами еще эффективнее.

#OmniFusion #MachineLearning #Multimodal

Apple представляет новый фреймворк MLX для машинного обучения

Apple раскрывает MLX - специализированный фреймворк для Apple Silicon.
Улучшенное машинное обучение: высокая производительность и легкость в использовании.
MLX поддерживает популярные языки программирования, облегчая интеграцию.
Эффективность: единая модель памяти минимизирует затраты на обработку данных.
Примеры возможностей: генерация изображений, языковые модели, распознавание речи.
Стратегия Apple: сделать машинное обучение доступней для исследователей.
Apple Silicon способствует высокой эффективности работы моделей ML, одновременно защищая данные пользователей.

Apple незаметно присоединяется :)

#Apple #MLX #MachineLearning