SEED-Story - это инструмент на базе проекта SEED-Х для создания истории из изображений и текстов в заранее определенном стиле. Такая история может содержать до 25 эпизодов.
Методика, используемая в SEED-Story основана на комбинации из предварительно обученных моделей, которые помогают создавать реалистичные изображения и текст, специальной адаптации, чтобы обеспечивать согласованность персонажей и стилей в изображениях и мультимодальном механизме внимания, для сохранения важных деталей текста и изображений.
SEED-Story обучалась на специальном детализированном датасете StoryStream, который основан на нескольких мультипликационных сериалах.
⚠️ Для использования SEED-Story потребуется 40GB VRAM (с учетом возможности самостоятельной тренировки) м набор дополнительных моделей:
⚠️ GradioUI к SEED-Story находится в разработке, и, по словам разработчиков будет представлен в ближайшее время (сроки не сообщаются).
⚖️ Лицензирование кода: Apache-2.0 license
@ai_machinelearning_big_data
#MLLM #VisualStorytelling #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20👍8🥰2
LongVA – техника визуальной обработки длинных видео, которая может обрабатывать более 1000 кадров и 200К визуальных токенов с помощью концепции Long Context Transfer.
Принцип Long Context Transfer состоит в изменении метода обучения: сначала обучают языковую модель только на данных "изображение-текст", а затем используют краткие данные изображений для согласования модальностей. Модель, обученная таким образом, может напрямую понимать мультикадровые видео, исключая необходимость в обучении на датасетах длинных видео.
В независимом тестировании на Video-MME, предложенном USTC, LongVA заняла седьмое место и достигла уровня SoTA для модели 7B.
В тестировании MLVU - второе место после GPT-4o и была признана самой мощной открытой моделью.
Для лабораторного тестирования метода был разработан специальный тест Visual Needle-In-A-Haystack (V-NIAH), состоящий из пяти вопросов с ответами на основе изображений.
Каждый из пяти изображений были вставлены в качестве отдельного кадра в тестовое многочасовое видео.
Проверка на тестовых пяти вопросах (с подсказкой по локализации в формулировке вопроса) показала, что LongVA проходит этот тест пределах 2000 кадров при плотности 144 токена на кадр.
Этот тест доступен в репозитории проекта наряду с инструкциями по запуску LongVA в локальных средах и инструментами для самостоятельной тонкой настройки (тренировки) модели.
👉 Весь набор предлагаемых инструментов репозитория прошел проверку на выполнение с CUDA 11.8 на 1хA100-SXM-80G
⚖️ Лицензирование кода: Apache-2.0 license
⚖️ Лицензирование моделей: Qwen2 license
@ai_machinelearning_big_data
#ML #VLM #VQA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24❤7🔥4
С помощью StyleSplat пользователи могут стилизовать несколько объектов в одной сцене, применяя к каждому объекту разные стили с большой точностью.
StyleSplat спроектирован так, чтобы быть легким и эффективным, при этом давая возможность контролировать масштаб шаблонов стиля, регулируя такие параметры, как размер изображения стиля или слои, используемые для извлечения объектов.
В основе проекта применяется техника, которая использует гауссово пятно для передачи стиля трехмерных объектов. Такой подход устраняет ограничения других существующих методов, предоставляя улучшенный контроль и настройку при создании 3D.
StyleSplat выполняется в три основных этапа:
1. Сегментации видео DEVA (DEVA) и Segment Anything (SAM) для получения согласованных 2D-масок по всей сцене. Эти маски обеспечивают точный выбор объекта и служат основой для последующих шагов.
2. Гауссовская группировка, в которой каждому 3D-гауссову вектору присваивается уникальный и обучаемый компактный вектор признаков.
Оптимизируя эти векторы вместе с коэффициентами сферических гармоник, выполняется уточняющая сегментация трехмерных гауссиан, что позволяет более точно выбирать объекты.
3. Перенос 3D-стиля. Это этап тонкой настройки совмещает коэффициенты сферических гармоник выбранных гауссиан с изображением эталонного стиля. Этот этап гарантирует, что будут стилизованы только выбранные объекты, а остальная часть сцены останется нетронутой.
По сравнению с аналогичным решением S2RF, StyleSplat превосходит его по точности и визуальной достоверности.
S2RF часто приводит к обесцвечиванию нецелевых областей, тогда как использование сегментированных 3D-гауссиан в StyleSplat обеспечивает точную и изолированную передачу стиля.
@ai_machinelearning_big_data
#3D #Gaussian #ML #Styletransfer
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤3🔥1😁1
Forwarded from Институт AIRI
CV-шница пройдет уже в этот четверг! 🍳
Делимся подробным расписанием онлайн-митапа:
▪️15:30
Вступление — Артур Кадурин, руководитель группы «Глубокое обучение в науках о жизни», AIRI
▪️15:35
3D генерация по тексту/изображению — Антон Конушин, кандидат физико-математических наук, руководитель группы «Пространственный интеллект», AIRI
▪️ 15:55
Kandinsky Flash: генеративно-состязательный подход к дистилляции диффузионных моделей — Владимир Архипкин, руководитель направления по исследованию данных, Sber AI
▪️ 16:15
Мультимодальные модели и способы эффективного представления визуального контекста — Андрей Кузнецов, кандидат технических наук, директор лаборатории FusionBrain, AIRI
▪️16:35
Генерация изображений по активности мозга — Абдуллин Ильгиз, AI Talent Hub, и Щетинников Константин, Quality Analyst Intern, Wildberries
▪️16:55
Ensemble-Based Image Annotation for Real-Time Human Detection
— Игорь Попов, Computer Vision Engineer, AI Talent Hub
Сохраняйте ссылку на трансляцию, чтобы не пропустить доклады 👾
Делимся подробным расписанием онлайн-митапа:
▪️15:30
Вступление — Артур Кадурин, руководитель группы «Глубокое обучение в науках о жизни», AIRI
▪️15:35
3D генерация по тексту/изображению — Антон Конушин, кандидат физико-математических наук, руководитель группы «Пространственный интеллект», AIRI
▪️ 15:55
Kandinsky Flash: генеративно-состязательный подход к дистилляции диффузионных моделей — Владимир Архипкин, руководитель направления по исследованию данных, Sber AI
▪️ 16:15
Мультимодальные модели и способы эффективного представления визуального контекста — Андрей Кузнецов, кандидат технических наук, директор лаборатории FusionBrain, AIRI
▪️16:35
Генерация изображений по активности мозга — Абдуллин Ильгиз, AI Talent Hub, и Щетинников Константин, Quality Analyst Intern, Wildberries
▪️16:55
Ensemble-Based Image Annotation for Real-Time Human Detection
— Игорь Попов, Computer Vision Engineer, AI Talent Hub
Сохраняйте ссылку на трансляцию, чтобы не пропустить доклады 👾
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23❤3
🙏 Anthropic объявила, что удвоила лимит output-токенов для API Sonnet и Claude 3.5 до 8000.
Обновление лимитов уже доступно пользователям, использующим API. Чтобы получить доступ к обновлению, необходимо включить в свои вызовы API специальный бета-заголовок к параметру extra_headers : "anthropic-beta": “max-tokens-3-5-sonnet-2024-07-15”. Analyticsindiamag.com
💰Стартап Vectara получил $25 млн в 1 раунде венчурного финансирования на дальнейшую разработку модели Mockingbird, оптимизированную для RAG поиска.
Vectara Inc., системный интегратор, внедряющий в корпоративные системы и приложения LLM с RAG поиском, одновременно с премьерой собственной LLM Mockingbird закрыл 1 раунд привлечения инвесторов. Среди инвесторов фонды FPV Ventures, Race Capital и Samsung Next. Siliconangle.com
🧩 Google объявила о начале реализации платформы искусственного интеллекта Project Oscar для разработчиков.
Проект Oscar, анонсированный во время Google I/O, представляет собой платформу с открытым исходным кодом, которая может помочь командам разработчиков программного обеспечения отслеживать проблемы и ошибки. Сейчас Oscar ориентирован на проекты с открытым исходным кодом, но в будущем он может быть выпущен и для управления проектами с закрытым исходным кодом.
В рамках проекта Project Oscar разработчики могут создавать агентов ИИ, которые функционируют на протяжении всего жизненного цикла разработки программного обеспечения. Эти агенты могут варьироваться от агента-разработчика до агента планирования, агента времени выполнения или агента поддержки. Агенты могут взаимодействовать с помощью естественного языка, поэтому пользователи могут давать им инструкции без необходимости переделывать код. Venturebeat.com
📊 Группа университетских команд (York University, MILA, NTU) при поддержке Salesforce Research представили ChartGemma MLLM.
ChartGemma - мультимодальную instuct-модель, обученная на основе данных, полученных из изображений реальных графиков.
Построенная на базе PaliGemma, ChartGemma использует кодер зрения SigLIP и языковую модель Gemma-2B.
ChartGemma достигла самых высоких результатов в тестах обобщения графиков, ответах на вопросы и проверке фактов по пяти контрольным показателям. Мarktechpost.com
Переводы с новой LLM доступны для пользователей DeepL Pro на четырех языках: английском, немецком, японском и упрощенном китайском.
Пользователи могут активировать LLM в веб-переводчике, выбрав "модель нового поколения".
По словам DeepL, в отличие от моделей общего назначения, LLM обучалась на собственных данных DeepL. В обучении новой модели принимали участие эксперты-лингвисты, которые корректировали ее в вопросах качества перевода.
DeepL утверждает, что новая модель перевода превосходит модели конкурентов, таких как Google, OpenAI и Microsoft.
В ходе слепых тестов профессиональные переводчики отметили, что для достижения того же качества перевода, что и в новой LLM от DeepL, Google Translate требуется в 2 раза больше правок, а GPT-4 - в 3 раза больше. Thenextweb.com
☎️ Anthropic выпустила приложение Claude для Android.
Приложение для Android предоставляет доступ к Claude 3.5 Sonnet. Как и в приложении для iOS, чат с Claude можно продолжить в браузерной версии или на iPhone.
Все, что нужно, - это убедиться, что используемая учетная запись одинакова на всех устройствах. Techradar.com
@ai_machinelearning_big_data
#news #digest
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤7🔥7
Это репозиторий HuggingFace содержит 60 000 строк формата "Запрос — ответ — функция API" , собранных APIGen, автоматизированным конвейером генерации данных, разработанным для создания поддающихся проверке качественных наборов данных для приложений.
Согласно описанию создателей, все данные в датасете проходят 3 иерархических этапа проверки: проверка формата, проверка выполнение функции и семантическая проверка.
Датасет прошел человеческую оценку 600 выборочных точек данных, и процент корректности превысил 95 %, а оставшиеся 5 % имеют незначительные проблемы, такие как неточные аргументы и т. д.
from
datasets
import
load_dataset
datasets
=
load_dataset
(
"Salesforce/xlam-function-calling-60k"
)
@ai_machinelearning_big_data
#Dataset #LLM #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19🔥4❤3⚡1
PowerPaint - это универсальный инструмент, который поддерживает удаление объектов с помощью текста, вставку объектов с помощью маски и расширение границ изображения при помощи дорисовки.
Эти техники очень схожи с проприетарной технологией "Генеративная заливка", реализованной в Adobe Photoshop.
Основной функционал PowerPaint:
Изменения в версии v2:
Локальный запуск v2 с использованием GradioUI:
# Clone the Repository
git clone https://github.com/zhuang2002/PowerPaint.git
# Navigate to the Repository
cd projects/powerpaint
# Create Virtual Environment with Conda
conda create --name PowerPaint python=3.9
conda activate PowerPaint
# Install Dependencies
pip install -r requirements.txt
# Run PowerPaint v2
python gradio_PowerPaint_BrushNet.py
Для использования в составе ComfyUI - реализация BrushNet (включает в себя обновление PowerPaint v2)
⚖️ Лицензирование кода: MIT license
@ai_machinelearning_big_data
#Text2Image #Diffusers #ControlNet #ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27❤8🔥7⚡1
Адаптация GraphRAG (Microsoft) с поддержкой локальных моделей через Ollama и с UI- интерфейсом на базе Gradio.
На сегодняшний день этот проект - единственный, предлагающий простой UI для локального запуска GrafRAG.
GraphRAG — методология улучшенного извлечения данных для генерации текста из определенных источников (RAG) от Microsoft.
Реализация из этого репозитория имеет ключевые особенности:
Локальная установка:
conda create -n graphrag-ollama -y
conda activate graphrag-ollama
pip install -r requirements.txt
python app.py
Настройка подключения к Ollama в settings.yaml по пути:
ragtest/settings.yaml
⚠️ Проект активно поддерживается разработчиком и довольно оперативно обновляется с учетом найденных ошибок и репортов из issue.
@ai_machinelearning_big_data
#GrafRAG #LLM #ML #Ollama
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26🔥9❤8