🎥🔥 VideoPrism от GoogleDeepMind — универсальный видеоэнкодер нового поколения

Модель легко подключается к LLM или текстовому энкодеру, превращая видео в источник контекста.

🧠 Как работает:
• Сначала обучают CLIP-подобную video-text модель
• Затем дистиллируют видеоэнкодер в VideoPrism
• Получается компактный, но гибкий видеоэнкодер, готовый к интеграции в мультимодальные модели

Все модели доступны под лицензией A2.0

Установка:

$ git clone https://github.com/google-deepmind/videoprism.git
$ cd videoprism
$ pip install .

• Github: https://github.com/google-deepmind/videoprism
• HF: https://huggingface.co/google/videoprism#model-description
• Arxiv: https://arxiv.org/pdf/2402.13217
• Blogpost: https://research.google/blog/videoprism-a-foundational-visual-encoder-for-video-understanding/

#AI #VideoAI #DeepLearning #GoogleDeepMind #LLM #multimodal