Да что же за день такой! Там в лабораториях прорвало трубу достижений. Горшочек не вари.
Еще одна нейросеть #text2video. Не, не такая как те!
Phenaki умеет генерировать видео по меняющемуся во времени промту. Это означает сюжетные видео (см следующие пару постов)

PS они собираются скрестить Phenaki c Imagen Video и уже работают над этим

Tracking Everything Everywhere All at Once

Сейчас прямо идёт волна улучшений в зрении вижене. Давеча мой коллега Алекс Кириллов прокачал сегментацию до нереальных результатов. Теперь парни из Гугла и Беркли завезли чертовски качественный попиксельный трекинг объектов на видео.

Для человека задача трекинга и нахождения соответствия между пикселями движущегося объекта кажется довольно простой. Но вот до сих пор как-то не было стабильных алгоритмов, которые бы могли плотно трекать объекты длительное время.

Конечно, проблему трекинга ещё не до конца решили. Этот метод довольно медленно работает (далеко не реал-тайм), и все ещё страдает от очень быстрых и неригидных трансформаций объектов. Но несмотря на это, мы имеем серьезный скачок в качестве.

Кода, к сожалению, пока нет. Но надеюсь, скоро появится.

Читать на Arxiv. Либо смотреть картинки на сайте проекта.

@ai_newz

GeneX: Generative World Explorer

Интересная работа.
Модель обучили ориентироваться в пространстве подобно человеку, учитывая известные объекты вне поля зрения

#news #worldunderstanding

Spline Hana

3D генератор/редактор Spline выкатил новый холст для интерактивного дизайна. Анимация, триггеры на события, совместная работа

Под капотом движок, мгновенно рендерящий векторные элементы

Там есть комьюнити и галерея где можно поковыряться в чужих проектах

Сервис платный но видимо есть какой-то бесплатный функционал

Попробовать
Туториалы

#gaussian #3d #realtime #interactive #design