RunwayML добавили тестовое управление камерой!

Нейронные сети, генерирующие видео сейчас — объект пристального внимания. Несмотря на то, что они позволяют делать красивые и оригинальные вещи — управляемость у них слабая, для серьезных проектов они пока не подходят.

Теперь в GEN2 можно управлять камерой, выставляя в настройках заготовленное движение: по горизонтали, по вертикали, зум или поворот вокруг оси. Результаты все еще не идеальные, но прогресс инструмента невероятный, каждые две недели они добавляют что-то новое и актуальное. В общем, Кристабаль Валенсуэла ни в чем не обманул!

Люди: изобрели промт «думай пошагово», улучшили производительность LLM, горды собой

LLM: придумал для себя промт «глубоко вдохни и подумай», улучшил производительность еще сильнее, забыл сообщить об этом кожаным

В данной таблице приведены примеры промтов, которые LLM делают сами для себя и их сравнительная эффективность.

Голосовые нейронки летят, конечно, на сверзуковой.

Тестирую одну (для перевода) на винтажных мемах.

Здесь вы можете сами сделать, до двух минут бесплатно: https://labs.heygen.com/video-translate

Конкурент Wonder Studio

Записаться в бету Simulon (только для iOS)

#rendering #AR

Только Runway выкатили возможность управлять камерой в генерациях, как Pika тут же выпустили такую же фичу! Чувствуете как атмосфера нагнетается, котаны?

Подробнее о фиче: камера управляется параметром -camera и работает с ОДНИМ из следующих типов движения:

* Zoom: приближаем/удаляем камеру через -camera zoom in/out.

* Панорамирование: двигаем камеру вверх/вниз/влево/вправо с помощью -camera pan up/down/left/right. Можно комбинировать два не конфликтующих направления, например, -camera pan up right.

* Поворот: вертим камеру по часовой стрелке или против часовой через -camera rotate clockwise/counterclockwise/anticlockwise или сокращения cw/ccw/acw.

Интенсивность движения камеры по-прежнему можно регулировать с помощью параметра -motion XX задавая от 1 до 4.

Другие обновления:
* -fps теперь по умолчанию стоит 24.
* Автоматический канал "upvotes" больше не доступен.

PS: anti-clockwise говорят в Британии, а counterclockwise говорят в Америке.... Теперь ты знаешь как генерить, заправляясь чайком.

Дискорд Pika
Пост с остальными параметрами для генерации

Fooocus 2.0.0

Анонсировано большое обновление Fooocus.

- мультистиль
- генерации v2 превосходят v1 по результатам в 87 случаях из 100
- лучшее понимание текста

#tools

https://www.youtube.com/watch?v=r5HLlNwOEoc
А вот и туториал который я обещал

Бесплатный доступ к API кончится 15 сентября, я вас предупредил

Morph Studio
Очередной конкурент на рынке генераторов видео по тексту

Инвайт в дискорд

#text2video

👃 У нейросетей появился нюх

Ученые из Google исследовали, как можно научить искусственный интеллект предсказывать запах вещества по его молекулярной структуре. Эта фундаментальная проблема в области цифрового обоняния долгое время оставалась нерешенной.

Для создания модели авторы использовали графовые нейронные сети – специальный тип нейросетей, хорошо работающий с графовыми данными. Молекулы очень удобно представлять в виде графов, где атомы – вершины, а связи – ребра. Такая структура позволяет эффективно анализировать особенности молекулы.

Модель обучалась на наборе из 5000 молекул с соответствующими запаховыми дескрипторами типа "цветочный", "фруктовый" и т.д. Затем ее проверили на 400 ранее не встречавшихся молекулах.

Результаты показали, что нейросеть описывает запахи новых веществ не хуже, чем средний человек! Более того, модель лучше справляется с задачей, чем предыдущие подходы на основе традиционных химических дескрипторов.

Полученная нейросетью "карта запахов" переносится и на другие задачи в области обоняния - например, определение схожести запахов разных веществ. Таким образом, исследователи создали универсальное средство для изучения мира запахов.

В будущем подобные модели могут использоваться для автоматического предсказания запаха еще не синтезированных молекул. Это поможет ускорить открытие новых ароматов и душистых веществ без дорогостоящего экспериментального тестирования.

📰 Статья

Подпишись на @nn_for_science

#mocap #tracking

Я бы хотел напомнить о безмаркерном решении для захвата движений - MoveAI.

Кроме захвата тела, вы можете трекать руки и пальцы, причем на очень высоком качестве. Это ли не счастье?

И немного офтопом хотелось бы подвайнить. Безусловно, сейчас огромное количество решений выходит в облачном виде, вам не нужно скачивать софт на компьютер. Где-то можно пользоваться триалами, где-то оформлять подписку.

Слишком много разделенных инструментов появилось, за которые нужно платить. Во-первых, нужно будет тратить много, чтобы выполнять свою работу быстрее и оставаться конкурентоспособным. Во-вторых, невозможно скачать эти решения с торрента. Это для тех, кто привык экономить на программном обеспечении. Так мы довольно быстро перейдем в облака. Про новую Винду тоже слухи ходят, что ее не нужно будет ставить на комп.

Я не сомневаюсь, что впереди нас ждут трудные времена, связанные с этим, но рано или поздно рынок решит и функционал станет более доступным. Но это будет потом.

Думаете, зря полыхаю?

Там вышел целый альбом от какого-то norimyxxxo. Выглядит, звучит и пахнет как Oxxxymiron, но это ИИ-творчество

#AImusic