GaussianObject: Just Taking Four Images to Get A High-Quality 3D Object with Gaussian Splatting

А вот пожалуйста опенсорс. И не не нерфы, а более быстрые и легкие гауссианы. Реконструкция объемного объекта по всего 4 ракурсам. Под капотом гауссианам помогают SAM, zoe-depth, SD, controlnet

Код
Колаб

#imageto3D #novelview #rendering #gaussian

Автодеск купил Wonder Dynamics

новость

#news

Devon: An open-source pair programmer

Еще одна попытка сделать опенсорсный аналог ассистента программиста Devin. Под капотом API OpenAI/Anthropic/Groq - понадобится ключ API. В планах поддержка Ollama llama3-70b + 7b и Google Gemini 1.5 Pro

Гитхаб

#coding #assistant

RTX видео в Firefox

Mozilla Firefox вслед за VLC в последней стабильной версии внедрил технологию NVIDIA RTX Video на Windows.

Это означает улучшение качества видео, воспроизводимого в браузере.
Новинка состоит из двух фич.

RTX Video Super Resolution масштабирует видео с низким разрешением для получения более чистых и четких изображений.

RTX Video HDR улучшает видимость, детализацию и яркость.

Как включить фичу:

- Обновите драйвер GeForce RTX Game Ready до последней версии, драйвер NVIDIA Studio или NVIDIA RTX Enterprise.
- Убедитесь, что функции Windows HDR включены, перейдя в меню Система > Дисплей > HDR.
- Откройте панель управления NVIDIA и перейдите к настройкам видеоизображения > RTX Video Enhancement.
- Включите “Super Resolution” и “High Dynamic Range.”

👍 - обновлю/установлю Firefox
👎 - неинтересно
😐 - эх, где мои винды

#superresolution #upscale #hdr #enhance #news

Итак, Microsoft Build.
- Team Copilot: офигенная штука, судя по видео, такой типа еще один сотрудник, который может вести заметки на встрече, на вопросы отвечать, задачи сам ставить, генерировать ответы и запрашивать дополнительную информацию. MS прям делает "AI-сотрудников" и я бы даже сказал менеджеров )

- Copilot Studio: Такой Robotic Process Automation на максималках! Платформа для создания кастомных копилотов, которые могут процессы автоматизировать, причем вызывая разные приложения, динамически адаптируясь, обращаясь к человеку, если что-то непонятно или не хватает данных. Ну это прям новый уровень вообще! Настроил авто-обработку документов и сидишь пьешь смузи )

- Phi Silica: Локальная маленькая моделька, заточенная на нейропроцессоры новых ноутов Copilot + PC. И можно по API к ней обращаться. Я думаю, что ноуты эти распространятся лет через 5, но пока просто показываем.

- Phi-3-Vision: Новая визуальная хорошая маленькая моделька от MS (4B параметров). Тоже оптимизированная для локального применения. Ну и еще Small и Medium обновили на 7 и 14B.

- Real-time Intelligence в Fabric: Будет теперь искать аномалии и нотификации присылать в реальном времени, если что необычного с вашими данными происходит

- GitHub Copilot Extensions: Можно интегрировать сторонные тулы и тогда AI сможет данные из них подсасывать

- Azure AI Search: Оптимизировали поиск по большим данным, гибридный поиск (и по векторам, и по тексту), так что теперь все быстрее и лучше, и для LLM.

- Azure AI Studio: создавай GenAI проекты с кучей моделек, мониторингом, безопасностью, оркестрацией агентов, файн-тюнингом и все в удобном интерфейсе. Звучит прям как сильный конкурент Vertex AI наконец-то

- Azure OpenAI Services: добавили GPT-4o (обычно с задержкой в пару месяцев появлялось все), файнтюнинг простой, Assistants API

- Cognition + Microsoft: воу-воу, Devin (тот самый AI-разработчик) будет совместно с MS разрабатываться и доступен в Azure.

Ну это прям дофига всего, И для разработчиков, и для бизнес-пользователей действительно полезно.

Видосы:
https://youtu.be/4k2T5sfGIP4
https://youtu.be/5H6_pCUt-mk
https://youtu.be/JI6IQvSLP9M

Krea.ai Video

В Krea.ai теперь можно генерить видео. Закидываем несколько ключевых кадров, добавляем к ним промпты, выбираем стиль и интенсивность движения. Хронометраж до 10 секунд

#image2video

Open Remove Background Model (ormbg)

Полностью опенсорсный удалятор фона, подобный rembg, обученный на изображениях людей

Демо

#image2image #backgroundremoval

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

Что-то похожее на LoRA для LLM, но более лучшее.
Ждем в ComfyUI?

Гитхаб

#finetuning

Gen Dino Runner

В честь Дня динозавров гугл обновил свою браузерную миниигру, теперь вместо динозаврика можно сгенерить своего персонажа и препятствия

#news #gaming

На HuggingFace появилась фича Use this model для запуска LLM и Text-2-Image моделей у себя локально через желаемый софт.

В настройках хаггинг аккаунта заходим в раздел Local Apps and Hardware. Можно здесь задать своё железо, но на фильтрацию AI-приложений похоже это не влияет. Я с ноута, где стоит двухгиговая 1050 запустил ламу 3 в Jan, всё ок.

Ставим галочки на софте, который вы используете для того, чтобы гонять модели локально. Для работы с текстом поддерживаются llama.cpp, LM Studio, Jan, Backyard AI. С картинками пока только Draw Things и, скоро, DiffusionBee, но они обе только на мак.

Нажимаем Browse Compatible Models —> выбираем приглянувшуюся нейронку —> кликаем Use this model в правом верхнем углу —> выбираем в каком софте запустить, и через диплинк в нём откроется окно для загрузки модели. Можно и просто исследуя хаггинг открыть понравившуюся нейронку нажав Use this model.

Доступны, в основном, квантизированные GGUF версии, которые можно скачать либо целиком, либо они состоят из нескольких частей и для работы понадобится скачать их все как архив из множества кусков (они обычно подписаны part_N). Чтобы понять какую модель грузить, можно глянуть страницу с описанием на хаггинге, если там про это есть. В противном случае качайте, то что как вам кажется нормально запуститься в памяти вашей видюхи. Как только модель загружена — можно генерить.

Если вы пилите своё приложение для запуска локальных моделей, то нажав Suggest a new local app вы можете предложить добавить его в список.