HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video
abs: https://arxiv.org/abs/2201.04127
project page: https://grail.cs.washington.edu/projects/humannerf/

Узнаём калорийность блюда по фото.

Под капотом RuDOLHP точно настроенный для задачи image2text для прогнозирования калорийности пищи.

• RuDOLHP подробнее

• Попробовать

🧙‍♂️ A ConvNet for the 2020s: Пока трансформеры выиграли битву, но не войну

📰 Ресерчеры из FAIR и Berkeley спроектировали ConvNeXts, проанализировав пределы чисто-Сверточных Сетей в эпоху Трансформеров. (Костя, Спасибо за новость!)

Двадцатые года второго тысячелетия начались с доминации трансформеров в задачах компьютерного зрения! Да, здравствует ViT, прощай ResNet! И Трансформеры быстро вытеснили Сверточные Сети. С другой стороны, ванильный ViT сталкивается с трудностями при применении к таким задачам, как детекция и сегментация. Иерархические трансформеры (Swin) сделали Трансформеры не просто сверх-жизнеспособными, а универсальной основой современного машинного зрения. Но своей силе SWIN больше обязан механизму внимания, нежели inductive bias, предложенному в SWIN.

Ресерчеры постепенно модернизировали ResNet в сторону ViT, и создали семейство ConvNeXt, достигнув 87,8% ImageNet Top-1, обойдя Swin на детекции COCO и сегментации ADE20K, сохраняя простоту и эффективность стандартных ConvNet.

📑 paper 💻 git

🧠 Google AI Blog | Google Research: Themes from 2021 and Beyond

📣 TL;DR Summarization of Google Research's works and achievements in 2021

Вышел крутой блокпост, где выделено пять различных трендов, для каждого из которых приведены исследования (в основном с 2021 года), а так же сделан прогноз того, что мы, вероятно, увидим в ближайшие пару лет.

Тренды:
· 1. Более функциональные модели машинного обучения общего назначения
· 2. Постоянное повышение эффективности машинного обучения
· 3. Повышение пользы машинного обучения для личности и общества
· 4. Растущие влияние машинного обучения в науке и здравоохранении
· 5. Более глубокое понимание глубокого обучения

📇 Blog Post | Google Research: Themes from 2021 and Beyond

p.s.: Скажем Chan Kha Vu, спасибо за ссылку, поставим 👍

Как доминировать на тех интервью по Machine Learning и Computer Science

👉 https://hav4ik.github.io/articles/how-to-dominate-on-tech-interviews

В блог посте разбираются типовые задачки, основанные на Geek4Geeks: top interview questions, и приведены примеры ответов на вопросы, которые помогут вам доминировать на этапе тех интервью. Вот список тем, которые разбираются в блог посте:
• Graph Algorithms
• Backtracking Algorithms
• Combinatorics

18 месяцев назад: "Обучение NeRF занимает 5 часов..."
2 месяца назад: «Обучение NeRF занимает 5 минут!»
Вчера: «Обучение NeRF занимает 5 секунд!!??»

Умелые инженеры из NVIDIA поженили мульти-скейл хеш таблицу, реализованную на CUDA, с методом NeRF.
Результат: трейн занимает несколько секунд, рендеринг новой сцены делают за десятки миллисекунд в разрешении 1920x1080 🤯.

Конечно, не все так просто. Препроцессинг требует получить позиции камер, используя SfM алгоритмы, например COLMAP, ну а это требует побольше чем пару секунд времени.

Сцена на видео выше тоже довольно громоздкая и тренировка метода заняла несколько минут.

Статья "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
>> Pdf >> Project page >> Code

А вот и применение AlphaFold подъехало: в тот же самый день, когда ВОЗ окрестила новый штамм covid-19 "Омикроном" и были начаты исследования его генома, ученый Колби Форд из университета Северной Каролины завел AlphaFold на последовательности аминокислот этого вируса и опубликовал результаты в сети.

В публикации Форд поделился предсказанной с помощью AlphaFold формой белка вируса, а также своими соображениями насчет того, что Омикрон должен быть более устойчив ко многим известным лекарствам и вакцинам. Предсказания оказались на удивление верными: позиции центральных атомов в предсказанной AlphaFold модели отличались от настоящих на ~пол ангстрема (это примерно радиус атома водорода). Предсказания насчет устойчивости Омикрона к многим антителам, как мы уже знаем, также оказались верны.

Ученый провел эксперименты и выложил статью до того, как были полученные первые лабораторные результаты по Омикрону. Похоже, что у технологий вроде AlphaFold действительно есть большой потенциал помощи человечеству: особенно в тех случаях, когда исследование вируса занимает много времени.

Ссылки:
Статья на bioRxiv
Статья Wired

А вот еще свежие применения AI для борьбы с вирусами:
- BioNTech совместно с InstaDeep разработали AI для предсказания потенциально опасных мутаций covid-19. Тест показал, что система успешно предсказывает ближайшие мутации и уровень их угрозы для человека;
- В России представили AI-алгоритм BiteNet для поиска новых противовирусных препаратов. Модель анализирует РНК- и ДНК-структуры вирусов и находит в них уязвимые места, на которые могут потенциально воздействовать новые лекарства.
- В Швейцарии разработали AI-алгоритм для определения уровня устойчивости бактерий к различным антибиотикам. Также модель помогает находить уязвимости бактерий, на основе которых могут быть разработаны новые лекарства.

Grokking: оверфиттинг это ещё не конец (by OpenAI)

Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.

У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.

Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.

Статья, видео

👩‍🎓🧪👨‍🎤 Библиотека MMGeneration — все что нужно для обучения работы с GAN и не только в одном месте!

MMGeneration — это мощный PyTortch инструментарий для генеративных моделей от создателей MMDetection.

MMDetection подходит для обучения: Unconditional GANs, Internal GANs и даже Image Translation Models

MMDetection сожержит огромный инструментарий для манипуляции: GAN interpolation, GAN projection и GAN manipulations

MMGeneration включает в себя
🎨 Unconditional GANs:
✅ DCGAN (ICLR'2016)
✅ WGAN-GP (NIPS'2017)
✅ LSGAN (ICCV'2017)
✅ GGAN (arXiv'2017)
✅ PGGAN (ICLR'2018)
✅ StyleGANV1 (CVPR'2019)
✅ StyleGANV2 (CVPR'2020)
✅ Positional Encoding in GANs (CVPR'2021)

🐍 Conditional GANs:
✅ SNGAN (ICLR'2018)
✅ Projection GAN (ICLR'2018)
✅ SAGAN (ICML'2019)
✅ BIGGAN/BIGGAN-DEEP (ICLR'2019)

🎭 Image2Image Translation:
✅ Pix2Pix (CVPR'2017)
✅ CycleGAN (ICCV'2017)

🛫 Internal Learning:
✅ SinGAN (ICCV'2019)

🌬 Denoising Diffusion:
✅ Improved DDPM (arXiv'2021)

#всохраненки