Как доминировать на тех интервью по Machine Learning и Computer Science

👉 https://hav4ik.github.io/articles/how-to-dominate-on-tech-interviews

В блог посте разбираются типовые задачки, основанные на Geek4Geeks: top interview questions, и приведены примеры ответов на вопросы, которые помогут вам доминировать на этапе тех интервью. Вот список тем, которые разбираются в блог посте:
• Graph Algorithms
• Backtracking Algorithms
• Combinatorics

18 месяцев назад: "Обучение NeRF занимает 5 часов..."
2 месяца назад: «Обучение NeRF занимает 5 минут!»
Вчера: «Обучение NeRF занимает 5 секунд!!??»

Умелые инженеры из NVIDIA поженили мульти-скейл хеш таблицу, реализованную на CUDA, с методом NeRF.
Результат: трейн занимает несколько секунд, рендеринг новой сцены делают за десятки миллисекунд в разрешении 1920x1080 🤯.

Конечно, не все так просто. Препроцессинг требует получить позиции камер, используя SfM алгоритмы, например COLMAP, ну а это требует побольше чем пару секунд времени.

Сцена на видео выше тоже довольно громоздкая и тренировка метода заняла несколько минут.

Статья "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
>> Pdf >> Project page >> Code

А вот и применение AlphaFold подъехало: в тот же самый день, когда ВОЗ окрестила новый штамм covid-19 "Омикроном" и были начаты исследования его генома, ученый Колби Форд из университета Северной Каролины завел AlphaFold на последовательности аминокислот этого вируса и опубликовал результаты в сети.

В публикации Форд поделился предсказанной с помощью AlphaFold формой белка вируса, а также своими соображениями насчет того, что Омикрон должен быть более устойчив ко многим известным лекарствам и вакцинам. Предсказания оказались на удивление верными: позиции центральных атомов в предсказанной AlphaFold модели отличались от настоящих на ~пол ангстрема (это примерно радиус атома водорода). Предсказания насчет устойчивости Омикрона к многим антителам, как мы уже знаем, также оказались верны.

Ученый провел эксперименты и выложил статью до того, как были полученные первые лабораторные результаты по Омикрону. Похоже, что у технологий вроде AlphaFold действительно есть большой потенциал помощи человечеству: особенно в тех случаях, когда исследование вируса занимает много времени.

Ссылки:
Статья на bioRxiv
Статья Wired

А вот еще свежие применения AI для борьбы с вирусами:
- BioNTech совместно с InstaDeep разработали AI для предсказания потенциально опасных мутаций covid-19. Тест показал, что система успешно предсказывает ближайшие мутации и уровень их угрозы для человека;
- В России представили AI-алгоритм BiteNet для поиска новых противовирусных препаратов. Модель анализирует РНК- и ДНК-структуры вирусов и находит в них уязвимые места, на которые могут потенциально воздействовать новые лекарства.
- В Швейцарии разработали AI-алгоритм для определения уровня устойчивости бактерий к различным антибиотикам. Также модель помогает находить уязвимости бактерий, на основе которых могут быть разработаны новые лекарства.

Grokking: оверфиттинг это ещё не конец (by OpenAI)

Все мы знаем, что если обучающих данных мало, то модель скорее всего заоверфиттится, запомнив весь датасет. Но оказалось, что если в этот момент не останавливать обучение и продолжать его даже при нулевой ошибке на трейне, то через какое-то время нейронка всё-таки научится обобщать.

У OpenAI таким образом удалось обучить небольшой трансформер решать уравнения, которые он никогда не видел! Грубо говоря, модель смогла заполнить пропущенные слоты в таблице умножения. При этом такая супер-обобщающая способность наступала гораздо позднее оверфиттинга, когда большинство из нас уже выкинули бы модель в помойку.

Похоже, что самую важную роль в этом эффекте играет weight decay, благодаря которому модель в конце-концов переходит от простого запоминания обучающих примеров к аналитическому решению задачи. Из интересных наблюдений — при визуализации эмбеддингов видны математические структуры, помогающие находить ответы.

Статья, видео

👩‍🎓🧪👨‍🎤 Библиотека MMGeneration — все что нужно для обучения работы с GAN и не только в одном месте!

MMGeneration — это мощный PyTortch инструментарий для генеративных моделей от создателей MMDetection.

MMDetection подходит для обучения: Unconditional GANs, Internal GANs и даже Image Translation Models

MMDetection сожержит огромный инструментарий для манипуляции: GAN interpolation, GAN projection и GAN manipulations

MMGeneration включает в себя
🎨 Unconditional GANs:
✅ DCGAN (ICLR'2016)
✅ WGAN-GP (NIPS'2017)
✅ LSGAN (ICCV'2017)
✅ GGAN (arXiv'2017)
✅ PGGAN (ICLR'2018)
✅ StyleGANV1 (CVPR'2019)
✅ StyleGANV2 (CVPR'2020)
✅ Positional Encoding in GANs (CVPR'2021)

🐍 Conditional GANs:
✅ SNGAN (ICLR'2018)
✅ Projection GAN (ICLR'2018)
✅ SAGAN (ICML'2019)
✅ BIGGAN/BIGGAN-DEEP (ICLR'2019)

🎭 Image2Image Translation:
✅ Pix2Pix (CVPR'2017)
✅ CycleGAN (ICCV'2017)

🛫 Internal Learning:
✅ SinGAN (ICCV'2019)

🌬 Denoising Diffusion:
✅ Improved DDPM (arXiv'2021)

#всохраненки

Ресерчеры из Meta AI масштабировали разреженные языковые модели до 1.1 триллиона параметров. Причем сделали это эффективно и показали, что они требует в 4 раза меньше ресурсов чем сравнимые по точности плотные (dense) модели.

Подробнее в статье Efficient Large Scale Language Modeling with Mixtures of Experts.

❗️ConvNeXt действительно офигенная работа, но диаграмму нужно поправить.

Помните ConvNeXt, который показывает, что прошлое поколение еще может гордиться своими свертками.

Так вот, по мнению (твит) Lucas Beyer Fig.1 нуждается в небольшой поправке. Ребята и FAIR сравнивают aug/reg SWIN+ConvNeXt с оригинальным (ванильным) ViT. Google Research Brain Team исправили это в How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers.

Имхо, вполне было бы логично сравнивать SWIN и ConvNeXt модели с сильными аугментациями и регуляризацими с таким же по сути уже не "ванильным" ViT.

Пейпер ConvNeXt достаточно крут еще и с точки зрения того, как стоит проводить бенчмарк анализ влияния разных методов и идей. Стоит сказать, что подобный подход применим и к трансформерам: SWIN-V2 и How to train you ViT показали, что небольшие изменения в операциях и в регуляризациях + аугментациях дают значимый буст. Пока рано сдаваться, Трансформеры. Ждем ViT-2.

С наилучшими пожеланиями, Мишин Лернинг!

💃 HomeStylist v.1.0 🕺

Сегодня выкатили нейросеть, которая может не только менять позу, но и переодевать человека на фотографии. Код есть, а Колаба небыло. Я исправил это недоразумение. Сделал его удобным на столько, на сколько это вообще возможно, ибо чтобы завести эту нейросеть пришлось клонировать еще парочку, но оно того стоило. Качество синтезированного изображения на высоте. Разрешение, конечно, 512 по большей стороне, но те, кому нужно, прогонят дополнительно через какой-нибудь апскейлер.

https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/HomeStylist.ipynb

Го тестить на что способна почти SOTA сверточная сеть в эпозу визуальных трансформеров.

Потестил на генерации DALL-E. Ну неплохо, но сгенерить такое, имхо, круче, чем классифицировать.

🤗 ConvNeXt Demo

😭 Сделал диаграмму ConvNeXt с поправкой на How to train your ViT? и на EfficientNetV2

Работа подписчика
"Попытался сделать Ёжика в тумане в стиле Шишкина"

• Colab

🎓 Music Theory

Немного оффтопа. Нашёл чудесный канал и плейлист по теории музыки. Так что если для Вас функциональная гармония — нечто привычное и Вас не пугают некоммутативные (не Абелевы) группы, то милости прошу. Язык достаточно легкий, подача тоже.

🎼 Music Theory

Как мне подойти к задаче классфификации/QA/NER/...? В чатах можно часто услышать такие вопросы. И несмотря на обилие туториалов по всем стандартным задачам NLP, я пока что не видел хорошего места, куда можно было бы послать людей, где есть все эти задачки.

Теперь такое место есть! 🤗 Tasks

Вы выбираете задачу, которая вас волнует: классификация, QA, NER, MT, суммаризация, генерация, схожесть текстов

На каждую из них есть короткая лекция, описываются вариации задачи, есть ссылки на датасеты и предобученные модели. Самое главное: есть ссылки на A) хороший ноутбук, который подробно, но доступно описывают как применить условный BERT к этой задаче B ) хорошо задокументированный скрипт, который вы можете легко подогнать под свою задачу.

Кроме этого есть ссылки на релевантные блогпосты, которые могут рассматривать задачу с разных сторон. В общем советую теперь слать людей на 🤗 Tasks.