#визуализация
Нашёл конкурента distill.pub, пока тут всего 3 заметки, зато красочно оформлены:
https://mlu-explain.github.io/

#статьи
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:

Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf

Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!

Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1

Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.

Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1

Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.

Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2

Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.

Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1

Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.

Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2

Про использование GANов для детектирования аномалий (довольно любопытное направление).

Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5

Довольно интересный по задумке обзор: трюки, используемые в GANах.

Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1

Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.

Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1

Беглый обзор, мало подробностей и сводных таблиц.

Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1

Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.

Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2

Добавил до кучи - этот уже устаревший.

#чужие_блоги
Неизвестный, но неплохой блог про речевые технологии и анализ текста. Есть обзоры с рисунками wav2vec1/2, SSL и т.п.
https://jonathanbgn.com/

#чужие_блоги
У Артёма Груздёва есть блог на медиуме, пока не очень популярный, но полезный. Последняя заметка в интересном формате - ответы на вопросы (тоже хочу подобное сделать):
https://medium.com/@rcgewissta/ответы-на-вопросы-учеников-1-db5f439015bc

#видео
Доклад с семинара про один из ГАНов:
https://youtu.be/82b5A6Bskus

#код
Сам не пробовал, но когда-то что-то подобное было актуально. Только вот автоматический выбор размера батча проблемы с памятью не решит.
https://github.com/rentruewang/koila

#статья
Мой коллега Дмитрий Ватолин написал лонгрид по мотивам работы своей лаборатории, посвящённый году науки! Если не можете комментировать на хабре - напишите здесь, что думаете по поднятым вопросам. Мне кажется, что мнения будут полярными;)
https://habr.com/ru/post/598305/

#статья
На тему, а можно ли использовать открытые датасеты...
https://arxiv.org/abs/2111.02374v1

#видео
Уже старенький доклад с семинара про активную разметку, но решил всё-таки выложить...
https://www.youtube.com/watch?v=VbBzWZL5gds

#статья
Подборка статей для чтения на праздниках:
https://chernobrovov.ru/articles/40-samyh-interesnyh-statej-po-data-science-za-2021-god.html

#блог
Предновогодняя заметка про один из самых популярных и перспективных видов нейросетей:
https://dyakonov.org/2021/12/30/gnn/

Всех с Новым годом!
Побольше вокруг конструктива, позитива и креатива.
Всем здоровья, материального благополучия и самореализации.

Немного статистики канала по прошлому году… что-то очень много подписчиков для канала, который создавался «для своих». В начале года будет много ссылок на разные курсы, поскольку их просмотром я сейчас и занимаюсь. В канале включены «реакции». Если Вы вдруг не понимаете, что это такое, запустите телеграм через VPN (тогда он обновится должным образом). Теперь можно дизлайкать посты;)

Первого января на arxiv был залит такой довольно приличный обзор по матричным разложениям: https://arxiv.org/abs/2201.00145
Правда, автор раньше уже заливал в более полном виде: https://arxiv.org/pdf/2107.02579.pdf
В любом случае обзор хорош (с доказательствами) и это первая статья, которую я посмотрел в новом году.

#книга
ANDREW FERLITSCH «Deep Learning Patterns and Practices»
Глубокое обучение вряд ли по этой книге можно выучить, но в качестве быстрого повтора (подготовки к экзамену или собесу) подойдёт. Идея книги неплохая и оригинальная систематизация тоже. Есть примеры на керасе. Поясняется много терминов из мира машинного обучения. Из минусов - много чего нет (рекуррентных сетей и трансформеров, например).

#курс
Началось чтение курса Statistical Rethinking (2022 Edition).
Выглядит очень симпатичным. Есть видео и слайды. Из условных минусов - примеры кода на R.
https://github.com/rmcelreath/stat_rethinking_2022

#курс
И ещё один классный курс "Вероятностное машинное обучение" - Probabilistic Machine Learning (Summer 2020). Хорошо продуман, "крафтовый". Про сэмплирование, MCMC, гауссовские процессы и многое другое.
https://uni-tuebingen.de/en/fakultaeten/mathematisch-naturwissenschaftliche-fakultaet/fachbereiche/informatik/lehrstuehle/methoden-des-maschinellen-lernens/lehre/probabilistic-machine-learning/

#новости
К вопросу будут ли у ИИ права собственности:
https://rg.ru/2022/01/12/iskusstvennomu-intellektu-otkazali-v-prave-izobretat.html

#забавно
Небольшая мотивирующая история... вот эта работа 2004го года Давида Лойе имеет более 65 тысяч цитирований. Её первые версии подавались аж в конце 90х на ICCV 97, CVPR 98 и были отвергнуты... успех пришёл только через 7 лет.

#образование
В прошлом году 1 апреля была новость о новой должности в вузах - "цифровом ректоре". День дурака прошёл, а цифровые ректоры остались:
https://tass.ru/obschestvo/13490925