Small Data Science for Russian Adventurers
11.2K subscribers
300 photos
3 videos
13 files
702 links
БЕЗ ЧУЖОЙ РЕКЛАМЫ Авторский канал Александра Дьяконова (dyakonov.org)
машинное (machine learning) и
глубокое обучение (deep learning)
анализ данных (data mining)
наука о данных (data science)
ИИ (artificial intelligence)
математика (math)
и др.
ЕСТЬ ЧАТ;)
加入频道
#полезно
Ресурс про управление проектами: блог-посты, книги, видео. Не знаю, насколько тут ценная информация для PM-ов, но мне многие материалы показались любопытными.
https://www.projectsmart.co.uk/
#видео
Несколько видео этого года про глубокое обучение в физике:
http://www.physicsmeetsml.org
#конференции
Зимняя научная школа по теоретической физике:
https://itmp.msu.ru/winter-school/
#рейтинг
Web of Science каждый год выкладывает список самых высокоцитируемых учёных. В этом году их 6602, из них только 6 из России:
https://recognition.webofscience.com/awards/highly-cited/2021/
#забавно
В научных журналах не принято публиковать отрицательные результаты, типа «пробовали и не получилось». Тем более сложно представить, что этому посвящена целая статья… «у нас ничего не получилось», хотя в 80% случаев так и выходит. На этом фоне выглядит забавным, что когда-то пытались сделать целый журнал про отрицательные результаты, собрали представительную редакцию, дали рекламу… за время существования журнала в него была одобрена только одна статья:
http://jinr.site.uottawa.ca

П.С. Есть ещё несколько аналогичных журналов, но они также не изобилуют статьями:
http://www.jnr-eeb.org/index.php/jnr/index
https://www.negative-results.org
картинка к вопросу ниже...
#статья
По поводу последнего вопроса. Есть даже статьи, в которых изучаются такие "неправильные" генерации. Одна из свежих, например:
Terence Broad, Sebastian Berns, Simon Colton, Mick Grierson "Active Divergence with Generative Deep Learning -- A Survey and Taxonomy" // https://arxiv.org/abs/2107.05599v1
(рис. из неё)
#визуализация
Нашёл конкурента distill.pub, пока тут всего 3 заметки, зато красочно оформлены:
https://mlu-explain.github.io/
#статьи
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:

Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf

Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!

Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1

Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.

Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1

Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.

Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2

Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.

Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1

Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.

Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2

Про использование GANов для детектирования аномалий (довольно любопытное направление).

Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5

Довольно интересный по задумке обзор: трюки, используемые в GANах.

Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1

Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.

Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1

Беглый обзор, мало подробностей и сводных таблиц.

Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1

Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.

Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2

Добавил до кучи - этот уже устаревший.
#чужие_блоги
Неизвестный, но неплохой блог про речевые технологии и анализ текста. Есть обзоры с рисунками wav2vec1/2, SSL и т.п.
https://jonathanbgn.com/
#чужие_блоги
У Артёма Груздёва есть блог на медиуме, пока не очень популярный, но полезный. Последняя заметка в интересном формате - ответы на вопросы (тоже хочу подобное сделать):
https://medium.com/@rcgewissta/ответы-на-вопросы-учеников-1-db5f439015bc
#код
Сам не пробовал, но когда-то что-то подобное было актуально. Только вот автоматический выбор размера батча проблемы с памятью не решит.
https://github.com/rentruewang/koila
#статья
Мой коллега Дмитрий Ватолин написал лонгрид по мотивам работы своей лаборатории, посвящённый году науки! Если не можете комментировать на хабре - напишите здесь, что думаете по поднятым вопросам. Мне кажется, что мнения будут полярными;)
https://habr.com/ru/post/598305/
#статья
На тему, а можно ли использовать открытые датасеты...
https://arxiv.org/abs/2111.02374v1
Всех с Новым годом!
Побольше вокруг конструктива, позитива и креатива.
Всем здоровья, материального благополучия и самореализации.