Что по мнению создателей BigGAN иллюстрировала такая картинка?
Anonymous Quiz
26%
class leakage
13%
feature distortion
8%
imagenet failure
18%
GAN distabilization
3%
urollmentation
33%
я ничего не понимаю, зашёл посмотреть ответ
#статья
По поводу последнего вопроса. Есть даже статьи, в которых изучаются такие "неправильные" генерации. Одна из свежих, например:
Terence Broad, Sebastian Berns, Simon Colton, Mick Grierson "Active Divergence with Generative Deep Learning -- A Survey and Taxonomy" // https://arxiv.org/abs/2107.05599v1
(рис. из неё)
По поводу последнего вопроса. Есть даже статьи, в которых изучаются такие "неправильные" генерации. Одна из свежих, например:
Terence Broad, Sebastian Berns, Simon Colton, Mick Grierson "Active Divergence with Generative Deep Learning -- A Survey and Taxonomy" // https://arxiv.org/abs/2107.05599v1
(рис. из неё)
#визуализация
Нашёл конкурента distill.pub, пока тут всего 3 заметки, зато красочно оформлены:
https://mlu-explain.github.io/
Нашёл конкурента distill.pub, пока тут всего 3 заметки, зато красочно оформлены:
https://mlu-explain.github.io/
mlu-explain.github.io
Visual explanations of core machine learning concepts.
#статьи
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:
Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf
Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!
Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1
Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.
Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1
Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.
Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2
Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.
Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1
Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.
Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2
Про использование GANов для детектирования аномалий (довольно любопытное направление).
Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5
Довольно интересный по задумке обзор: трюки, используемые в GANах.
Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1
Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.
Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1
Беглый обзор, мало подробностей и сводных таблиц.
Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1
Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.
Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2
Добавил до кучи - этот уже устаревший.
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:
Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf
Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!
Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1
Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.
Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1
Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.
Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2
Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.
Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1
Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.
Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2
Про использование GANов для детектирования аномалий (довольно любопытное направление).
Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5
Довольно интересный по задумке обзор: трюки, используемые в GANах.
Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1
Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.
Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1
Беглый обзор, мало подробностей и сводных таблиц.
Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1
Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.
Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2
Добавил до кучи - этот уже устаревший.
#чужие_блоги
Неизвестный, но неплохой блог про речевые технологии и анализ текста. Есть обзоры с рисунками wav2vec1/2, SSL и т.п.
https://jonathanbgn.com/
Неизвестный, но неплохой блог про речевые технологии и анализ текста. Есть обзоры с рисунками wav2vec1/2, SSL и т.п.
https://jonathanbgn.com/
Jonathan Bgn
Building stuff with machine learning and natural language processing.
#чужие_блоги
У Артёма Груздёва есть блог на медиуме, пока не очень популярный, но полезный. Последняя заметка в интересном формате - ответы на вопросы (тоже хочу подобное сделать):
https://medium.com/@rcgewissta/ответы-на-вопросы-учеников-1-db5f439015bc
У Артёма Груздёва есть блог на медиуме, пока не очень популярный, но полезный. Последняя заметка в интересном формате - ответы на вопросы (тоже хочу подобное сделать):
https://medium.com/@rcgewissta/ответы-на-вопросы-учеников-1-db5f439015bc
Medium
Ответы на вопросы учеников, 1
Как строить градиентный бустинг для временных рядов?
#код
Сам не пробовал, но когда-то что-то подобное было актуально. Только вот автоматический выбор размера батча проблемы с памятью не решит.
https://github.com/rentruewang/koila
Сам не пробовал, но когда-то что-то подобное было актуально. Только вот автоматический выбор размера батча проблемы с памятью не решит.
https://github.com/rentruewang/koila
GitHub
GitHub - rentruewang/koila: Prevent PyTorch's `CUDA error: out of memory` in just 1 line of code.
Prevent PyTorch's `CUDA error: out of memory` in just 1 line of code. - rentruewang/koila
#статья
Мой коллега Дмитрий Ватолин написал лонгрид по мотивам работы своей лаборатории, посвящённый году науки! Если не можете комментировать на хабре - напишите здесь, что думаете по поднятым вопросам. Мне кажется, что мнения будут полярными;)
https://habr.com/ru/post/598305/
Мой коллега Дмитрий Ватолин написал лонгрид по мотивам работы своей лаборатории, посвящённый году науки! Если не можете комментировать на хабре - напишите здесь, что думаете по поднятым вопросам. Мне кажется, что мнения будут полярными;)
https://habr.com/ru/post/598305/
Хабр
О русской науке замолвите слово или за что я люблю Тинькофф, часть 1
Так сложилось, что я уже много лет руковожу научной группой, а с недавних пор лабораторией в МГУ. При этом львиная доля финансирования нашей лаборатории идет от компаний. Изначально она была создана в...
#видео
Уже старенький доклад с семинара про активную разметку, но решил всё-таки выложить...
https://www.youtube.com/watch?v=VbBzWZL5gds
Уже старенький доклад с семинара про активную разметку, но решил всё-таки выложить...
https://www.youtube.com/watch?v=VbBzWZL5gds
YouTube
SEM2021: Дьяконов Александр "Разметка с помощью GPT-3 и «Active Labeling»"
13.10.2021 доклад про "активную разметку данных" с помощью чёрных ящиков
слайды: https://github.com/Dyakonov/MSU/blob/master/SEMINARS/20211013_DyakonovA_GPTlabel.pdf
руководитель семинара и докладчик: Дьяконов Александр (https://dyakonov.org/ag/)
слайды: https://github.com/Dyakonov/MSU/blob/master/SEMINARS/20211013_DyakonovA_GPTlabel.pdf
руководитель семинара и докладчик: Дьяконов Александр (https://dyakonov.org/ag/)
#блог
Предновогодняя заметка про один из самых популярных и перспективных видов нейросетей:
https://dyakonov.org/2021/12/30/gnn/
Предновогодняя заметка про один из самых популярных и перспективных видов нейросетей:
https://dyakonov.org/2021/12/30/gnn/
Анализ малых данных
Графовые нейронные сети
Мы расскажем про популярный класс нейронных сетей – графовые сети. Манера повествования позволит понять, как они устроены, даже новичкам в машинном обучении, однако обзор видов сетей и конструкций …
Всех с Новым годом!
Побольше вокруг конструктива, позитива и креатива.
Всем здоровья, материального благополучия и самореализации.
Побольше вокруг конструктива, позитива и креатива.
Всем здоровья, материального благополучия и самореализации.
Немного статистики канала по прошлому году… что-то очень много подписчиков для канала, который создавался «для своих». В начале года будет много ссылок на разные курсы, поскольку их просмотром я сейчас и занимаюсь. В канале включены «реакции». Если Вы вдруг не понимаете, что это такое, запустите телеграм через VPN (тогда он обновится должным образом). Теперь можно дизлайкать посты;)
Первого января на arxiv был залит такой довольно приличный обзор по матричным разложениям: https://arxiv.org/abs/2201.00145
Правда, автор раньше уже заливал в более полном виде: https://arxiv.org/pdf/2107.02579.pdf
В любом случае обзор хорош (с доказательствами) и это первая статья, которую я посмотрел в новом году.
Правда, автор раньше уже заливал в более полном виде: https://arxiv.org/pdf/2107.02579.pdf
В любом случае обзор хорош (с доказательствами) и это первая статья, которую я посмотрел в новом году.
#книга
ANDREW FERLITSCH «Deep Learning Patterns and Practices»
Глубокое обучение вряд ли по этой книге можно выучить, но в качестве быстрого повтора (подготовки к экзамену или собесу) подойдёт. Идея книги неплохая и оригинальная систематизация тоже. Есть примеры на керасе. Поясняется много терминов из мира машинного обучения. Из минусов - много чего нет (рекуррентных сетей и трансформеров, например).
ANDREW FERLITSCH «Deep Learning Patterns and Practices»
Глубокое обучение вряд ли по этой книге можно выучить, но в качестве быстрого повтора (подготовки к экзамену или собесу) подойдёт. Идея книги неплохая и оригинальная систематизация тоже. Есть примеры на керасе. Поясняется много терминов из мира машинного обучения. Из минусов - много чего нет (рекуррентных сетей и трансформеров, например).
#курс
Началось чтение курса Statistical Rethinking (2022 Edition).
Выглядит очень симпатичным. Есть видео и слайды. Из условных минусов - примеры кода на R.
https://github.com/rmcelreath/stat_rethinking_2022
Началось чтение курса Statistical Rethinking (2022 Edition).
Выглядит очень симпатичным. Есть видео и слайды. Из условных минусов - примеры кода на R.
https://github.com/rmcelreath/stat_rethinking_2022
#курс
И ещё один классный курс "Вероятностное машинное обучение" - Probabilistic Machine Learning (Summer 2020). Хорошо продуман, "крафтовый". Про сэмплирование, MCMC, гауссовские процессы и многое другое.
https://uni-tuebingen.de/en/fakultaeten/mathematisch-naturwissenschaftliche-fakultaet/fachbereiche/informatik/lehrstuehle/methoden-des-maschinellen-lernens/lehre/probabilistic-machine-learning/
И ещё один классный курс "Вероятностное машинное обучение" - Probabilistic Machine Learning (Summer 2020). Хорошо продуман, "крафтовый". Про сэмплирование, MCMC, гауссовские процессы и многое другое.
https://uni-tuebingen.de/en/fakultaeten/mathematisch-naturwissenschaftliche-fakultaet/fachbereiche/informatik/lehrstuehle/methoden-des-maschinellen-lernens/lehre/probabilistic-machine-learning/