#видео
Опять доклад с семинара, теперь по дистилляции данных.
https://www.youtube.com/watch?v=R3yLlLZ0IvQ
Опять доклад с семинара, теперь по дистилляции данных.
https://www.youtube.com/watch?v=R3yLlLZ0IvQ
YouTube
SEM2021: Кузнецов Михаил "Dataset Distillation with Infinitely Wide Convolutional Networks"
10.11.2021 доклад про последнюю статью о дистилляции данных
докладчик: Кузнецов Михаил (417 группа ВМК МГУ)
слайды: https://github.com/Dyakonov/MSU/blob/master/SEMINARS/20211110_KuznetsovM_DatasetDistillation.pdf
руководитель семинара: Дьяконов Александр…
докладчик: Кузнецов Михаил (417 группа ВМК МГУ)
слайды: https://github.com/Dyakonov/MSU/blob/master/SEMINARS/20211110_KuznetsovM_DatasetDistillation.pdf
руководитель семинара: Дьяконов Александр…
#юмор
Пожалуй, лучший словарь, который я видел в реальном коде:
Пожалуй, лучший словарь, который я видел в реальном коде:
#статья
Надо бы порекламировать первую статью Татьяны на хабре, тем более, что написано очень неплохо:
https://habr.com/ru/post/591779/
Надо бы порекламировать первую статью Татьяны на хабре, тем более, что написано очень неплохо:
https://habr.com/ru/post/591779/
Хабр
Inductive bias и нейронные сети
В этой статье я расскажу, что такое inductive bias, зачем он нужен и где встречается в машинном обучении. Спойлер: везде. Любая нейросеть имеет inductive bias (даже та, что в человеческом мозге,...
#видео
Если кому-то вдруг захотелось что-то узнать о нечётких множествах...
https://www.youtube.com/watch?v=AsSeXGJfVFM
Если кому-то вдруг захотелось что-то узнать о нечётких множествах...
https://www.youtube.com/watch?v=AsSeXGJfVFM
YouTube
лекция "Теория нечётких множеств"
нечёткие множества
T-нормы
операции над множествами
приложения
нечёткие отношения
нечёткий вывод
T-нормы
операции над множествами
приложения
нечёткие отношения
нечёткий вывод
#полезно
Ресурс про управление проектами: блог-посты, книги, видео. Не знаю, насколько тут ценная информация для PM-ов, но мне многие материалы показались любопытными.
https://www.projectsmart.co.uk/
Ресурс про управление проектами: блог-посты, книги, видео. Не знаю, насколько тут ценная информация для PM-ов, но мне многие материалы показались любопытными.
https://www.projectsmart.co.uk/
Project Smart
Project Smart: Learn About Project Management and Planning
Project Smart provides high-quality, ethical project management content and tools in an accessible form while encouraging an open discussion
#рейтинг
Web of Science каждый год выкладывает список самых высокоцитируемых учёных. В этом году их 6602, из них только 6 из России:
https://recognition.webofscience.com/awards/highly-cited/2021/
Web of Science каждый год выкладывает список самых высокоцитируемых учёных. В этом году их 6602, из них только 6 из России:
https://recognition.webofscience.com/awards/highly-cited/2021/
Webofscience
Highly Cited Researchers
Recognizing the world’s most influential researchers.
#забавно
В научных журналах не принято публиковать отрицательные результаты, типа «пробовали и не получилось». Тем более сложно представить, что этому посвящена целая статья… «у нас ничего не получилось», хотя в 80% случаев так и выходит. На этом фоне выглядит забавным, что когда-то пытались сделать целый журнал про отрицательные результаты, собрали представительную редакцию, дали рекламу… за время существования журнала в него была одобрена только одна статья:
http://jinr.site.uottawa.ca
П.С. Есть ещё несколько аналогичных журналов, но они также не изобилуют статьями:
http://www.jnr-eeb.org/index.php/jnr/index
https://www.negative-results.org
В научных журналах не принято публиковать отрицательные результаты, типа «пробовали и не получилось». Тем более сложно представить, что этому посвящена целая статья… «у нас ничего не получилось», хотя в 80% случаев так и выходит. На этом фоне выглядит забавным, что когда-то пытались сделать целый журнал про отрицательные результаты, собрали представительную редакцию, дали рекламу… за время существования журнала в него была одобрена только одна статья:
http://jinr.site.uottawa.ca
П.С. Есть ещё несколько аналогичных журналов, но они также не изобилуют статьями:
http://www.jnr-eeb.org/index.php/jnr/index
https://www.negative-results.org
Что по мнению создателей BigGAN иллюстрировала такая картинка?
Anonymous Quiz
26%
class leakage
13%
feature distortion
8%
imagenet failure
18%
GAN distabilization
3%
urollmentation
33%
я ничего не понимаю, зашёл посмотреть ответ
#статья
По поводу последнего вопроса. Есть даже статьи, в которых изучаются такие "неправильные" генерации. Одна из свежих, например:
Terence Broad, Sebastian Berns, Simon Colton, Mick Grierson "Active Divergence with Generative Deep Learning -- A Survey and Taxonomy" // https://arxiv.org/abs/2107.05599v1
(рис. из неё)
По поводу последнего вопроса. Есть даже статьи, в которых изучаются такие "неправильные" генерации. Одна из свежих, например:
Terence Broad, Sebastian Berns, Simon Colton, Mick Grierson "Active Divergence with Generative Deep Learning -- A Survey and Taxonomy" // https://arxiv.org/abs/2107.05599v1
(рис. из неё)
#визуализация
Нашёл конкурента distill.pub, пока тут всего 3 заметки, зато красочно оформлены:
https://mlu-explain.github.io/
Нашёл конкурента distill.pub, пока тут всего 3 заметки, зато красочно оформлены:
https://mlu-explain.github.io/
mlu-explain.github.io
Visual explanations of core machine learning concepts.
#статьи
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:
Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf
Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!
Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1
Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.
Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1
Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.
Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2
Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.
Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1
Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.
Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2
Про использование GANов для детектирования аномалий (довольно любопытное направление).
Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5
Довольно интересный по задумке обзор: трюки, используемые в GANах.
Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1
Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.
Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1
Беглый обзор, мало подробностей и сводных таблиц.
Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1
Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.
Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2
Добавил до кучи - этот уже устаревший.
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:
Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf
Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!
Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1
Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.
Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1
Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.
Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2
Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.
Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1
Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.
Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2
Про использование GANов для детектирования аномалий (довольно любопытное направление).
Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5
Довольно интересный по задумке обзор: трюки, используемые в GANах.
Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1
Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.
Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1
Беглый обзор, мало подробностей и сводных таблиц.
Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1
Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.
Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2
Добавил до кучи - этот уже устаревший.
#чужие_блоги
Неизвестный, но неплохой блог про речевые технологии и анализ текста. Есть обзоры с рисунками wav2vec1/2, SSL и т.п.
https://jonathanbgn.com/
Неизвестный, но неплохой блог про речевые технологии и анализ текста. Есть обзоры с рисунками wav2vec1/2, SSL и т.п.
https://jonathanbgn.com/
Jonathan Bgn
Building stuff with machine learning and natural language processing.
#чужие_блоги
У Артёма Груздёва есть блог на медиуме, пока не очень популярный, но полезный. Последняя заметка в интересном формате - ответы на вопросы (тоже хочу подобное сделать):
https://medium.com/@rcgewissta/ответы-на-вопросы-учеников-1-db5f439015bc
У Артёма Груздёва есть блог на медиуме, пока не очень популярный, но полезный. Последняя заметка в интересном формате - ответы на вопросы (тоже хочу подобное сделать):
https://medium.com/@rcgewissta/ответы-на-вопросы-учеников-1-db5f439015bc
Medium
Ответы на вопросы учеников, 1
Как строить градиентный бустинг для временных рядов?