#интересно
И всё-таки в ML наука пока чуть больше делается в университетах, а не в больших компаниях (если судить по аффилиациям в статьях). Источник: https://arxiv.org/pdf/2106.15590v1.pdf
И всё-таки в ML наука пока чуть больше делается в университетах, а не в больших компаниях (если судить по аффилиациям в статьях). Источник: https://arxiv.org/pdf/2106.15590v1.pdf
#статьи
Чтение на выходные... какие интересные статьи вышли за неделю;)
Primer: Searching for Efficient Transformers for Language Modeling
David R. So, Wojciech Mańke, Hanxiao Liu, Zihang Dai, Noam Shazeer, Quoc V. Le
http://arxiv.org/abs/2109.08668v1
Новая трансформерная модель Primer, которую легче обучать (меняется активация и механизм внимания). 35 страниц со всеми приложениями. Это самая обсуждаемая статья недели.
Relation-Guided Pre-Training for Open-Domain Question Answering
Ziniu Hu, Yizhou Sun, Kai-Wei Chang
http://arxiv.org/abs/2109.10346v1
Создаётся искусственный реляционный датасет, на котором производят предобучение моделей. Это делает модели более качественными.
Recursively Summarizing Books with Human Feedback
Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nissan Stiennon, Ryan Lowe, Jan Leike, Paul Christiano
https://arxiv.org/pdf/2109.10862v1.pdf
Ребята из OpenAI приспособили GPT-3 для саммаризации (или "реферирования", если по русски). Потребовалась иерархическая процедура. Примеры краткого изложения книг впечатляют.
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
Ivan Vulić, Pei-Hao Su, Sam Coope, Daniela Gerz, Paweł Budzianowski, Iñigo Casanueva, Nikola Mrkšić, Tsung-Hsien Wen
http://arxiv.org/abs/2109.10126v1
Предлагается процедура превращения предобученной языковой модели в специальные кодировщики (универсальные или узкоспециализированные). Выглядит интересно для многих приложений.
PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, Zhengyu Niu
http://arxiv.org/abs/2109.09519v1
Двуязычная диалоговая модель с 11 млрд параметрами от ребят из Байду.
Machine-learning hidden symmetries
Ziming Liu, Max Tegmark
http://arxiv.org/abs/2109.09721v1
Маленькая статья с математикой через которую лично мне сложно продираться - поиск паттернов, которые являются симметриями в неизвестной системе координат.
SCSS-Net: Solar Corona Structures Segmentation by Deep Learning
Šimon Mackovjak, Martin Harman, Viera Maslej-Krešňáková, Peter Butka
http://arxiv.org/abs/2109.10834v1
Какого-то крутого результата нет, просто решена частная задача сегментации - на снимках солнца. Интересна как пример приложения сегментации.
Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes
Jongseok Lee, Jianxiang Feng, Matthias Humt, Marcus G. Müller, Rudolph Triebel
http://arxiv.org/abs/2109.09690v2
Нейросети представляются как разреженные гауссовские процессы.
ElasticFace: Elastic Margin Loss for Deep Face Recognition
Fadi Boutros, Naser Damer, Florian Kirchbuchner, Arjan Kuijper
http://arxiv.org/abs/2109.09416v2
Новинка в распознавании лиц - предложена новая Loss-функция.
Grouping Search Results with Product Graphs in E-commerce Platforms
Suhas Ranganath, Shibsankar Das, Sanjay Thilaivasan, Shipra Agarwal, Varun Shrivastava
http://arxiv.org/abs/2109.09349v1
От ребят из Волмарта про организацию правильного поиска товаров.
Intra-Inter Subject Self-supervised Learning for Multivariate Cardiac Signals
Xiang Lan, Dianwen Ng, Shenda Hong, Mengling Feng
http://arxiv.org/abs/2109.08908v1
Самообучение в анализе кардиосигналов.
Pix2seq: A Language Modeling Framework for Object Detection
Ting Chen, Saurabh Saxena, Lala Li, David J. Fleet, Geoffrey Hinton
От команды Хинтона: языковые модели теперь детектируют объекты.
Deviation-Based Learning
Junpei Komiyama, Shunya Noda
https://arxiv.org/pdf/2109.09816v1.pdf
Новая техника в рекомендательных системах.
Audiomer: A Convolutional Transformer for Keyword Spotting
Surya Kant Sahu, Sai Mitheran, Juhi Kamdar, Meet Gandhi
https://arxiv.org/abs/2109.10252
Здесь приспособили трансформер для конкретной задачи со звуком. Ничего особо прорывного, но есть вещи, которые можно взять на вооружение.
Чтение на выходные... какие интересные статьи вышли за неделю;)
Primer: Searching for Efficient Transformers for Language Modeling
David R. So, Wojciech Mańke, Hanxiao Liu, Zihang Dai, Noam Shazeer, Quoc V. Le
http://arxiv.org/abs/2109.08668v1
Новая трансформерная модель Primer, которую легче обучать (меняется активация и механизм внимания). 35 страниц со всеми приложениями. Это самая обсуждаемая статья недели.
Relation-Guided Pre-Training for Open-Domain Question Answering
Ziniu Hu, Yizhou Sun, Kai-Wei Chang
http://arxiv.org/abs/2109.10346v1
Создаётся искусственный реляционный датасет, на котором производят предобучение моделей. Это делает модели более качественными.
Recursively Summarizing Books with Human Feedback
Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nissan Stiennon, Ryan Lowe, Jan Leike, Paul Christiano
https://arxiv.org/pdf/2109.10862v1.pdf
Ребята из OpenAI приспособили GPT-3 для саммаризации (или "реферирования", если по русски). Потребовалась иерархическая процедура. Примеры краткого изложения книг впечатляют.
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
Ivan Vulić, Pei-Hao Su, Sam Coope, Daniela Gerz, Paweł Budzianowski, Iñigo Casanueva, Nikola Mrkšić, Tsung-Hsien Wen
http://arxiv.org/abs/2109.10126v1
Предлагается процедура превращения предобученной языковой модели в специальные кодировщики (универсальные или узкоспециализированные). Выглядит интересно для многих приложений.
PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, Zhengyu Niu
http://arxiv.org/abs/2109.09519v1
Двуязычная диалоговая модель с 11 млрд параметрами от ребят из Байду.
Machine-learning hidden symmetries
Ziming Liu, Max Tegmark
http://arxiv.org/abs/2109.09721v1
Маленькая статья с математикой через которую лично мне сложно продираться - поиск паттернов, которые являются симметриями в неизвестной системе координат.
SCSS-Net: Solar Corona Structures Segmentation by Deep Learning
Šimon Mackovjak, Martin Harman, Viera Maslej-Krešňáková, Peter Butka
http://arxiv.org/abs/2109.10834v1
Какого-то крутого результата нет, просто решена частная задача сегментации - на снимках солнца. Интересна как пример приложения сегментации.
Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes
Jongseok Lee, Jianxiang Feng, Matthias Humt, Marcus G. Müller, Rudolph Triebel
http://arxiv.org/abs/2109.09690v2
Нейросети представляются как разреженные гауссовские процессы.
ElasticFace: Elastic Margin Loss for Deep Face Recognition
Fadi Boutros, Naser Damer, Florian Kirchbuchner, Arjan Kuijper
http://arxiv.org/abs/2109.09416v2
Новинка в распознавании лиц - предложена новая Loss-функция.
Grouping Search Results with Product Graphs in E-commerce Platforms
Suhas Ranganath, Shibsankar Das, Sanjay Thilaivasan, Shipra Agarwal, Varun Shrivastava
http://arxiv.org/abs/2109.09349v1
От ребят из Волмарта про организацию правильного поиска товаров.
Intra-Inter Subject Self-supervised Learning for Multivariate Cardiac Signals
Xiang Lan, Dianwen Ng, Shenda Hong, Mengling Feng
http://arxiv.org/abs/2109.08908v1
Самообучение в анализе кардиосигналов.
Pix2seq: A Language Modeling Framework for Object Detection
Ting Chen, Saurabh Saxena, Lala Li, David J. Fleet, Geoffrey Hinton
От команды Хинтона: языковые модели теперь детектируют объекты.
Deviation-Based Learning
Junpei Komiyama, Shunya Noda
https://arxiv.org/pdf/2109.09816v1.pdf
Новая техника в рекомендательных системах.
Audiomer: A Convolutional Transformer for Keyword Spotting
Surya Kant Sahu, Sai Mitheran, Juhi Kamdar, Meet Gandhi
https://arxiv.org/abs/2109.10252
Здесь приспособили трансформер для конкретной задачи со звуком. Ничего особо прорывного, но есть вещи, которые можно взять на вооружение.
#статьи
Продолжение и картинка для привлечения внимания из одной статьи...
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers
Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li, Xiaojun Chang
https://arxiv.org/abs/2109.10060v1
Попытка сделать крутую динамическую сеть. Как я понимаю, при честном сравнении таки сети пока хуже SoTA в смысле качества, но могут выигрывать по другим показателям.
Towards Zero-Label Language Learning
Zirui Wang, Adams Wei Yu, Orhan Firat, Yuan Cao
https://arxiv.org/abs/2109.09193v1
Работа от гугла - попытка обойтись без размеченных данных, в том числе, для задач синтеза.
И ещё вышла библиотека:
Merlion
https://github.com/salesforce/Merlion
Новая библиотека для временных рядов.
Продолжение и картинка для привлечения внимания из одной статьи...
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers
Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li, Xiaojun Chang
https://arxiv.org/abs/2109.10060v1
Попытка сделать крутую динамическую сеть. Как я понимаю, при честном сравнении таки сети пока хуже SoTA в смысле качества, но могут выигрывать по другим показателям.
Towards Zero-Label Language Learning
Zirui Wang, Adams Wei Yu, Orhan Firat, Yuan Cao
https://arxiv.org/abs/2109.09193v1
Работа от гугла - попытка обойтись без размеченных данных, в том числе, для задач синтеза.
И ещё вышла библиотека:
Merlion
https://github.com/salesforce/Merlion
Новая библиотека для временных рядов.
#юмор
Ну и Шмидхубера можно почитать, всё-таки в Сбере работает;) тема старая: всё сделано в моей лаборатории, а премии дают каким-то популяризаторам:
https://people.idsia.ch/~juergen/scientific-integrity-turing-award-deep-learning.html
Ну и Шмидхубера можно почитать, всё-таки в Сбере работает;) тема старая: всё сделано в моей лаборатории, а премии дают каким-то популяризаторам:
https://people.idsia.ch/~juergen/scientific-integrity-turing-award-deep-learning.html
people.idsia.ch
Scientific Integrity, History of Deep Learning, 2021 Turing Lecture, 2018 Turing Award
ACM and the awardees credit the awardees for work that did not cite the inventors of the used methods. But science is self-correcting.
#забавно
У меня слайды каждой лекции начинаются с картинки, которая как-то (но не прямо) символизирует используемые термины. И вот недавно обнаружил, что некоторые связи современным слушателям недоступны, поскольку мы в разных культурных слоях (по историческим причинам, а не социальным). Например, "метод ближайшего соседа" сопровождается фрагментом из мультсериала "Симпсоны"... потому что Фландерс это ближайший сосед Симпсонов, но вот молодёжь уже не знает "Симпсонов":(
У меня слайды каждой лекции начинаются с картинки, которая как-то (но не прямо) символизирует используемые термины. И вот недавно обнаружил, что некоторые связи современным слушателям недоступны, поскольку мы в разных культурных слоях (по историческим причинам, а не социальным). Например, "метод ближайшего соседа" сопровождается фрагментом из мультсериала "Симпсоны"... потому что Фландерс это ближайший сосед Симпсонов, но вот молодёжь уже не знает "Симпсонов":(
#интересно
Забавный сайт, который оценивает «влиятельность людей». По каким-то конкретным срезам точно неадекватно, но по более крупным интересно смотреть рейтинг. Например, вообще во всём самые влиятельные - Маркс, Эйнштейн и Фрейд. Среди женщин - королева Виктория, Вирджиния Вульф и Флоренс Натингейл. В Computer Science - фон Нейман, Вирт и Джобс, в математике - Гильберт, Эйнштейн, Риман. Можно делать срез «в последние k лет», там Маск вылезает в топ CS.
Забавный сайт, который оценивает «влиятельность людей». По каким-то конкретным срезам точно неадекватно, но по более крупным интересно смотреть рейтинг. Например, вообще во всём самые влиятельные - Маркс, Эйнштейн и Фрейд. Среди женщин - королева Виктория, Вирджиния Вульф и Флоренс Натингейл. В Computer Science - фон Нейман, Вирт и Джобс, в математике - Гильберт, Эйнштейн, Риман. Можно делать срез «в последние k лет», там Маск вылезает в топ CS.
Academicinfluence
Academic Influence | Your Roadmap to a Great Education
Create college ranking lists your way—compare costs, SAT/ACT, location, school size, and scholarly impact. Connect with the best schools & top academics today!
Здесь показана формула, по которой производится вычисления в этой графовой сети (GNN). Что это за сеть?
Anonymous Quiz
16%
GIN (Graph Isomorphism Network)
29%
GraphSAGE (Graph Sample and Aggregate)
27%
GAT (Graph Attention Network)
15%
Jumping Knowledge Network
13%
DeepGCN
#видео
Не очень известный, но интересный доклад Филиппа Сингера (на момент доклада 1е место в рейтинге Кэгла). Без пафоса «Как выиграть всё что можно» рассказывает о своём соревновательном опыте. Интересно, что своё первое соревнование он провёл 10 лет назад (и сейчас самый «старый» в топе кэгла, если смотреть по дате регистрации на платформе), а потом 7 лет не соревновался.
https://youtu.be/OenmJTdF0-M
Не очень известный, но интересный доклад Филиппа Сингера (на момент доклада 1е место в рейтинге Кэгла). Без пафоса «Как выиграть всё что можно» рассказывает о своём соревновательном опыте. Интересно, что своё первое соревнование он провёл 10 лет назад (и сейчас самый «старый» в топе кэгла, если смотреть по дате регистрации на платформе), а потом 7 лет не соревновался.
https://youtu.be/OenmJTdF0-M
YouTube
My journey to Kaggle #1 with Philipp Singer
MLT welcomed Philipp Singer, #1 Kaggle Grandmaster and Senior Data Scientist at H2O.ai. In this talk he gave an overview of his journey on Kaggle that has allowed him to achieve world rank 1. He provided an overview of some competitions he has participated…
#забавно
Графики в логарифмических шкалах для семейства GPT-1/2/3: иллюстрация степенных законов в пространстве "сложность модели" - "ошибка". Утверждается (я не проверял), что аналогичные графики будут и для других известных архитектур нейросетей. Источник - автор сайта https://www.eleuther.ai/
А теперь что тут интересного... условно, если хотим уменьшить ошибку в 2 раза, надо собрать в 10 раз больше данных, и пока подобные законы справедливы для многих архитектур, т.е. какого-то насыщения не видно, например, что GPT* подошли к пределу своих возможностей (просто собирайте больше данных/берите больше мощностей/усложняйте модели).
Графики в логарифмических шкалах для семейства GPT-1/2/3: иллюстрация степенных законов в пространстве "сложность модели" - "ошибка". Утверждается (я не проверял), что аналогичные графики будут и для других известных архитектур нейросетей. Источник - автор сайта https://www.eleuther.ai/
А теперь что тут интересного... условно, если хотим уменьшить ошибку в 2 раза, надо собрать в 10 раз больше данных, и пока подобные законы справедливы для многих архитектур, т.е. какого-то насыщения не видно, например, что GPT* подошли к пределу своих возможностей (просто собирайте больше данных/берите больше мощностей/усложняйте модели).
#статьи
Что было за неделю... но тут только половина самого интересного и популярного
Unsolved Problems in ML Safety
Dan Hendrycks, Nicholas Carlini, John Schulman, Jacob Steinhardt
http://arxiv.org/abs/2109.13916v1
Просто небольшой обзорчик направлений по безопасности в машинном обучении (со ссылками).
Localizing Objects with Self-Supervised Transformers and no Labels
Oriane Siméoni, Gilles Puy, Huy V. Vo, Simon Roburin, Spyros Gidaris, Andrei Bursuc, Patrick Pérez, Renaud Marlet, Jean Ponce
http://arxiv.org/abs/2109.14279v1
Модное в последнее время самообучение в этой работе позволяет локализовывать объекты не используя размеченные данные (есть код).
Reconstruction for Powerful Graph Representations
Leonardo Cotta, Christopher Morris, Bruno Ribeiro
http://arxiv.org/abs/2110.00577v1
Попытка построить хорошее представление графа, для этого используется реконструкция (сеть должна получать представление всего графа по его частям). Довольно интересно!
Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Xiao Wang, Hongrui Liu, Chuan Shi, Cheng Yang
http://arxiv.org/abs/2109.14285v1
Про калибровку графовых сетей, интересно, что они, как правило, "недоуверенны" (т.е. выдаваемая вероятность ниже, чем доля объектов с такой вероятностью).
Stochastic Contrastive Learning
Jason Ramapuram, Dan BusBridge, Xavier Suau, Russ Webb
http://arxiv.org/abs/2110.00552v1
В Contrastive Learning вносят латентные переменные.
ResNet strikes back: An improved training procedure in timm
Ross Wightman, Hugo Touvron, Hervé Jégou
https://arxiv.org/abs/2110.00476v1
Взяли ванильный резнет и попробавали натренировать со всеми хаками последних лет. Довольно полезная статья!
A Survey of Knowledge Enhanced Pre-trained Models
Jian Yang, Gang Xiao, Yulong Shen, Wei Jiang, Xinyu Hu, Ying Zhang, Jinghui Peng
http://arxiv.org/abs/2110.00269v1
Статья про KEPTM - это предтренированные модели в которые внесены ещё и некоторые дополнительные знания (что такое "знание" в работе специально поясняется). Приводится обзор подобных решений.
DualNet: Continual Learning, Fast and Slow
Quang Pham, Chenghao Liu, Steven Hoi
http://arxiv.org/abs/2110.00175v1
Ещё одна попытка сделать непрерывное обучение "как у человека" (взяли идею быстрого и медленного обучения).
Multilingual AMR Parsing with Noisy Knowledge Distillation
Deng Cai, Xin Li, Jackie Chun-Sing Ho, Lidong Bing, Wai Lam
http://arxiv.org/abs/2109.15196v1
Предложен мультиязычный AMR-парсер (по тексту получается дерево).
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Erroll Wood, Tadas Baltrušaitis, Charlie Hewitt, Sebastian Dziadzio, Matthew Johnson, Virginia Estellers, Thomas J. Cashman, Jamie Shotton
http://arxiv.org/abs/2109.15102v1
Две задачи CV решаются при помощи синтетических данных.
Fine-tuning wav2vec2 for speaker recognition
Nik Vaessen, David A. van Leeuwen
http://arxiv.org/abs/2109.15053v1
Вроде сейчас это модно: на основе wav2vec2 пытаются делать стандартные задачи со звуком и речью.
Что было за неделю... но тут только половина самого интересного и популярного
Unsolved Problems in ML Safety
Dan Hendrycks, Nicholas Carlini, John Schulman, Jacob Steinhardt
http://arxiv.org/abs/2109.13916v1
Просто небольшой обзорчик направлений по безопасности в машинном обучении (со ссылками).
Localizing Objects with Self-Supervised Transformers and no Labels
Oriane Siméoni, Gilles Puy, Huy V. Vo, Simon Roburin, Spyros Gidaris, Andrei Bursuc, Patrick Pérez, Renaud Marlet, Jean Ponce
http://arxiv.org/abs/2109.14279v1
Модное в последнее время самообучение в этой работе позволяет локализовывать объекты не используя размеченные данные (есть код).
Reconstruction for Powerful Graph Representations
Leonardo Cotta, Christopher Morris, Bruno Ribeiro
http://arxiv.org/abs/2110.00577v1
Попытка построить хорошее представление графа, для этого используется реконструкция (сеть должна получать представление всего графа по его частям). Довольно интересно!
Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Xiao Wang, Hongrui Liu, Chuan Shi, Cheng Yang
http://arxiv.org/abs/2109.14285v1
Про калибровку графовых сетей, интересно, что они, как правило, "недоуверенны" (т.е. выдаваемая вероятность ниже, чем доля объектов с такой вероятностью).
Stochastic Contrastive Learning
Jason Ramapuram, Dan BusBridge, Xavier Suau, Russ Webb
http://arxiv.org/abs/2110.00552v1
В Contrastive Learning вносят латентные переменные.
ResNet strikes back: An improved training procedure in timm
Ross Wightman, Hugo Touvron, Hervé Jégou
https://arxiv.org/abs/2110.00476v1
Взяли ванильный резнет и попробавали натренировать со всеми хаками последних лет. Довольно полезная статья!
A Survey of Knowledge Enhanced Pre-trained Models
Jian Yang, Gang Xiao, Yulong Shen, Wei Jiang, Xinyu Hu, Ying Zhang, Jinghui Peng
http://arxiv.org/abs/2110.00269v1
Статья про KEPTM - это предтренированные модели в которые внесены ещё и некоторые дополнительные знания (что такое "знание" в работе специально поясняется). Приводится обзор подобных решений.
DualNet: Continual Learning, Fast and Slow
Quang Pham, Chenghao Liu, Steven Hoi
http://arxiv.org/abs/2110.00175v1
Ещё одна попытка сделать непрерывное обучение "как у человека" (взяли идею быстрого и медленного обучения).
Multilingual AMR Parsing with Noisy Knowledge Distillation
Deng Cai, Xin Li, Jackie Chun-Sing Ho, Lidong Bing, Wai Lam
http://arxiv.org/abs/2109.15196v1
Предложен мультиязычный AMR-парсер (по тексту получается дерево).
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Erroll Wood, Tadas Baltrušaitis, Charlie Hewitt, Sebastian Dziadzio, Matthew Johnson, Virginia Estellers, Thomas J. Cashman, Jamie Shotton
http://arxiv.org/abs/2109.15102v1
Две задачи CV решаются при помощи синтетических данных.
Fine-tuning wav2vec2 for speaker recognition
Nik Vaessen, David A. van Leeuwen
http://arxiv.org/abs/2109.15053v1
Вроде сейчас это модно: на основе wav2vec2 пытаются делать стандартные задачи со звуком и речью.
#юмор
С днём учителя! Чтобы не как в этой статье...
С днём учителя! Чтобы не как в этой статье...
#экономика
За что дали Нобелевскую премию по экономике в этом году:
https://econs.online/articles/ekonomika/nobelevskaya-premiya-po-ekonomike-2021/
За что дали Нобелевскую премию по экономике в этом году:
https://econs.online/articles/ekonomika/nobelevskaya-premiya-po-ekonomike-2021/
econs.online
Нобелевская премия по экономике – 2021 — ECONS.ONLINE
Для выявления причинно-следственных связей можно проводить эксперименты, однако в экономике это часто нереально. Но можно оценить взаимосвязи в естественных экспериментах, которые «ставит» сама жизнь: за развитие таких исследований вручена Нобелевская премия…
#курс
Курс по машинному обучению на украинском языке: https://github.com/fbeilstein/machine_learning
(видео - на украинском, в ноутбуках - английский). Некоторые темы очень неплохо преподнесены.
Курс по машинному обучению на украинском языке: https://github.com/fbeilstein/machine_learning
(видео - на украинском, в ноутбуках - английский). Некоторые темы очень неплохо преподнесены.
GitHub
GitHub - fbeilstein/machine_learning
Contribute to fbeilstein/machine_learning development by creating an account on GitHub.
#ссылка
Подборка ссылок по теме "Metric Learning"
Хороший большой обзор "Deep Metric Learning":
https://hav4ik.github.io/articles/deep-metric-learning-survey
Математические аспекты классического Metric Learning:
https://arxiv.org/pdf/1812.05944.pdf
библиотека для классического Metric Learning:
http://contrib.scikit-learn.org/metric-learn/introduction.html
Большой обзор "Contrastive Representation Learning"
https://lilianweng.github.io/lil-log/2021/05/31/contrastive-representation-learning.html
Обзор "Deep Metric Learning"
https://www.mdpi.com/2073-8994/11/9/1066/htm
Сравнение Loss-функций «A Metric Learning Reality Check»
https://arxiv.org/pdf/2003.08505.pdf
Одни из наиболее свежих Loss-функций:
Circle Loss: https://arxiv.org/pdf/2002.10857.pdf
Curriculum Face: https://arxiv.org/pdf/2004.00288.pdf
Подборка ссылок по теме "Metric Learning"
Хороший большой обзор "Deep Metric Learning":
https://hav4ik.github.io/articles/deep-metric-learning-survey
Математические аспекты классического Metric Learning:
https://arxiv.org/pdf/1812.05944.pdf
библиотека для классического Metric Learning:
http://contrib.scikit-learn.org/metric-learn/introduction.html
Большой обзор "Contrastive Representation Learning"
https://lilianweng.github.io/lil-log/2021/05/31/contrastive-representation-learning.html
Обзор "Deep Metric Learning"
https://www.mdpi.com/2073-8994/11/9/1066/htm
Сравнение Loss-функций «A Metric Learning Reality Check»
https://arxiv.org/pdf/2003.08505.pdf
Одни из наиболее свежих Loss-функций:
Circle Loss: https://arxiv.org/pdf/2002.10857.pdf
Curriculum Face: https://arxiv.org/pdf/2004.00288.pdf
Chan Kha Vu 🇺🇦
Deep Metric Learning: a (Long) Survey
A brief survey of common supervised approaches for Deep Metric Learning, as well as the new methods proposed in recent years.