#статьи
Есть такая серия постов на Хабре по кластеризации. Написано с душой, многие вещи, которые надо "отрывать" в статьях, объясняются "на пальцах".
https://habr.com/ru/post/340360/
Есть такая серия постов на Хабре по кластеризации. Написано с душой, многие вещи, которые надо "отрывать" в статьях, объясняются "на пальцах".
https://habr.com/ru/post/340360/
Хабр
Нестандартная кластеризация 5: Growing Neural Gas
Часть первая — Affinity Propagation Часть вторая — DBSCAN Часть третья — кластеризация временных рядов Часть четвёртая — Self-Organizing Maps (SOM) Часть пятая — Growing Neural Gas (GNG) Доброго...
#статьи
В последние месяцы вышло несколько неплохих обзоров по алгоритмам машинного перевода:
* Felix Stahlberg "Neural Machine Translation: A Review" // https://arxiv.org/pdf/1912.02047.pdf
* Shuoheng Yang, Yuxin Wang, Xiaowen Chu "A Survey of Deep Learning Techniques for NeuralMachine Translation" // https://arxiv.org/pdf/2002.07526.pdf
В последние месяцы вышло несколько неплохих обзоров по алгоритмам машинного перевода:
* Felix Stahlberg "Neural Machine Translation: A Review" // https://arxiv.org/pdf/1912.02047.pdf
* Shuoheng Yang, Yuxin Wang, Xiaowen Chu "A Survey of Deep Learning Techniques for NeuralMachine Translation" // https://arxiv.org/pdf/2002.07526.pdf
#статьи
Интересная подборка статей, которые стоит прочитать:
https://blog.re-work.co/ai-papers-suggested-by-experts/
Интересная подборка статей, которые стоит прочитать:
https://blog.re-work.co/ai-papers-suggested-by-experts/
RE•WORK Blog - AI & Deep Learning News
AI Paper Recommendations from Experts
We reached out to further members of the AI community for their recommendations of papers which everyone should be reading! All of the cited papers are free to access and cover a range of topics from some incredible minds.
#статьи
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf
#статьи
Меня сегодня несколько человек спросили про обзоры на разные темы. Я нашёл выход, вот универсальный обзор обзоров в DL, там можно найти интересующий Вас обзор;)
Deep Learning – A first Meta-Survey of selected Reviews across Scientific Disciplines and their Research Impact
https://arxiv.org/ftp/arxiv/papers/2011/2011.08184.pdf
Меня сегодня несколько человек спросили про обзоры на разные темы. Я нашёл выход, вот универсальный обзор обзоров в DL, там можно найти интересующий Вас обзор;)
Deep Learning – A first Meta-Survey of selected Reviews across Scientific Disciplines and their Research Impact
https://arxiv.org/ftp/arxiv/papers/2011/2011.08184.pdf
#статьи
Простой обзор функций активаций, правда очень неполный (например, нет GELU):
https://arxiv.org/pdf/2101.09957v1.pdf
Простой обзор функций активаций, правда очень неполный (например, нет GELU):
https://arxiv.org/pdf/2101.09957v1.pdf
#статьи
Одна из последних статей про функции ошибки:
Nontawat Charoenphakdee "A Symmetric Loss Perspective of Reliable Machine Learning" // https://arxiv.org/pdf/2101.01366v1.pdf
Одна из последних статей про функции ошибки:
Nontawat Charoenphakdee "A Symmetric Loss Perspective of Reliable Machine Learning" // https://arxiv.org/pdf/2101.01366v1.pdf
Data_science_applications_to_string_theory_2020_Physics_Reports.pdf
7.6 MB
#статьи
В работе "Data science applications to string theory" прошлого года фактически содержится краткий обзор многих тем ML.
В работе "Data science applications to string theory" прошлого года фактически содержится краткий обзор многих тем ML.
#статьи
Чтение на выходные... какие интересные статьи вышли за неделю;)
Primer: Searching for Efficient Transformers for Language Modeling
David R. So, Wojciech Mańke, Hanxiao Liu, Zihang Dai, Noam Shazeer, Quoc V. Le
http://arxiv.org/abs/2109.08668v1
Новая трансформерная модель Primer, которую легче обучать (меняется активация и механизм внимания). 35 страниц со всеми приложениями. Это самая обсуждаемая статья недели.
Relation-Guided Pre-Training for Open-Domain Question Answering
Ziniu Hu, Yizhou Sun, Kai-Wei Chang
http://arxiv.org/abs/2109.10346v1
Создаётся искусственный реляционный датасет, на котором производят предобучение моделей. Это делает модели более качественными.
Recursively Summarizing Books with Human Feedback
Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nissan Stiennon, Ryan Lowe, Jan Leike, Paul Christiano
https://arxiv.org/pdf/2109.10862v1.pdf
Ребята из OpenAI приспособили GPT-3 для саммаризации (или "реферирования", если по русски). Потребовалась иерархическая процедура. Примеры краткого изложения книг впечатляют.
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
Ivan Vulić, Pei-Hao Su, Sam Coope, Daniela Gerz, Paweł Budzianowski, Iñigo Casanueva, Nikola Mrkšić, Tsung-Hsien Wen
http://arxiv.org/abs/2109.10126v1
Предлагается процедура превращения предобученной языковой модели в специальные кодировщики (универсальные или узкоспециализированные). Выглядит интересно для многих приложений.
PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, Zhengyu Niu
http://arxiv.org/abs/2109.09519v1
Двуязычная диалоговая модель с 11 млрд параметрами от ребят из Байду.
Machine-learning hidden symmetries
Ziming Liu, Max Tegmark
http://arxiv.org/abs/2109.09721v1
Маленькая статья с математикой через которую лично мне сложно продираться - поиск паттернов, которые являются симметриями в неизвестной системе координат.
SCSS-Net: Solar Corona Structures Segmentation by Deep Learning
Šimon Mackovjak, Martin Harman, Viera Maslej-Krešňáková, Peter Butka
http://arxiv.org/abs/2109.10834v1
Какого-то крутого результата нет, просто решена частная задача сегментации - на снимках солнца. Интересна как пример приложения сегментации.
Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes
Jongseok Lee, Jianxiang Feng, Matthias Humt, Marcus G. Müller, Rudolph Triebel
http://arxiv.org/abs/2109.09690v2
Нейросети представляются как разреженные гауссовские процессы.
ElasticFace: Elastic Margin Loss for Deep Face Recognition
Fadi Boutros, Naser Damer, Florian Kirchbuchner, Arjan Kuijper
http://arxiv.org/abs/2109.09416v2
Новинка в распознавании лиц - предложена новая Loss-функция.
Grouping Search Results with Product Graphs in E-commerce Platforms
Suhas Ranganath, Shibsankar Das, Sanjay Thilaivasan, Shipra Agarwal, Varun Shrivastava
http://arxiv.org/abs/2109.09349v1
От ребят из Волмарта про организацию правильного поиска товаров.
Intra-Inter Subject Self-supervised Learning for Multivariate Cardiac Signals
Xiang Lan, Dianwen Ng, Shenda Hong, Mengling Feng
http://arxiv.org/abs/2109.08908v1
Самообучение в анализе кардиосигналов.
Pix2seq: A Language Modeling Framework for Object Detection
Ting Chen, Saurabh Saxena, Lala Li, David J. Fleet, Geoffrey Hinton
От команды Хинтона: языковые модели теперь детектируют объекты.
Deviation-Based Learning
Junpei Komiyama, Shunya Noda
https://arxiv.org/pdf/2109.09816v1.pdf
Новая техника в рекомендательных системах.
Audiomer: A Convolutional Transformer for Keyword Spotting
Surya Kant Sahu, Sai Mitheran, Juhi Kamdar, Meet Gandhi
https://arxiv.org/abs/2109.10252
Здесь приспособили трансформер для конкретной задачи со звуком. Ничего особо прорывного, но есть вещи, которые можно взять на вооружение.
Чтение на выходные... какие интересные статьи вышли за неделю;)
Primer: Searching for Efficient Transformers for Language Modeling
David R. So, Wojciech Mańke, Hanxiao Liu, Zihang Dai, Noam Shazeer, Quoc V. Le
http://arxiv.org/abs/2109.08668v1
Новая трансформерная модель Primer, которую легче обучать (меняется активация и механизм внимания). 35 страниц со всеми приложениями. Это самая обсуждаемая статья недели.
Relation-Guided Pre-Training for Open-Domain Question Answering
Ziniu Hu, Yizhou Sun, Kai-Wei Chang
http://arxiv.org/abs/2109.10346v1
Создаётся искусственный реляционный датасет, на котором производят предобучение моделей. Это делает модели более качественными.
Recursively Summarizing Books with Human Feedback
Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nissan Stiennon, Ryan Lowe, Jan Leike, Paul Christiano
https://arxiv.org/pdf/2109.10862v1.pdf
Ребята из OpenAI приспособили GPT-3 для саммаризации (или "реферирования", если по русски). Потребовалась иерархическая процедура. Примеры краткого изложения книг впечатляют.
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
Ivan Vulić, Pei-Hao Su, Sam Coope, Daniela Gerz, Paweł Budzianowski, Iñigo Casanueva, Nikola Mrkšić, Tsung-Hsien Wen
http://arxiv.org/abs/2109.10126v1
Предлагается процедура превращения предобученной языковой модели в специальные кодировщики (универсальные или узкоспециализированные). Выглядит интересно для многих приложений.
PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, Zhengyu Niu
http://arxiv.org/abs/2109.09519v1
Двуязычная диалоговая модель с 11 млрд параметрами от ребят из Байду.
Machine-learning hidden symmetries
Ziming Liu, Max Tegmark
http://arxiv.org/abs/2109.09721v1
Маленькая статья с математикой через которую лично мне сложно продираться - поиск паттернов, которые являются симметриями в неизвестной системе координат.
SCSS-Net: Solar Corona Structures Segmentation by Deep Learning
Šimon Mackovjak, Martin Harman, Viera Maslej-Krešňáková, Peter Butka
http://arxiv.org/abs/2109.10834v1
Какого-то крутого результата нет, просто решена частная задача сегментации - на снимках солнца. Интересна как пример приложения сегментации.
Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes
Jongseok Lee, Jianxiang Feng, Matthias Humt, Marcus G. Müller, Rudolph Triebel
http://arxiv.org/abs/2109.09690v2
Нейросети представляются как разреженные гауссовские процессы.
ElasticFace: Elastic Margin Loss for Deep Face Recognition
Fadi Boutros, Naser Damer, Florian Kirchbuchner, Arjan Kuijper
http://arxiv.org/abs/2109.09416v2
Новинка в распознавании лиц - предложена новая Loss-функция.
Grouping Search Results with Product Graphs in E-commerce Platforms
Suhas Ranganath, Shibsankar Das, Sanjay Thilaivasan, Shipra Agarwal, Varun Shrivastava
http://arxiv.org/abs/2109.09349v1
От ребят из Волмарта про организацию правильного поиска товаров.
Intra-Inter Subject Self-supervised Learning for Multivariate Cardiac Signals
Xiang Lan, Dianwen Ng, Shenda Hong, Mengling Feng
http://arxiv.org/abs/2109.08908v1
Самообучение в анализе кардиосигналов.
Pix2seq: A Language Modeling Framework for Object Detection
Ting Chen, Saurabh Saxena, Lala Li, David J. Fleet, Geoffrey Hinton
От команды Хинтона: языковые модели теперь детектируют объекты.
Deviation-Based Learning
Junpei Komiyama, Shunya Noda
https://arxiv.org/pdf/2109.09816v1.pdf
Новая техника в рекомендательных системах.
Audiomer: A Convolutional Transformer for Keyword Spotting
Surya Kant Sahu, Sai Mitheran, Juhi Kamdar, Meet Gandhi
https://arxiv.org/abs/2109.10252
Здесь приспособили трансформер для конкретной задачи со звуком. Ничего особо прорывного, но есть вещи, которые можно взять на вооружение.
#статьи
Продолжение и картинка для привлечения внимания из одной статьи...
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers
Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li, Xiaojun Chang
https://arxiv.org/abs/2109.10060v1
Попытка сделать крутую динамическую сеть. Как я понимаю, при честном сравнении таки сети пока хуже SoTA в смысле качества, но могут выигрывать по другим показателям.
Towards Zero-Label Language Learning
Zirui Wang, Adams Wei Yu, Orhan Firat, Yuan Cao
https://arxiv.org/abs/2109.09193v1
Работа от гугла - попытка обойтись без размеченных данных, в том числе, для задач синтеза.
И ещё вышла библиотека:
Merlion
https://github.com/salesforce/Merlion
Новая библиотека для временных рядов.
Продолжение и картинка для привлечения внимания из одной статьи...
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers
Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li, Xiaojun Chang
https://arxiv.org/abs/2109.10060v1
Попытка сделать крутую динамическую сеть. Как я понимаю, при честном сравнении таки сети пока хуже SoTA в смысле качества, но могут выигрывать по другим показателям.
Towards Zero-Label Language Learning
Zirui Wang, Adams Wei Yu, Orhan Firat, Yuan Cao
https://arxiv.org/abs/2109.09193v1
Работа от гугла - попытка обойтись без размеченных данных, в том числе, для задач синтеза.
И ещё вышла библиотека:
Merlion
https://github.com/salesforce/Merlion
Новая библиотека для временных рядов.
👍1