#статьи
В последние месяцы вышло несколько неплохих обзоров по алгоритмам машинного перевода:
* Felix Stahlberg "Neural Machine Translation: A Review" // https://arxiv.org/pdf/1912.02047.pdf
* Shuoheng Yang, Yuxin Wang, Xiaowen Chu "A Survey of Deep Learning Techniques for NeuralMachine Translation" // https://arxiv.org/pdf/2002.07526.pdf
В последние месяцы вышло несколько неплохих обзоров по алгоритмам машинного перевода:
* Felix Stahlberg "Neural Machine Translation: A Review" // https://arxiv.org/pdf/1912.02047.pdf
* Shuoheng Yang, Yuxin Wang, Xiaowen Chu "A Survey of Deep Learning Techniques for NeuralMachine Translation" // https://arxiv.org/pdf/2002.07526.pdf
#статьи
Интересная подборка статей, которые стоит прочитать:
https://blog.re-work.co/ai-papers-suggested-by-experts/
Интересная подборка статей, которые стоит прочитать:
https://blog.re-work.co/ai-papers-suggested-by-experts/
RE•WORK Blog - AI & Deep Learning News
AI Paper Recommendations from Experts
We reached out to further members of the AI community for their recommendations of papers which everyone should be reading! All of the cited papers are free to access and cover a range of topics from some incredible minds.
#статьи
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf
#статьи
Меня сегодня несколько человек спросили про обзоры на разные темы. Я нашёл выход, вот универсальный обзор обзоров в DL, там можно найти интересующий Вас обзор;)
Deep Learning – A first Meta-Survey of selected Reviews across Scientific Disciplines and their Research Impact
https://arxiv.org/ftp/arxiv/papers/2011/2011.08184.pdf
Меня сегодня несколько человек спросили про обзоры на разные темы. Я нашёл выход, вот универсальный обзор обзоров в DL, там можно найти интересующий Вас обзор;)
Deep Learning – A first Meta-Survey of selected Reviews across Scientific Disciplines and their Research Impact
https://arxiv.org/ftp/arxiv/papers/2011/2011.08184.pdf
#статьи
Простой обзор функций активаций, правда очень неполный (например, нет GELU):
https://arxiv.org/pdf/2101.09957v1.pdf
Простой обзор функций активаций, правда очень неполный (например, нет GELU):
https://arxiv.org/pdf/2101.09957v1.pdf
#статьи
Одна из последних статей про функции ошибки:
Nontawat Charoenphakdee "A Symmetric Loss Perspective of Reliable Machine Learning" // https://arxiv.org/pdf/2101.01366v1.pdf
Одна из последних статей про функции ошибки:
Nontawat Charoenphakdee "A Symmetric Loss Perspective of Reliable Machine Learning" // https://arxiv.org/pdf/2101.01366v1.pdf
Data_science_applications_to_string_theory_2020_Physics_Reports.pdf
7.6 MB
#статьи
В работе "Data science applications to string theory" прошлого года фактически содержится краткий обзор многих тем ML.
В работе "Data science applications to string theory" прошлого года фактически содержится краткий обзор многих тем ML.