#статьи
В последние месяцы вышло несколько неплохих обзоров по алгоритмам машинного перевода:
* Felix Stahlberg "Neural Machine Translation: A Review" // https://arxiv.org/pdf/1912.02047.pdf
* Shuoheng Yang, Yuxin Wang, Xiaowen Chu "A Survey of Deep Learning Techniques for NeuralMachine Translation" // https://arxiv.org/pdf/2002.07526.pdf
В последние месяцы вышло несколько неплохих обзоров по алгоритмам машинного перевода:
* Felix Stahlberg "Neural Machine Translation: A Review" // https://arxiv.org/pdf/1912.02047.pdf
* Shuoheng Yang, Yuxin Wang, Xiaowen Chu "A Survey of Deep Learning Techniques for NeuralMachine Translation" // https://arxiv.org/pdf/2002.07526.pdf
#статьи
Интересная подборка статей, которые стоит прочитать:
https://blog.re-work.co/ai-papers-suggested-by-experts/
Интересная подборка статей, которые стоит прочитать:
https://blog.re-work.co/ai-papers-suggested-by-experts/
RE•WORK Blog - AI & Deep Learning News
AI Paper Recommendations from Experts
We reached out to further members of the AI community for their recommendations of papers which everyone should be reading! All of the cited papers are free to access and cover a range of topics from some incredible minds.
#статьи
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf