Статьи, которые будут разобраны на reading club.
Кто хочет прийти - почитайте.
Кто хочет прийти - почитайте.
Forwarded from DL in NLP
Некоторые статьи по анализу того, как работает BERT. Наверное, неплохо было бы их разобрать.
Visualizing and Measuring the Geometry of BERT
arxiv.org/pdf/1906.02715.pdf
Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference
arxiv.org/abs/1902.01007
Probing Neural Network Comprehension of Natural Language Arguments
arxiv.org/abs/1907.07355
How multilingual is Multilingual BERT?
arxiv.org/pdf/1906.01502.pdf
BERT Rediscovers the Classical NLP Pipeline
arxiv.org/abs/1905.05950
What Does BERT Look At? An Analysis of BERT's Attention
arxiv.org/abs/1906.04341
Visualizing and Measuring the Geometry of BERT
arxiv.org/pdf/1906.02715.pdf
Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference
arxiv.org/abs/1902.01007
Probing Neural Network Comprehension of Natural Language Arguments
arxiv.org/abs/1907.07355
How multilingual is Multilingual BERT?
arxiv.org/pdf/1906.01502.pdf
BERT Rediscovers the Classical NLP Pipeline
arxiv.org/abs/1905.05950
What Does BERT Look At? An Analysis of BERT's Attention
arxiv.org/abs/1906.04341
arXiv.org
Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in...
A machine learning system can score well on a given test set by relying on heuristics that are effective for frequent example types but break down in more challenging cases. We study this issue...
Завтра встречаемся по RL в 12
По reading club в 15:40
ШАД, Сорбонна
Будет организована трансляция на twitch, но не готов гарантировать, что она будет работать хорошо.
По reading club в 15:40
ШАД, Сорбонна
Будет организована трансляция на twitch, но не готов гарантировать, что она будет работать хорошо.
Гайд по тому, как конвертировать модели из TF в PyTorch от, наверное, самой опытной в этом команды - 🤗
Переходите на 🔥сторону.
medium.com/huggingface/from-tensorflow-to-pytorch-265f40ef2a28
Переходите на 🔥сторону.
medium.com/huggingface/from-tensorflow-to-pytorch-265f40ef2a28
Medium
🌓 From TensorFlow to PyTorch
Friends and users of our open-source tools are often surprised how fast 🚀 we reimplement the latest SOTA pretrained TensorFlow models to…
ppo2.ipynb
46.2 KB
#rl
Как обещал, упрощённая версия задания по PPO. Буду рад фидбэку - что слишком сложно, что слишком просто, где плохое описание.
Как обещал, упрощённая версия задания по PPO. Буду рад фидбэку - что слишком сложно, что слишком просто, где плохое описание.
На архиве появилась какая-то дичь. Новый лосс для обучения генерации текста. Выглядит интересно.
Facebook. Connecting people.
Пост про их успехи в машинном переводе, RoBERTA и SuperGLUE
ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people
Пост про их успехи в машинном переводе, RoBERTA и SuperGLUE
ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people
Facebook
New advances in natural language processing to better connect people
Recently, Facebook AI has advanced state-of-the-art results in key language understanding tasks and also launched a new benchmark to push AI systems further
How to Fine-Tune BERT for Text Classification?
Sun et al. Fudan University
arxiv.org/pdf/1905.05583.pdf
В статье пытаются смешать BERT и ULMfit. Получается довольно средне, но в конце концов они обходят ULMfit на почти всех датасетах (хоть и не сильно). В статье много хаков и мало убедительных ablation studies, но это best we have. На удивление мало статей, рассказывающих о том, как правильно применять BERT.
Sun et al. Fudan University
arxiv.org/pdf/1905.05583.pdf
В статье пытаются смешать BERT и ULMfit. Получается довольно средне, но в конце концов они обходят ULMfit на почти всех датасетах (хоть и не сильно). В статье много хаков и мало убедительных ablation studies, но это best we have. На удивление мало статей, рассказывающих о том, как правильно применять BERT.
Как выяснилось не все знают о существовании discussion group для этого канала. Заходите поговорить.
Всем доброе утречко! В это воскресенье (18.08.19) организуется NLP Reading Club. Обсуждаем тему dialogue state tracking.
Время: 12:00
Место: ШАД, Оксфорд
Форма для тех, у кого нету пропуска в ШАД (закроется в 12:00 сегодня)
https://forms.office.com/Pages/ResponsePage.aspx?id=DQSIkWdsW0yxEjajBLZtrQAAAAAAAAAAAAMAAKZ1i4JUMFVVMkVSOExNR1U3UVpHT0EyWEEyQzRVOC4u
Время: 12:00
Место: ШАД, Оксфорд
Форма для тех, у кого нету пропуска в ШАД (закроется в 12:00 сегодня)
https://forms.office.com/Pages/ResponsePage.aspx?id=DQSIkWdsW0yxEjajBLZtrQAAAAAAAAAAAAMAAKZ1i4JUMFVVMkVSOExNR1U3UVpHT0EyWEEyQzRVOC4u
Сори за такие быстрые формы, когда отладим процесс, будем заранее выкладывать.
RAdam - Retctified ADAM. Новый оптимизатор, который менее чувствителен к lr и не требует прогрева (в отличие от ADAM).
Статья: arxiv.org/abs/1908.03265v1
Пост на медиуме: link.medium.com/72QVenv8bZ
Имплементация на PyTorch: github.com/LiyuanLucasLiu/RAdam
Статья: arxiv.org/abs/1908.03265v1
Пост на медиуме: link.medium.com/72QVenv8bZ
Имплементация на PyTorch: github.com/LiyuanLucasLiu/RAdam
arXiv.org
On the Variance of the Adaptive Learning Rate and Beyond
The learning rate warmup heuristic achieves remarkable success in stabilizing training, accelerating convergence and improving generalization for adaptive stochastic optimization algorithms like...
RoBERTa в PyTorch Transformers 🎉
Что ещё нужно для счастья?
https://mobile.twitter.com/huggingface/status/1162346749194903553
Спасибо @someotherusername
Что ещё нужно для счастья?
https://mobile.twitter.com/huggingface/status/1162346749194903553
Спасибо @someotherusername
Twitter
Hugging Face
💃PyTorch-Transformers 1.1.0 is live💃 It includes RoBERTa, the transformer model from @facebookai, current state-of-the-art on the SuperGLUE leaderboard! Thanks to @myleott @julien_c @LysandreJik and all the 100+ contributors!
DeepMind выпускает подкаст. Пока что доступен только трейлер, но stay tuned.
podcasts.apple.com/ru/podcast/deepmind-the-podcast/id1476316441?l=en
podcasts.apple.com/ru/podcast/deepmind-the-podcast/id1476316441?l=en
Apple Podcasts
Google DeepMind: The Podcast
Science Podcast · 32 Episodes · Every two weeks