На архиве появилась какая-то дичь. Новый лосс для обучения генерации текста. Выглядит интересно.
Facebook. Connecting people.
Пост про их успехи в машинном переводе, RoBERTA и SuperGLUE
ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people
Пост про их успехи в машинном переводе, RoBERTA и SuperGLUE
ai.facebook.com/blog/new-advances-in-natural-language-processing-to-better-connect-people
Facebook
New advances in natural language processing to better connect people
Recently, Facebook AI has advanced state-of-the-art results in key language understanding tasks and also launched a new benchmark to push AI systems further
How to Fine-Tune BERT for Text Classification?
Sun et al. Fudan University
arxiv.org/pdf/1905.05583.pdf
В статье пытаются смешать BERT и ULMfit. Получается довольно средне, но в конце концов они обходят ULMfit на почти всех датасетах (хоть и не сильно). В статье много хаков и мало убедительных ablation studies, но это best we have. На удивление мало статей, рассказывающих о том, как правильно применять BERT.
Sun et al. Fudan University
arxiv.org/pdf/1905.05583.pdf
В статье пытаются смешать BERT и ULMfit. Получается довольно средне, но в конце концов они обходят ULMfit на почти всех датасетах (хоть и не сильно). В статье много хаков и мало убедительных ablation studies, но это best we have. На удивление мало статей, рассказывающих о том, как правильно применять BERT.
Как выяснилось не все знают о существовании discussion group для этого канала. Заходите поговорить.
Всем доброе утречко! В это воскресенье (18.08.19) организуется NLP Reading Club. Обсуждаем тему dialogue state tracking.
Время: 12:00
Место: ШАД, Оксфорд
Форма для тех, у кого нету пропуска в ШАД (закроется в 12:00 сегодня)
https://forms.office.com/Pages/ResponsePage.aspx?id=DQSIkWdsW0yxEjajBLZtrQAAAAAAAAAAAAMAAKZ1i4JUMFVVMkVSOExNR1U3UVpHT0EyWEEyQzRVOC4u
Время: 12:00
Место: ШАД, Оксфорд
Форма для тех, у кого нету пропуска в ШАД (закроется в 12:00 сегодня)
https://forms.office.com/Pages/ResponsePage.aspx?id=DQSIkWdsW0yxEjajBLZtrQAAAAAAAAAAAAMAAKZ1i4JUMFVVMkVSOExNR1U3UVpHT0EyWEEyQzRVOC4u
Сори за такие быстрые формы, когда отладим процесс, будем заранее выкладывать.
RAdam - Retctified ADAM. Новый оптимизатор, который менее чувствителен к lr и не требует прогрева (в отличие от ADAM).
Статья: arxiv.org/abs/1908.03265v1
Пост на медиуме: link.medium.com/72QVenv8bZ
Имплементация на PyTorch: github.com/LiyuanLucasLiu/RAdam
Статья: arxiv.org/abs/1908.03265v1
Пост на медиуме: link.medium.com/72QVenv8bZ
Имплементация на PyTorch: github.com/LiyuanLucasLiu/RAdam
arXiv.org
On the Variance of the Adaptive Learning Rate and Beyond
The learning rate warmup heuristic achieves remarkable success in stabilizing training, accelerating convergence and improving generalization for adaptive stochastic optimization algorithms like...
RoBERTa в PyTorch Transformers 🎉
Что ещё нужно для счастья?
https://mobile.twitter.com/huggingface/status/1162346749194903553
Спасибо @someotherusername
Что ещё нужно для счастья?
https://mobile.twitter.com/huggingface/status/1162346749194903553
Спасибо @someotherusername
Twitter
Hugging Face
💃PyTorch-Transformers 1.1.0 is live💃 It includes RoBERTa, the transformer model from @facebookai, current state-of-the-art on the SuperGLUE leaderboard! Thanks to @myleott @julien_c @LysandreJik and all the 100+ contributors!
DeepMind выпускает подкаст. Пока что доступен только трейлер, но stay tuned.
podcasts.apple.com/ru/podcast/deepmind-the-podcast/id1476316441?l=en
podcasts.apple.com/ru/podcast/deepmind-the-podcast/id1476316441?l=en
Apple Podcasts
Google DeepMind: The Podcast
Science Podcast · 32 Episodes · Every two weeks
Forwarded from I
Встречаемся завтра в 12 в ШАДе. Аудитория "Оксфорд".
Вместе с коллегами разберем статьи:
- @AllokyOfficial - https://arxiv.org/abs/1801.04871
- @PaGul - https://arxiv.org/abs/1905.08743
- @artli - https://arxiv.org/abs/1810.09587v1
- @twlvth - https://arxiv.org/abs/1907.00883
А @daLime постарается записать.
Если есть вопросы, то пишите -- помогу.
Вместе с коллегами разберем статьи:
- @AllokyOfficial - https://arxiv.org/abs/1801.04871
- @PaGul - https://arxiv.org/abs/1905.08743
- @artli - https://arxiv.org/abs/1810.09587v1
- @twlvth - https://arxiv.org/abs/1907.00883
А @daLime постарается записать.
Если есть вопросы, то пишите -- помогу.
SkynetToday интересно ваше мнение насчёт основных DO и DON’T в AI-новостях.
twitter.com/skynet_today/status/1162814692676423680
Прямая ссылка на форму: forms.gle/kx7fLJABetEUnQw59
twitter.com/skynet_today/status/1162814692676423680
Прямая ссылка на форму: forms.gle/kx7fLJABetEUnQw59
Twitter
Skynet Today 🤖
AI researchers of Twitter, we need your help! We're working on a piece called "Best Practices for AI Journalism" and want to hear what you think are the top DOs and DON'Ts for media reporting on AI. Complete this survey or reply with your thoughts! https…
Хороший обзор современного состояния transfer learning в NLP от Рудера
ruder.io/state-of-transfer-learning-in-nlp/
ruder.io/state-of-transfer-learning-in-nlp/
ruder.io
The State of Transfer Learning in NLP
This post expands on the NAACL 2019 tutorial on Transfer Learning in NLP. It highlights key insights and takeaways and provides updates based on recent work.
NVIDIA раздаёт стипендии.
blogs.nvidia.com/blog/2019/08/16/graduate-fellowship-awards
TL;DR
Up to $50,000 per student.
We’re looking for students who have completed their first year of Ph.D.-level studies at the time of application. Applicants must also be investigating innovative ways to use GPUs. The deadline for submitting applications is Sept. 13, 2019. An internship at NVIDIA preceding the fellowship year is now mandatory — eligible candidates should be available for the internship in summer 2020.
blogs.nvidia.com/blog/2019/08/16/graduate-fellowship-awards
TL;DR
Up to $50,000 per student.
We’re looking for students who have completed their first year of Ph.D.-level studies at the time of application. Applicants must also be investigating innovative ways to use GPUs. The deadline for submitting applications is Sept. 13, 2019. An internship at NVIDIA preceding the fellowship year is now mandatory — eligible candidates should be available for the internship in summer 2020.
NVIDIA Blog
Applications Open for $50,000 NVIDIA Graduate Fellowship Awards
We’re taking applications for the 19th annual NVIDIA Graduate Fellowship Program, seeking students doing outstanding GPU-based research.