Forwarded from Katya Artemova
Всем привет!
3 октября 2019, в четверг, 19:00 приглашаем на заседание семинара Научно-учебной лаборатории моделей и методов вычислительной прагматики Департамента анализа данных и искусственного интеллекта ВШЭ.
Тема: "Соревнование по решению школьных тестов по русскому языку и базовое решение для него"
Докладчик: Валентин Малых (научный сотрудник Huawei Noah's Ark lab)
Аннотация: В докладе будет рассказано про проходящее соревнование https://contest.ai-journey.ru, в чем состоит его сложность и почему оно интересно. Будет рассмотрено базовое решение для этого соревнования, которое набрало бы "тройку" на настоящем экзамене. Если вы заинтересовались, то может быть у вас получится сделать решение на "отлично".
Место проведения: Покровский бульвар, д. 11, D502, 19:00
ссылка для регистрации https://www.hse.ru/expresspolls/poll/308207309.html
3 октября 2019, в четверг, 19:00 приглашаем на заседание семинара Научно-учебной лаборатории моделей и методов вычислительной прагматики Департамента анализа данных и искусственного интеллекта ВШЭ.
Тема: "Соревнование по решению школьных тестов по русскому языку и базовое решение для него"
Докладчик: Валентин Малых (научный сотрудник Huawei Noah's Ark lab)
Аннотация: В докладе будет рассказано про проходящее соревнование https://contest.ai-journey.ru, в чем состоит его сложность и почему оно интересно. Будет рассмотрено базовое решение для этого соревнования, которое набрало бы "тройку" на настоящем экзамене. Если вы заинтересовались, то может быть у вас получится сделать решение на "отлично".
Место проведения: Покровский бульвар, д. 11, D502, 19:00
ссылка для регистрации https://www.hse.ru/expresspolls/poll/308207309.html
NeMo: a toolkit for building AI applications using Neural Modules
Oleksii Kuchaiev et al. NVIDIA
arxiv.org/abs/1909.09577
Тулкит для быстрого стакания монструозных архитектур из высокоуровневых фреймворк-агностичных блоков.
Боль:
- Стандартный подход переиспользования компонентов в комплексных архитектурах - стекать предобученные опенсорсные модели.
- Определение архитектуры и обучение модели могут быть трудноразделимы в одном скрипте.
- Во фреймворках глубокого обучения используются многомерные тензоры без описания семантики содержимого, что затрудняет стек компонентов и отладку в рамках архитектуры.
Болеутоляющее:
- Декомпозиция на высокоуровневые функциональные building blocks (такие, как language model, encoder, decoder, data augmentation algorithm, a loss function и т.д.) с фиксированными input и output интерфейсами.
- Разделение на описание архитектуры, обучение, алгоритм оптимизации, выбор фреймворков backend.
- Интерфейсы блоков определены статическими типами данных с описанием семантики данных для каждой оси тензора (такой, как WordEmbedding, ImageEmbeddingTag, Spectrogram), между building blocks выполняется проверка на совместимость.
- Building blocks фреймворк-агностичны, сейчас могут конвертироваться из любой PyTorch nn.Module, а после добавления поддержки, - и из других фреймворков. Кроме базовых блоков уже есть коллекции высокоуровневых: модели распознавания речи, машинного перевода, BERT.
▫️ Python
▫️ Distributed training
▫️ Mixed precision training
▫️ Multi-GPU
▫️ Open Source https://github.com/NVIDIA/NeMo
▫️ Видос с примером использования https://drive.google.com/file/d/1CF-buP_Y1qCAefzoyvOUCXl_3v2vO5P-/preview
Oleksii Kuchaiev et al. NVIDIA
arxiv.org/abs/1909.09577
Тулкит для быстрого стакания монструозных архитектур из высокоуровневых фреймворк-агностичных блоков.
Боль:
- Стандартный подход переиспользования компонентов в комплексных архитектурах - стекать предобученные опенсорсные модели.
- Определение архитектуры и обучение модели могут быть трудноразделимы в одном скрипте.
- Во фреймворках глубокого обучения используются многомерные тензоры без описания семантики содержимого, что затрудняет стек компонентов и отладку в рамках архитектуры.
Болеутоляющее:
- Декомпозиция на высокоуровневые функциональные building blocks (такие, как language model, encoder, decoder, data augmentation algorithm, a loss function и т.д.) с фиксированными input и output интерфейсами.
- Разделение на описание архитектуры, обучение, алгоритм оптимизации, выбор фреймворков backend.
- Интерфейсы блоков определены статическими типами данных с описанием семантики данных для каждой оси тензора (такой, как WordEmbedding, ImageEmbeddingTag, Spectrogram), между building blocks выполняется проверка на совместимость.
- Building blocks фреймворк-агностичны, сейчас могут конвертироваться из любой PyTorch nn.Module, а после добавления поддержки, - и из других фреймворков. Кроме базовых блоков уже есть коллекции высокоуровневых: модели распознавания речи, машинного перевода, BERT.
▫️ Python
▫️ Distributed training
▫️ Mixed precision training
▫️ Multi-GPU
▫️ Open Source https://github.com/NVIDIA/NeMo
▫️ Видос с примером использования https://drive.google.com/file/d/1CF-buP_Y1qCAefzoyvOUCXl_3v2vO5P-/preview
arXiv.org
NeMo: a toolkit for building AI applications using Neural Modules
NeMo (Neural Modules) is a Python framework-agnostic toolkit for creating AI applications through re-usability, abstraction, and composition. NeMo is built around neural modules, conceptual blocks...
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
Lan et al. Google
arxiv.org/abs/1909.11942
Гугл исследует, как увеличение ширины трансформера влияет на вероятность получить SOTA. Оказывается, что если сделать это правильным обазом, то весьма положительно.
Ключевые идеи:
1. зашарить параметры между всеми слоями трансформера, как в Universal Transformer (по сути просто итерируемся по одному слою)
2. чтобы при увеличении hidden не рос размер эмбеддинг-матрицы, проецировать эмбеддинги не напрямую, а через промежуточное пространство
3. вместо next sentence prediction, где негативные примеры семплируются из всего датасета, брать два последовательно идущих предложения и с некоторой вероятностью менять их местами; предсказывать в каком порядке они должны идти
4. увеличить размер hidden в 4 раза, получаем SOTA
Подробнее про 2
было:
стало:
если H >> E, то это позволяет сократить число параметров и ускорить вычисления
Другие подробности:
1. Использовали умное маскирование - с некоторой вероятностью маскировали до 3 последовательно идущих токенов
1. LAMB optimizer
1. ALBERT, достигающий сопоставимых с BERT Large результатов медленнее BERT Large
Lan et al. Google
arxiv.org/abs/1909.11942
Гугл исследует, как увеличение ширины трансформера влияет на вероятность получить SOTA. Оказывается, что если сделать это правильным обазом, то весьма положительно.
Ключевые идеи:
1. зашарить параметры между всеми слоями трансформера, как в Universal Transformer (по сути просто итерируемся по одному слою)
2. чтобы при увеличении hidden не рос размер эмбеддинг-матрицы, проецировать эмбеддинги не напрямую, а через промежуточное пространство
3. вместо next sentence prediction, где негативные примеры семплируются из всего датасета, брать два последовательно идущих предложения и с некоторой вероятностью менять их местами; предсказывать в каком порядке они должны идти
4. увеличить размер hidden в 4 раза, получаем SOTA
Подробнее про 2
было:
emb = Embedding(vocab=30K, emb_size=H)стало:
emb = Embedding(vocab=30K, emb_size=E)(x)
emb = Linear(E, H)(emb)если H >> E, то это позволяет сократить число параметров и ускорить вычисления
Другие подробности:
1. Использовали умное маскирование - с некоторой вероятностью маскировали до 3 последовательно идущих токенов
1. LAMB optimizer
1. ALBERT, достигающий сопоставимых с BERT Large результатов медленнее BERT Large
arXiv.org
ALBERT: A Lite BERT for Self-supervised Learning of Language...
Increasing model size when pretraining natural language representations often results in improved performance on downstream tasks. However, at some point further model increases become harder due...
Сегодня Google исполняется 21, поэтому статья
The Anatomy of a Large-Scale Hypertextual Web Search Engine
Brin and Page [Stanford]
https://stanford.io/2IBq2o3
Абстракт абстракта:
People are likely to surf the web using its link graph, often starting with high quality human maintained indices such as Yahoo! or with search engines. Human maintained lists cover popular topics effectively but are subjective, expensive to build and maintain, slow to improve, and cannot cover all esoteric topics. Automated search engines that rely on keyword matching usually return too many low quality matches. We have built a large-scale search engine which addresses many of the problems of existing systems. It makes especially heavy use of the additional structure present in hypertext to provide much higher quality search results.
Интересно посмотреть на состояние интернета того времени через призму статьи. Да, она немного не про NLP, ну и ладно.
The Anatomy of a Large-Scale Hypertextual Web Search Engine
Brin and Page [Stanford]
https://stanford.io/2IBq2o3
Абстракт абстракта:
People are likely to surf the web using its link graph, often starting with high quality human maintained indices such as Yahoo! or with search engines. Human maintained lists cover popular topics effectively but are subjective, expensive to build and maintain, slow to improve, and cannot cover all esoteric topics. Automated search engines that rely on keyword matching usually return too many low quality matches. We have built a large-scale search engine which addresses many of the problems of existing systems. It makes especially heavy use of the additional structure present in hypertext to provide much higher quality search results.
Интересно посмотреть на состояние интернета того времени через призму статьи. Да, она немного не про NLP, ну и ладно.
Collaborative Multi-Agent Dialogue Model Training Via Reinforcement Learning
Alexandros Papangelis et al. Uber AI
arxiv.org/abs/1907.05507
Совместное одновременное обучение information seeker и information provider агентов, взаимодействующих только посредством диалога на естественном языке.
Архитектура агентов:
▫️NLU natural language understanding network
- NLU, получая на вход предложение в свободной форме, возвращает список намерений (intent) и соответсвующих им тегов из фиксированного набора. Например: "There are no Italian restaurants in the south part of the city, but one is available in the west side" ->
- модель состоит из свёрточного енкодера и двух декодеров: intent multi-label classifier, slot tagger
- метрика: F1 scores
- предобучена на датасете DSTC2
↓
▫️Dialogue policies (DP)
- на вход поступают рузультаты NLU
- для seeker состояния содержат его цель и полученную в результате диалога информацию, для provider - всю запрошенную информацию с фокусом на текущий запрос, результаты SQL запросов из базы данных о ресторанах
- награда даётся как за выполнение совместной задачи (ресторан назван верно, на все запросы seeker даны ответы), так и специфично целям агентов. Это позволяет обучать нового агента в паре с уже обученным.
- seeker дополнительно наказывается за запросы не "выражающие" информацию о цели, provider - за запросы без ответа.
- алгоритм: Win or Lose Fast Policy Hill Climbing (WoLF-PHC)
- обучается непосредственно взаимодействием агентов
↓
▫️NLG natural language generation network
- на вход поступают рузультаты DP в виде намерений и плейсхолдеров информации из базы:
- модель: seq2seq EncoderDecoder with LSTMs rnn, attention
- метрика: модифицированный BLEU score - вмеcто расчёта метрики только по одному конкретному ответу считается по всем ответам в датасете, имеющим семантически одинаковые запросы.
- предобучена на DSTC2
🏆 Outperform supervised baselines.
Alexandros Papangelis et al. Uber AI
arxiv.org/abs/1907.05507
Совместное одновременное обучение information seeker и information provider агентов, взаимодействующих только посредством диалога на естественном языке.
Архитектура агентов:
▫️NLU natural language understanding network
- NLU, получая на вход предложение в свободной форме, возвращает список намерений (intent) и соответсвующих им тегов из фиксированного набора. Например: "There are no Italian restaurants in the south part of the city, but one is available in the west side" ->
deny(food: Italian, area: south), inform(area: west)}. Для устранения неднозначности созданы теги, соответсвующие намерениям, такие как deny_area и inform_area для локаций.- модель состоит из свёрточного енкодера и двух декодеров: intent multi-label classifier, slot tagger
- метрика: F1 scores
- предобучена на датасете DSTC2
↓
▫️Dialogue policies (DP)
- на вход поступают рузультаты NLU
- для seeker состояния содержат его цель и полученную в результате диалога информацию, для provider - всю запрошенную информацию с фокусом на текущий запрос, результаты SQL запросов из базы данных о ресторанах
- награда даётся как за выполнение совместной задачи (ресторан назван верно, на все запросы seeker даны ответы), так и специфично целям агентов. Это позволяет обучать нового агента в паре с уже обученным.
- seeker дополнительно наказывается за запросы не "выражающие" информацию о цели, provider - за запросы без ответа.
- алгоритм: Win or Lose Fast Policy Hill Climbing (WoLF-PHC)
- обучается непосредственно взаимодействием агентов
↓
▫️NLG natural language generation network
- на вход поступают рузультаты DP в виде намерений и плейсхолдеров информации из базы:
act_inform $food act_inform $pricerange act_offer $name- модель: seq2seq EncoderDecoder with LSTMs rnn, attention
- метрика: модифицированный BLEU score - вмеcто расчёта метрики только по одному конкретному ответу считается по всем ответам в датасете, имеющим семантически одинаковые запросы.
- предобучена на DSTC2
🏆 Outperform supervised baselines.
#rl
Свежий запуск курса по deep learning в rl от Сергея Левина идёт прямо сейчас. Можно подключаться.
twitter.com/svlevine/status/1178420131078107136
Свежий запуск курса по deep learning в rl от Сергея Левина идёт прямо сейчас. Можно подключаться.
twitter.com/svlevine/status/1178420131078107136
Twitter
Sergey Levine
Want to learn deep RL? My deep RL course now has a permanent course number (CS285) and is being offered this semester: https://t.co/tAGzTDfvUc Lecture videos here (so far, we've gotten through most of model-free RL, model-based RL coming up next): https:…
Придешь на reading club?
public poll
Нет, но буду смотреть стрим – 97
👍👍👍👍👍👍👍 63%
Да, хочу послушать – 41
👍👍👍 27%
Нет, не пойду – 10
👍 7%
Да, хочу выступить – 5
▫️ 3%
👥 153 people voted so far.
public poll
Нет, но буду смотреть стрим – 97
👍👍👍👍👍👍👍 63%
Да, хочу послушать – 41
👍👍👍 27%
Нет, не пойду – 10
👍 7%
Да, хочу выступить – 5
▫️ 3%
👥 153 people voted so far.
Всем привет!
Итак, список статей для reading club из чатика. Если есть ещё варианты - шлите в оный.
Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning ссылка ✅
Explain Yourself! Leveraging Language Models for Commonsense Reasoning ссылка
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks ссылка
Neural Text Generation with Unlikelihood Training ссылка
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations ссылка
CTRL: A Conditional Transformer Language Model for Controllable Generation ссылка
Misspelling Oblivious Word Embeddings ссылка
MASS: Masked Sequence to Sequence Pre-training for Language Generation ссылка
Если вы хотите взять какую-то статью, то отметьтесь в табличке тык
Итак, список статей для reading club из чатика. Если есть ещё варианты - шлите в оный.
Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning ссылка ✅
Explain Yourself! Leveraging Language Models for Commonsense Reasoning ссылка
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks ссылка
Neural Text Generation with Unlikelihood Training ссылка
ALBERT: A Lite BERT for Self-supervised Learning of Language Representations ссылка
CTRL: A Conditional Transformer Language Model for Controllable Generation ссылка
Misspelling Oblivious Word Embeddings ссылка
MASS: Masked Sequence to Sequence Pre-training for Language Generation ссылка
Если вы хотите взять какую-то статью, то отметьтесь в табличке тык
Forwarded from Katya Artemova
ВНИМАНИЕ! Замена аудитории!
На семинар зарегистрировалось очень много слушателей, поэтому заседание пройдет в аудитории R205.
3 октября 2019, в четверг, 19:00 приглашаем Вас на заседание семинара Научно-учебной лаборатории моделей и методов вычислительной прагматики Департамента анализа данных и искусственного интеллекта.
Тема: "Соревнование по решению школьных тестов по русскому языку и базовое решение для него"
Докладчик: Валентин Малых (научный сотрудник Huawei Noah's Ark lab)
На семинар зарегистрировалось очень много слушателей, поэтому заседание пройдет в аудитории R205.
3 октября 2019, в четверг, 19:00 приглашаем Вас на заседание семинара Научно-учебной лаборатории моделей и методов вычислительной прагматики Департамента анализа данных и искусственного интеллекта.
Тема: "Соревнование по решению школьных тестов по русскому языку и базовое решение для него"
Докладчик: Валентин Малых (научный сотрудник Huawei Noah's Ark lab)
A GPT-2 written essay was submitted to the Economist's youth essay contest.
One judge, who did not know the essay was written by an AI, gave this review: "It is strongly worded and backs up claims with evidence, but the idea is not incredibly original."
https://www.economist.com/open-future/2019/10/01/how-to-respond-to-climate-change-if-you-are-an-algorithm
By twitter.com/gdb/status/1179422239483158528
One judge, who did not know the essay was written by an AI, gave this review: "It is strongly worded and backs up claims with evidence, but the idea is not incredibly original."
https://www.economist.com/open-future/2019/10/01/how-to-respond-to-climate-change-if-you-are-an-algorithm
By twitter.com/gdb/status/1179422239483158528
The Economist
How to respond to climate change, if you are an algorithm
We ran our youth essay question through an artificial-intelligence system to produce an essay
Hierarchical Decision Making by Generating and Following Natural Language Instructions
Hengyuan Hu et al. [FAIR]
arxiv.org/abs/1906.00744
Создают игровую среду со стратегическим планированием и микроконтролем - StarCraft на совсем минималках.
Команда из двоих людей наигрывает против rule-based противника 5392 игр, выигрывает чуть больше, чем в половине случаев. Один игрок выступает в роли стратега, давая высокоуровневые инструкции, второй выполняет микроконтроль, в среднем по 7 команд юнитам на одну инструкцию. В результате собран датасет из 76к пар инструкций-исполнений.
Архитектура решения:
- Инструктор (он же стратег) обучается мапить состояние игры в высокоуровневые инструкции на естественном языке. Обучается supervised.
- Исполнитель обучается давать команды юнитам на основе информации с игрового поля, истории и, возможно, инструкций. Обучается supervised.
Экспериментируют с моделями инструктора, также обучают архитектуру без него, чтобы понять вклад представлений стратегии на естественном языке и способа их моделирования в win-rate игры.
Code, models and data https://github.com/facebookresearch/minirts
Hengyuan Hu et al. [FAIR]
arxiv.org/abs/1906.00744
Создают игровую среду со стратегическим планированием и микроконтролем - StarCraft на совсем минималках.
Команда из двоих людей наигрывает против rule-based противника 5392 игр, выигрывает чуть больше, чем в половине случаев. Один игрок выступает в роли стратега, давая высокоуровневые инструкции, второй выполняет микроконтроль, в среднем по 7 команд юнитам на одну инструкцию. В результате собран датасет из 76к пар инструкций-исполнений.
Архитектура решения:
- Инструктор (он же стратег) обучается мапить состояние игры в высокоуровневые инструкции на естественном языке. Обучается supervised.
- Исполнитель обучается давать команды юнитам на основе информации с игрового поля, истории и, возможно, инструкций. Обучается supervised.
Экспериментируют с моделями инструктора, также обучают архитектуру без него, чтобы понять вклад представлений стратегии на естественном языке и способа их моделирования в win-rate игры.
Code, models and data https://github.com/facebookresearch/minirts