Придешь на reading club?
public poll

Нет, но буду смотреть стрим – 97
👍👍👍👍👍👍👍 63%

Да, хочу послушать – 41
👍👍👍 27%

Нет, не пойду – 10
👍 7%

Да, хочу выступить – 5
▫️ 3%

👥 153 people voted so far.

Всем привет!
Итак, список статей для reading club из чатика. Если есть ещё варианты - шлите в оный.

Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning ссылка ✅

Explain Yourself! Leveraging Language Models for Commonsense Reasoning ссылка

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks ссылка

Neural Text Generation with Unlikelihood Training ссылка

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations ссылка

CTRL: A Conditional Transformer Language Model for Controllable Generation ссылка

Misspelling Oblivious Word Embeddings ссылка

MASS: Masked Sequence to Sequence Pre-training for Language Generation ссылка

Если вы хотите взять какую-то статью, то отметьтесь в табличке тык

Итак, отмечаем, когда удобнее провести reading club

https://doodle.com/poll/ypiiux324pfvzkii

ВНИМАНИЕ! Замена аудитории!
На семинар зарегистрировалось очень много слушателей, поэтому заседание пройдет в аудитории R205.
3 октября 2019, в четверг, 19:00 приглашаем Вас на заседание семинара Научно-учебной лаборатории  моделей и методов вычислительной прагматики Департамента анализа данных и искусственного интеллекта.
Тема: "Соревнование по решению школьных тестов по русскому языку и базовое решение для него"
Докладчик: Валентин Малых (научный сотрудник Huawei Noah's Ark lab)

A GPT-2 written essay was submitted to the Economist's youth essay contest.

One judge, who did not know the essay was written by an AI, gave this review: "It is strongly worded and backs up claims with evidence, but the idea is not incredibly original."

https://www.economist.com/open-future/2019/10/01/how-to-respond-to-climate-change-if-you-are-an-algorithm

By twitter.com/gdb/status/1179422239483158528

Hierarchical Decision Making by Generating and Following Natural Language Instructions
Hengyuan Hu et al. [FAIR]
arxiv.org/abs/1906.00744

Создают игровую среду со стратегическим планированием и микроконтролем - StarCraft на совсем минималках.

Команда из двоих людей наигрывает против rule-based противника 5392 игр, выигрывает чуть больше, чем в половине случаев. Один игрок выступает в роли стратега, давая высокоуровневые инструкции, второй выполняет микроконтроль, в среднем по 7 команд юнитам на одну инструкцию. В результате собран датасет из 76к пар инструкций-исполнений.

Архитектура решения:

- Инструктор (он же стратег) обучается мапить состояние игры в высокоуровневые инструкции на естественном языке. Обучается supervised.
- Исполнитель обучается давать команды юнитам на основе информации с игрового поля, истории и, возможно, инструкций. Обучается supervised.

Экспериментируют с моделями инструктора, также обучают архитектуру без него, чтобы понять вклад представлений стратегии на естественном языке и способа их моделирования в win-rate игры.

Code, models and data https://github.com/facebookresearch/minirts

Всем привет!
Судя по опросу в doodle, наибольшее число людей проголосовало за проведение reading club в четверг (10 октября).

Всем снова привет!

Итак, с датой и временем вроде определились - 10 октября (четверг), в 19:00, осталось решить два вопроса:
1) смогут ли выступающие прийти в это время
2) раскидать\разобрать статьи

Для решения первого ниже будет прикреплена голосовалка, для второго предлагаю провернуть уже проверенную схему - раскидать статьи случайно между выступающими. Если что, чат всегда открыт для обсужений.

Сможешь прийти 10 октября(четверг) в 19:00 ?
public poll

Посмотрю стрим – 64
👍👍👍👍👍👍👍 68%

Да, приду послушать – 16
👍👍 17%

Нет, не смогу – 10
👍 11%

Да, приду, буду выступать – 4
▫️ 4%

👥 94 people voted so far.

Я вас уже наверное достал голосовалками, но последний вопрос - место
public poll

ШАД – 44
👍👍👍👍👍👍👍 56%

ФКН ВШЭ – 30
👍👍👍👍👍 38%

Другое (в чатик) – 5
👍 6%

👥 79 people voted so far.

Всем привет!
Мы наконец решили все орг вопросы, поэтому reading club быть!

Итак, место встречи - корпус ФКН ВШЭ (Покровский бульвар 11), 10 октября(четверг). Встреча начнется в 19:00 и пройдет ориентировочно до 20:30.
Форма регистрации https://forms.gle/y8ieis3JrGomv7z77

UPD: Форма закроется в среду вечером, поэтому поторопитесь.

PyTorch XLA потихоньку оживает. Скоро можно будет тренировать языковые модели за несколько часов на 🔥+TPU


At last, language model pretraining with PyTorch+TPUs https://github.com/allenai/tpu_pretrain

Our code trains PyTorch BERT/RoBERTa on TPUs, which is faster and cheaper than GPUs.

Also check the repo for a more detailed comparison between TPUs/GPUs on PyTorch/Tensorflow.


https://twitter.com/i_beltagy/status/1181320500783415296

С просторов ODS
github.com/thunlp/PLMpapers

BERT-related papers
github.com/tomohideshibata/BERT-related-papers

В начале я думал, что это просто список всех статей, которые ссылаются на берт и что это бессмысленно. Но потом я увидел что они разбиты по категориям (e.g. Inside BERT, Multilingual) и это уже выглядит гораздо полезнее. В общем выбирайте интересный вам топик и читайте на досуге.

За ссылку спасибо @vaklyuenkov

У вас ещё есть время зарегистрироваться на reading club, торопитесь)

Итак, до reading club осталось меньше 4 часов.
Обязательно возьмите паспорт/права ✌️

Update: reading club будет а аудитории D501

Update2: Вход строго через Вход 3 (он же корпус S).

Это вход со стороны Дурасовского переулка, ближе к курской.