🦌 Yannic рассказывает про гипермодальные трансформеры

🔥InstructGPT: новое поколение GPT от OpenAI

Архитектурно это всё та же GPT-3, вся фишка в дообучении:
1. Сначала, они её немного зафайнтюнили на чистых данных.
2. Потом вручную разметили качество получающихся аутпутов и обучили reward модель его предсказывать.
3. Далее в ход пошёл Reinforcement Learning алгоритм (PPO), который по этой reward модели ещё чуть-чуть затюнил GPT.

В итоге InstructGPT стала менее токсичной, реже путается в фактах и в целом лучше справляется со всеми задачами. Говорят, что даже 1.3B новая модель лучше, чем 175B старая.

P.S. Похоже, что RL теперь снова в моде благодаря языковым моделям.

Статья, блог, GitHub

DeepMind выпустил AlphaCode, который прогает лучше половины твоих знакомых.

Во многом похож на Codex, но есть отличия.

Основной подход:
1. Encoder-decoder, 41B параметров
1. Декодер обучается предсказывать следующее слово, а энкодер делает MLM. Всё end2end.
1. Заскрапили датасет задачек с Codeforces и зафайнтюнили на нём модель
1. Во время тестирования семплили очень большое количество решения (до миллиона) и потом выбирали из них с помощью кластеризации, эвристик и, самое главное, проходят ли они открытые тесты которые приложены к задачке. Сабмитили на финальную проверку только топ-10.

По результатам: AlphaCode решает задачки лучше, чем 54% пользовалетей Codeforces (не очень альфа пока что, но стремится туда).

Небольшие технические отличия от Codex:
1. Максимальная длина для энкодера 1536, для декодера 768
1. Использовали Multi-query attention, модификацию attention, которая использует одни и те же K и V для разныех голов – позволило улучшить потребление памяти и скорость декодирования
1. Очень маленький словарь токенизатора, 8К.
1. Во время файтнюнинга использовали температуру 0.2, которая делает распределение более острым. При тесте температура не использовалась, назвали это tempering.
1. Файнтюнились и на правильных и на неправильных решениях, при этом моделе заранее сообщается сигнал корректное ли это решения.
1. Для файнтюнинга использовали лосс, который называется GOLD. По сути это взвешенная кросс-энтропия, несмотря на то, что выглядит как RL.

Вот тут можно посмотреть на визуализацию attention, а ещё есть популярно написанный блогпост

🤯 GPT-3 c 20,000,000,000 параметров в Open-Source хотите?

TL;DR 9го февраля 2022 выложат в открытый доступ GPT-3 с 20B параметров! Ждём GPT-NeoX-20B

Да это не 175B трансформер от OpenAI. Но с другой стороны, на чем Вы его будете поднимать? GPT-NeoX-20B скорее всего влезет в A100 для инференса (без оптимизатора и без градиентов). И это будет первая публичная модель такого масштаба и такого уровня!

GPT-NeoX-20B показывает отличный уровень «интеллекта» 71.98% на LAMBADA, уступая 3.18% крупнейшей GPT-3 DaVinci 75.16%. При этом у 13B GPT-3 Curie этот показатель был 69.51%.
То есть GPT-NeoX-20B по своим интеллектуальным способностям находится между двумя самыми топовыми решениями от OpenAI.

Что это значит? Скорее всего за разумные деньги можно будет решать огромное кол-во задач на весьма приемлемом уровне и без API от OpenAI.
Кроме стартапов, это открывает большие возможности для ресерча. Так как модель и все ее внутренности будут доступны ««локально»».

📑 blog.eleuther.ai

🎓🔥 OpenAI обучили нейросеть для решения задач олимпиадой математики, способную доказывать теоремы

OpenAI создали нейронный прувер теорем, который научился решать множество сложных задач олимпиадой математики.

Это языковая модель для построения формальных доказательств и утверждений. Формально — GPT-3 с 774M обучаемыми параметрами (36тислойный трансформер).

Обучение происходит по методологии expert iteration: каждый раз, когда находится новое доказательство, оно поступает в датесет новых данных для обучения, что улучшает нейронную сеть и позволяет ей итеративно находить решения для все более и более сложных задач.

📑 paper 📝 blog post

Встроенный механизм самооценки результатов генерации, очень легкая нейронная сеть 🦌 ruDOLPH 350m 🦌 доступна в открытом доступе, только что обновил версию!

пример генерации: "старинный будильник многоугольной формы"
256 попыток, нейронная сеть сама выбрала 36 лучших генераций, и все за 38 сек! 😳 посмотрите какие получились интересные генерации!

ресурсы: [github] [huggingface] [colab]
авторы: [AI AbuZZer] & [Mishin Learning]

GPT-NeoX-20B - Open-Source huge language model by EleutherAI (Interview w/ co-founder Connor Leahy)

🎥 youtube интервью

Помните, я писал, что 9го февраля 2022 выложат в открытый доступ GPT-3 с 20B параметров! Ждём GPT-NeoX-20B

Это будет первая публичная GPT-3 такого масштаба: GPT-NeoX-20B по своим интеллектуальным способностям находится между двумя самыми топовыми решениями от OpenAI.

Янык взял интервью у кофаундера EleutherAI. Какие темы поднимаются в видео:

▪️ Как достать такой компьют?
▪️ Эксперименты и масштаб моделей
▪️ GPT-Neo, GPT-J, GPT-NeoX
▪️ Насколько сложно обучать большие модели?

🚀 OpenAI выкатил в открытый доступ веса самого топового CLIP

Прошло и года (13 месяцев) и OpenAI выложил веса RN50x64 и ViT-L/14

Загрузить самый топовый ViT-L14 можно, заменив ваш ViT-B/16 в одной строке:

model, preprocess = clip.load('ViT-L/14', device)

p.s.: Наткнулся случайно, когда ставил очередной эксперимент выходного дня, и после того как написал clip.load('RN-50', device) вместо 'RN50' в ошибке увидел в списке доступных моделей 'ViT-L/14'. Полезная ошибка вышла.

Всем хороших выходных, и да здравствует Zero-Shot!

👉 https://github.com/openai/CLIP

Помните, что DeepMind выпустили AlphaCode, который прогает лучше половины твоих знакомых?

Я бы сказал, что AlphaCode от DeepMind можно рассматривать Энкодер-Декодер-гомолог GPT-декодера Codex от OpenAI.

То что AI будет отличным спутником программиста никто не сомневается. Ну а появление вакансий как: Zero-Shot Software Engineer (CODEX, AlphaCode) и Zero-Shot Designer (DALL-E, Diffusion) — лишь вопрос времени. И да, в каждой шутке есть доля шутки.

Предлагаю посмотреть неплохой YouTube разбор AlphaCode от DeepMind.