Вышла

Вот картинка с бенчмарками, сравнивать можно с Gemini Flash от Google (обе на графике — в оранжевых тонах).

Очень заметен отрыв на датасете MATH (задачи по математике 🧐). Одни скажут «прорыв😏», другие — «да переобучились на данных!». А правду узнаем уже из опыта использования моделей!

Правда модель от OpenAI ... дешевле в 2 раза! Всего 15 центов за миллион входных токенов, и 60 за миллион на выходе — это ОЧЕНЬ мало. Дешевле GPT-3.5-Turbo на 65%!

И напомню, что даже эти копейки можно срезать на 50%, если пользоваться Batch API (это когда вы загружаете файл с сотнями-тысячами запросов, и он в течение суток обрабатывается; не подходит для чатов, но подходит для разных неприоритетных фоновых задач).

К сожалению, контекст так и остался на отметке в 128000 токенов.

P.S.: с этим релизом GPT-3.5-Turbo, представитель прошлого поколения моделей, уходит на покой 🫡 спи сладко. Но ещё на покой ушли десятки опенсурсных моделей: многие 70B варианты дороже даже у демпингующих провайдеров 🥺 Да что там, gemma-2-27b (крутая моделька гугла) стоит $0.27 — почти в два раза дороже 🤯

Elon Musk твитнул, что сегодня ночью они запустили тренировку на свежепостроенном суперкластере X.AI в Мемфис, штат Теннеси.

В этом датацентре установлено 100'000 видеокарт H100 😨 это ОЧЕНЬ много — META недавно запустила 2 кластера по 24'576 GPU, а GPT-4 тренировали, по слухам, на 25'000 карт.

Мало того, что самих чипов больше, каждый из них ещё и в 2-3 раза мощнее. Точную оценку дать сложно, многое упирается в инфраструктуру и способ обмена разных серверов информацией. Чем больше карт — тем дольше их синхронизировать, и потому падает утилизация.

Если прикидывать грубо, то система в 10 раз мощнее тренировавшей модель OpenAI (x4 за кол-во карт и x2.5 за новое поколение чипов). Честно, я не ждал, что уже в этом году заработает такой кластер — думал, может, на 75-80 тысячах остановятся. Тем более я не ждал этого от Elon — ведь его X.AI буквально последними запрыгнули в AI гонку, когда видеокарточек уже буквально не было!

Но если новичок смог за полтора года так разогнаться, то, наверное, у OpenAI x Microsoft или Google мощностей для запуска одной тренировки может быть в 2-3 раза больше. Думаю, тезис про «самый большой кластер» под вопросом (просто они непубличные и мы про них не знаем).

В любом случае, развитие продолжается, ждём Grok 3 в декабре — а вместе с ним и моделей от других ведущих лабораторий!