Elon Musk твитнул, что сегодня ночью они запустили тренировку на свежепостроенном суперкластере X.AI в Мемфис, штат Теннеси.

В этом датацентре установлено 100'000 видеокарт H100 😨 это ОЧЕНЬ много — META недавно запустила 2 кластера по 24'576 GPU, а GPT-4 тренировали, по слухам, на 25'000 карт.

Мало того, что самих чипов больше, каждый из них ещё и в 2-3 раза мощнее. Точную оценку дать сложно, многое упирается в инфраструктуру и способ обмена разных серверов информацией. Чем больше карт — тем дольше их синхронизировать, и потому падает утилизация.

Если прикидывать грубо, то система в 10 раз мощнее тренировавшей модель OpenAI (x4 за кол-во карт и x2.5 за новое поколение чипов). Честно, я не ждал, что уже в этом году заработает такой кластер — думал, может, на 75-80 тысячах остановятся. Тем более я не ждал этого от Elon — ведь его X.AI буквально последними запрыгнули в AI гонку, когда видеокарточек уже буквально не было!

Но если новичок смог за полтора года так разогнаться, то, наверное, у OpenAI x Microsoft или Google мощностей для запуска одной тренировки может быть в 2-3 раза больше. Думаю, тезис про «самый большой кластер» под вопросом (просто они непубличные и мы про них не знаем).

В любом случае, развитие продолжается, ждём Grok 3 в декабре — а вместе с ним и моделей от других ведущих лабораторий!