SambaNova бьёт рекорды скорости с Llama 3.1
Компания SambaNova Systems установила рекорд производительности на модели Llama 3.1 405B, достигнув 123 токенов в секунду.
Это в 4 раза быстрее ближайших конкурентов благодаря инновационному ASIC-чипу SN40L.
На Llama 3.1 8B система генерирует свыше 1000 токенов в секунду.
Платформа предлагает корпорациям возможность развертывания приватных GPT-моделей с раз дешевле.
https://fast.snova.ai/
Интересный конкурент Groq.
У Groq, кстати 405B пока нет.
API, правда по запросу.
Headquartered in Palo Alto, California, SambaNova Systems was founded in 2017 by industry luminaries, and hardware and software design experts from Sun/Oracle and Stanford University.
Investors include SoftBank Vision Fund 2, funds and accounts managed by BlackRock, Intel Capital, GV, Walden International, Temasek, GIC, Redline Capital, Atlantic Bridge Ventures, Celesta, and several others.
#SambaNova #Llama #ASIC
Компания SambaNova Systems установила рекорд производительности на модели Llama 3.1 405B, достигнув 123 токенов в секунду.
Это в 4 раза быстрее ближайших конкурентов благодаря инновационному ASIC-чипу SN40L.
На Llama 3.1 8B система генерирует свыше 1000 токенов в секунду.
Платформа предлагает корпорациям возможность развертывания приватных GPT-моделей с раз дешевле.
https://fast.snova.ai/
Интересный конкурент Groq.
У Groq, кстати 405B пока нет.
API, правда по запросу.
Headquartered in Palo Alto, California, SambaNova Systems was founded in 2017 by industry luminaries, and hardware and software design experts from Sun/Oracle and Stanford University.
Investors include SoftBank Vision Fund 2, funds and accounts managed by BlackRock, Intel Capital, GV, Walden International, Temasek, GIC, Redline Capital, Atlantic Bridge Ventures, Celesta, and several others.
#SambaNova #Llama #ASIC
👍2
Появилось больше деталей по ASIC-чипу для трансформеров от Etched
Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)
Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.
Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.
Первый анонс был летом, - https://yangx.top/tsingular/2002
акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔
#Etched #ASIC #Sohu
-------
@tsingular
Стартап Etched запустил первый специализированный ASIC-чип Sohu для трансформеров.
Производительность устройства - 500,000 токенов в секунду. (1 том Война и Мир - 710тыс знаков или примерно 230тыс токенов. 2 тома в секунду получается)
Один сервер с 8 ASIC чипами заменяет 160 GPU H100 от NVIDIA.
Ключевые характеристики: 144 ГБ памяти, поддержка моделей до 100 трлн параметров, открытый программный стек.
Встроены алгоритмы speculative decoding, beam search, MCTS и MoE.
Первый анонс был летом, - https://yangx.top/tsingular/2002
акции NVIDIA могут подупасть, конечно, когда эта ракета взлетит.
Пока ранний доступ и сбор инвестиций.
Но Асики давно напрашивались. Будем майнить ИИ. 🤔
#Etched #ASIC #Sohu
-------
@tsingular
👍8
Coflex - автоматизация проектирования ASIC для LLM
Вышел open-source фреймворк Coflex, который автоматически оптимизирует ASIC чипы под LLM.
Ключевая фишка - снижение вычислительной сложности с O(n³) до почти линейной O(nm²).
По сути это исследователь, который разбирается в железной архитектуре и ищет сходимость узлов программной архитектуры с микросхемной топологией.
В каждой оптимизационной итерации фреймворк рассчитывает потери с точки зрения количества ошибок и эффективности железа в части задержек в прохождении сигнала и подбирает оптимальное соотношение.
Система использует Sparse Gaussian Processes для навигации по пространству с 10¹⁸ конфигураций аппаратного и программного обеспечения.
Вместо медленного полного перебора создает "карту" всего пространства через небольшой набор репрезентативных точек.
Доступен на GitHub
Paper
АСИКИ для LLM!
Биткоин фермеры опасносте.
#Coflex #ASIC
———
@tsingular
Вышел open-source фреймворк Coflex, который автоматически оптимизирует ASIC чипы под LLM.
Ключевая фишка - снижение вычислительной сложности с O(n³) до почти линейной O(nm²).
По сути это исследователь, который разбирается в железной архитектуре и ищет сходимость узлов программной архитектуры с микросхемной топологией.
В каждой оптимизационной итерации фреймворк рассчитывает потери с точки зрения количества ошибок и эффективности железа в части задержек в прохождении сигнала и подбирает оптимальное соотношение.
Система использует Sparse Gaussian Processes для навигации по пространству с 10¹⁸ конфигураций аппаратного и программного обеспечения.
Вместо медленного полного перебора создает "карту" всего пространства через небольшой набор репрезентативных точек.
Доступен на GitHub
Paper
АСИКИ для LLM!
Биткоин фермеры опасносте.
#Coflex #ASIC
———
@tsingular
❤3🔥3🤯3⚡1