Machinelearning

⚡️ Gemma 3 QAT

Google DeepMind выпустили обновленные версии своих языковых моделей Gemma 3, которые стали значительно эффективнее по использованию памяти без существенной потери производительности.

Ключевая технология: QAT (Quantization-Aware Training)

Что это? QAT — это техника обучения, при которой модель во время дообучения "учится" работать с пониженной точностью вычислений (используя меньше бит для представления чисел). Это имитирует условия, в которых модель будет работать после квантизации (сжатия).

Обычная квантизация после обучения может привести к падению точности. QAT позволяет модели заранее адаптироваться к работе в низкоточном режиме, минимизируя потерю качества после финальной квантизации.

Каждая модель (1B, 4B, 12B, 27B) была дообучена примерно на 5000 шагов с имитацией низкой разрядности весов. При этом использовался приём, похожий на знание-дистилляцию: оригинальная неквантованная модель выступала в роли «учителя».

Преимущество QAT-подхода для Gemma 3 оказалось колоссальным. Официально заявлено, что квантованные модели Gemma 3 QAT сохраняют качество, практически не упало, при этом требуют в ~3 раза меньше памяти.

Например, объём памяти для хранения весов самой крупной модели на 27B параметров сократился с ~54 ГБ (в формате bfloat16) до ~14 ГБ в 4-битном целочисленном формате – это экономия памяти примерно в ~3–4 раза.

ollama run hf(.)co/google/gemma-3-4b-it-qat-q4_0-gguf

✔️HF

@ai_machinelearning_big_data

#google #gemma #AI #ML #LLM #Quantization

3🔥87👍27❤12

21.9K viewsedited 20:46

Machinelearning

🖥

Google анонсировала Ironwood TPU — специализированный чип, созданный для ускоренного инференса ИИ-моделей.

Ironwood — это TPU седьмого поколения, конкурент Blackwell B200 от NVIDIA.

10× прирост производительности по сравнению с предыдущим поколением.

🔧 Что важно знать:
⚡️ Ironwood TPU = высокая плотность + эффективность: на 67% больше FLOPS/ватт, чем v5p и 4 614 TFLOPS на чип (FP8) и 192 ГБ HBM.

Производительность чипов растёт, а энергоэффективность выходит на новый уровень.

🌐 Интеграция с Google Cloud:
Ironwood TPUs уже работают в дата-центрах с жидкостным охлаждением, интегрированы в Vertex AI .

📈 Под капотом — высокоскоростная сеть с пропускной способностью 3.5 Тбит/с, обеспечивающая быструю связность для масштабных моделей.

💡 И да — теперь TPU поддерживают vLLM, а значит, можно легко гонять PyTorch-инференс прямо на TPU, без магии и костылей.

🟡

Подробнее

@ai_machinelearning_big_data

#google #TPU

Please open Telegram to view this post