🌟 Google Labs запустила инструмент для структурированной оценки языковых моделей.

Stax - экспериментальный инструмент для разработчиков, который предлагает замену неформальному «вайб-тестингу» больших языковых моделей на структурированный, основанный на данных подход.

Stax оценивает модели на кастомных или готовых автоматизированных оценщиках, фокусируясь на метриках: беглость ответа, безопасность, задержка и процент успешного прохождения ручной проверки.

Есть дашборд для сравнения результатов разных моделей с визуальными индикаторами производительности.

Ключевые возможности: быстрые и повторяемые оценки, настройка метрик под конкретные продукты и сквозной рабочий процесс для экспериментов от прототипа до продакшена.

Инструмент должен помочь разработчикам принимать обоснованные решения при выборе и развертывании моделей.


@ai_machinelearning_big_data

#news #ai #ml