LLM Arena для русскоязычных моделей

Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!

C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b

RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.

На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.

Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!

Для новчиков - тут я писал подробнее, что такое ChatBot Arena.

@ai_newz

Новый релиз ИАС «ПочваХаб»

🐛 Исправлено:
– отображение формы добавления проекта
– ошибка, из-за которой нельзя было сохранить объект после загрузки обложки
– редактирование полигонов
– ошибка, из-за которой не сразу обновлялась геометрия карт после редактирования
– расположение индикаторов загрузки

❌ Удалено:
– тип файла "Обложка" из модального окна загрузки файлов
– временно скрыта неактивная кнопка "Файлы" на странице образца

🔧 Прочее:
– обновили версии используемых библиотек
– оптимизировали настройки веб-сервера

#ПочваХаб

Технологии машинного обучения на службе метеорологии

У Яндекс Погоды новая технология — OmniCast. Она использует данные с профессиональных метеостанций и любительских метеодатчиков, комбинируя их с нейросетями и алгоритмами для повышения точности. Подробнее об этой технологии вы можете почитать в статье на Хабре, а здесь мы расскажем главное.

Ранее прогнозы основывались на данных ближайших метеостанций, что часто приводило к ошибкам. Особенно это было заметно в крупных городах, где температурные условия в центре и на окраинах сильно различаются. OmniCast решила эту проблему, адаптировав фильтр Калмана для коррекции прогнозов на основе свежих данных, что позволило учесть локальные изменения температуры.

Для обработки огромного объема данных в реальном времени система использует технологию распределённых вычислений MapReduce. Она способна обновлять прогнозы каждые пять минут, обрабатывая более 100 000 новых измерений. Для дальнейшего улучшения прогноза команда OmniCast применила нейросети.

Одной из ключевых задач было устранение резких скачков температуры в прогнозах на несколько часов вперед. Для этого разработчики создали модель, основанную на двунаправленной LSTM (long short-term memory) нейросети, которая анализирует историю измерений и прогнозирует изменения температуры на ближайшие несколько часов. Это позволило значительно повысить точность прогнозов по сравнению с традиционными методами вроде ARIMA.

Все увлекательные подробности — с вычислениями и графиками — вы найдёте на Хабре. А здесь в комментариях рассказывайте, что думаете об OmniCast?

ML Underhood

Новый релиз ИАС «ПочваХаб»

✨ Добавлено:

– Пагинация (разбивка списков на страницы) для списка измерений
– Подсказка о необходимости добавления протокола перед обследованием
– Кнопка добавления почвенного описания теперь скрывается, если описание уже было добавлено
– Для образцов без названия в списке всех образцов теперь отображаются их ID
– Проверка размера загружаемого файла при загрузке обложки
– Новые методики, применяемые в рамках ВИП ГЗ (консорциум «РИТМ углерода»)

🐛 Исправлено:

– Возможность привязать образец к точке
– Цвет текста элементов в главном меню слева
– Ошибки дерева навигации в главном меню слева
– Ошибка, из-за которой было невозможно отредактировать файл на странице файлов точки
– Имя файла при скачивании
– Ввод десятичных чисел в формах
– Сортировка на странице профилей/групп/проектов
– Порядок отображения полей глубин отбора на странице образца
– Оптимизированы некоторые запросы к серверу

♻️ Изменено:

– Улучшено отображение подписей на карте
– Оптимизированы запросы векторных тайлов

🔧 Прочее:

– Обновлены используемые библиотеки
– Почищен код

#ПочваХаб