Наши коллеги из AGI NLP SberAI и GigaCode SberAI вместе с другими участниками команды MERA из МТС AI, Т-банка, Ростелекома и Сибирских нейросетей выпустили новый бенчмарк MERA Code. Он позволяет более точно оценивать результаты LLM в задачах программирования, в том числе с учётом требований, сформулированных на русском языке.

Современные языковые модели для программирования (GigaChat, ChatGPT, Claude, Qwen, DeepSeek Coder и др.) сложно сравнивать между собой из-за отсутствия единого подхода к оценке. Они имеют разные наборы тестовых задач и условия замеров: разные датасеты, промптинговые стратегии и метрики. MERA Code стал первым шагом к решению этой проблемы.

Что внутри

🔘 11 задач в форматах text2code, code2text, code2code на 8 языках: Python, Java, C#, JavaScript, Go, C, C++ и Scala.
🔘 Открытая платформа с единой системой оценки, рейтингом и удобным фреймворком для тестирования
🔘 Анализ как открытых моделей, так и проприетарных API для генерации кода
🔘 Кодовая база, разработанная на основе LM Evaluation Harness

Авторы также предложили таксономию навыков, которая описывает ключевые способности LLM, необходимых для решения конкретных задач. В основе подхода — представление о модели как о системе из трёх компонентов:

вход → внутреннее состояние → выход

Исходя из этого, выделяются четыре базовых навыка:

🔘 восприятие (отвечает за входные данные)
🔘 логика и знания (внутренние характеристики модели)
🔘 генерация (отвечает за выходные данные)

Такую таксономию можно воспринимать как «карту навыков». Она показывает, что требуется от модели для успешного прохождения теста и какие области карты ещё не покрыты в бенчмарке.

➡️ Видеогайд, как замерить модель

MERA Code — шаг к честной, точной и воспроизводимой оценке LLM на русском языке. Присоединяйтесь к проекту, тестируйте свои модели и развивайте бенчмарк вместе с нами!

Подписывайтесь на наш канал 👈

Всем привет!

Всю прошлую неделю мы старались для вас и делились короткими обзорами статей с ICML 2025:

🔸Высокопроизводительные трансформеры на базе MatMuls.
🔸Проблемы оценки качества наборов данных для графового машинного обучения.
🔸Метод HSPI — определение железа и ПО по поведению ML-модели.
🔸Странности LLM при простых запросах.
🔸Метод улучшения оптимизации градиентов в глубоких моделях.
🔸Умеренная токсичность в обучении, которая улучшает детоксикацию моделей.


Как вам такой формат? Что бы вы хотели видеть больше в наших публикациях?

#icml #aivk

ИИ-помощник Replit удалил базу данных и попытался скрыть инцидент: онлайн-сервис, предназначенный для написания и запуска кода, самостоятельно удалил базу данных, проигнорировав запрет на несанкционированные изменения. Об этом сообщил венчурный инвестор Джейсон Лемкин.

По его словам, ИИ, внедрённый для автоматизации бизнес-процессов и ускорения разработки, ошибочно интерпретировал состояние базы как повреждённое и принял решение о её удалении. В результате были безвозвратно утеряны данные 1206 пользователей и 1196 компаний. После инцидента нейросеть продолжила генерировать отчёты, в которых система якобы функционировала в штатном режиме.

Мы хотели творческого подхода от ИИ, мы его получили.

😎 Читайте Про tech и этих

🌐 Gemini CLI уничтожил данные пользователя из-за галлюцинаций

Пользователь anuraag2601, выполняя рутинную операцию по организации файлов с помощью недавно хваленного Gemini CLI, стал свидетелем и одновременно жертвой каскадного сбоя, который привел к необратимой потере его данных. Задокументированный в отчете инцидент о сбое #4586 на GitHub повествует о том, что ИИ-агент, "утратив связь с реальностью", вошёл в состояние операционной галлюцинации и уничтожил пользовательские данные.

Все началось с безобидного запроса на создание новой директории. ИИ-агент сгенерировал команду mkdir "..\anuraag_xyz project", которая в действительности завершилась ошибкой, однако агент неверно интерпретировал ее результат как ✅успешный.

Модель мира ИИ-агента разошлась с физической реальностью. Уверенно рапортовав пользователю об успехе операции, «Отлично, новая директория создана», агент, оперируя уже в рамках своих галлюцинаций, инициировал команду move * "..\anuraag_xyz project". Именно здесь и начались проблемы. Команда move в среде Windows, не найдя целевой директории, не генерирует ошибку, а переименовывает исходный файл. Действия со стороны ИИ привели к тому, что каждый последующий файл перезаписывал предыдущий под одним и тем же именем anuraag_xyz project.

🤖Дальнейшая расшифровка сессии напоминает диалог с обезумевшим механизмом. Столкнувшись с тем, что пользователь не видит папку, Gemini CLI вошёл в словесный клинч с пользователем. Он попытался листинговать несуществующую директорию и продолжал настаивать на своей правоте, пока команда dir ... от пользователи не привела в чувство ИИ: папки anuraag_xyz project никогда не существовало.

Осознав расхождение между своей моделью и фактами, ИИ-агент начал оправдываться: «Я подвел вас полностью и катастрофически. Мой анализ команд подтверждает мою грубую некомпетентность». По мнению anuraag2601, его случай вскрывает фундаментальную проблему архитектуры, а именно отсутствие принудительного цикла верификации «read after write». ИИ-агенту были делегированы полномочия без внедрения механизма обязательного контроля реальности. Из помощника он превратился в разрушителя.

😱 В результате серии ошибочных команд и галлюцинаций ИИ-агента вся рабочая директория claude-code-experiments, содержавшая не менее 17 файлов и 9 папок, была полностью 🧹 вайпнута.

❗️ https://github.com/google-gemini/gemini-cli/issues/4586
--------------------------

«А что, если ИИ ошибется в медицине? Как я узнаю, что он ошибся, если он будет с абсолютной уверенностью убеждать меня, что все идет по плану, пока пациент на столе не умрет?»

Отличная иллюстрация социальной инженерии от ИИ, который умело маскирует свою полную операционную некомпетентность и профнепригодность даже в элементарных задачах. Рано ещё ему интегрироваться в здравоохранение, образование и госуправление, но никому это не интересно. Человечество ещё хлебнёт горя с этими технологиями.

— 🤔комментируют пользователи в 🦆.

✋ @Russian_OSINT

🚀 Команда Qwen представила новую модель: **Qwen3‑235B‑A22B‑Thinking‑2507**, нацеленную на глубокие рассуждения.

За последние 3 месяца модель была масштабирована и доработана специально для задач логики, математики, науки и программирования. Среди ключевых улучшений:

✅ Улучшенные способности к рассуждению, решению задач и анализу
✅ Повышенная точность в следовании инструкциям и использовании инструментов
✅ Поддержка нативного 256K контекста — для полноценной работы с длинными цепочками мыслей

🧠 Модель изначально работает в режиме reasoning — включать ничего не нужно. Она самостоятельно строит длинные логические цепочки, обеспечивая максимальную глубину и точность.

🟡Hugging Face: https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507
or https://huggingface.co/Qwen/Qwen3-235B-A22B-Thinking-2507-FP8
🟡ModelScope: https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507
or https://modelscope.cn/models/Qwen/Qwen3-235B-A22B-Thinking-2507-FP8
🟡API Doc: https://alibabacloud.com/help/en/model-studio/models#16ff9753e1ctz

🧩 Новый Thinking‑режим поднимает планку для reasoning‑моделей в открытом доступе.

@data_analysis_ml

«Вторая зима» искусственного интеллекта…

…и другие насущные вопросы обсудили в новом эпизоде нашего подкаста 😎

Как применяются большие болтливые модели в кибербезопасности? Правда ли, что технология LLM даёт больше возможностей мошенникам, чем защитникам?

Обо всем этом разузнали у докладчиков секретной конференции Kaspersky КиберКэмп-2025 — Николая Гончарова (Security Vision), Алексея Морозова (G-HACK) и Юлии Дороничевой (Positive Technologies). А со стороны «Лаборатории Касперского» тему раскрывают Владислав Тушканов, Анна Кулашова и сам Евгений Касперский 💪

Слушайте инсайты от экспертов на всех популярных подкаст-платформах!

За тру-opening спасибо Сергею Солдатову 😎