Он провёл 14 месяцев в applied-команде, разрабатывая Codex — кодинг-агента, который за 7 недель прошёл путь от первой строки к публичному запуску. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку.
Он работал на Python, жег огромные GPU-бюджеты, спринтил с командой почти без выходных.
Автор уволился,чтобы сделать свой проект, но называет этот год самым интенсивным и полезным в карьере.
За год OpenAI выросла с 1000 до 3000 человек. Внутренние процессы постоянно перестраиваются, для разрабов Slack стал полноценным «офисом», а почта почти исчезла из работы.
В командах идеи идут снизу вверх — и кто первым закомитит свой код, тот и задаёт стандарт. Главная метрика успеха — не презентации, а работающий код.
Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри.
Codex - это огромный монорепозиторий почти целиком сотоязий из Python кода. Все сервисы поднимаются через FastAPI, а данные проходят через Pydantic — это даёт простую валидацию и ускоряет разработку. В проекте есть немного Go и Rust в основном в сетевых компонентах, но это редкие исключения.
Codex сделали крошечной командой за 7 недель. Автор вспоминает бессонные ночи, утренние подъёмы и выходные в офисе. Команда была сильной, многие ушли от Цукерберга к Сэме— и это чувствуется по уровню инфраструктуры.
OpenAI —выгладит как странный гибрид: он подобен научному центру в стиле Лос-Аламоса, который случайно сделал самый хайповый продукт десятилетия. . Руководство комании активно отвечает в Slack, 600 000+ pull request'ов за 53 дня после запуска Codex!
OpenAI — это не просто «компания создавашая GPT». Это лаборатория, где безумная скорость сочетается с реальным и крутым продуктом. Они не боятся выкатывать новые фичи, не скрывают свой хаос и делают очень много интересного. Не идеальная система, но там правда делают вещи.
👉Полную статью можно почитать -здесь
@ai_machinelearning_big_data
#openai #ai #ml #llm #chatgpt
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥132👍51❤41🙈7🫡3🤷♂2😁2🍾1
Т-Банк релизнул модель с гибридным ризонингом в опенсорс.
T-Pro 2.0 дообучили на основе Qwen3 32B, улучшив качество и скорость генерации на русском языке.
Вместе с моделью впервые выложили инструктивный датасет. Как дообучали модель сегодня рассказали на Turbo ML конфе и выложили на хабр.
На основе токенизатора Qwen3 и с помощью расширения его кириллической части более, чем в 5 раз, разработчики получили улучшенный токенизатор для мультилингвальных моделей. По итогу токенизатор оказался на 30% более эффективен для русского языка. Затем за счет плотного токенизатора на двух доменах (чатовые запросы ru-arena-hard и олимпиадные математические задачи из T-Math) ускорили инференс.
Следующим шагом было дообучение на большом русскоязычном инструктивном корпусе. Далее модель дообучали на более чистом SFT-сете, сформированном из разнообразных промптов, собранных вручную, из открытых источников и переводов англоязычных наборов данных. Для формирования итогового датасета ответы на инструкции генерировались с помощью более мощных моделей, таких как DeepSeek-V3 0324 и Qwen3-235B-A22B. Это позволило обеспечить высокий уровень точности и релевантности.
На стадии Preference tuning для обучения DPO сформировали набор данных с фильтрацией по длине и типу для general-инструкций и сохранением баланса доменов для reasoning-инструкций.
На финальном этапе Speculative decoding в качестве драфт- модели выбрали EAGLE 1 с генерацией драфта во время инференса с помощью tree attention согласно EAGLE 2.
Для того, чтобы оценить способности моделей к ведению диалога, следованию инструкциям и решению задач разработчики использовали LLM-as-a-judge-арены: Arena Hard Ru, Arena Hard 2 и арену WildChat Hard Ru. В последней в качестве бейзлайна использовались ответы модели o3-mini, а “судьей” для всех арен выступал DeepSeek V3 0324. Для оценки знаний о мире и общим логическим способностям моделей на русском языке использовались бенчмарки MERA, MaMuRAMu, ruMMLU, ruMMLU-Pro.
Бенчмарки AIME, MATH-500, GPQA Diamond, Vikhr Math, Vikhr Physics, LiveCodeBench v4_v5 позволили оценить способности reasoning-модели к рассуждениям и решению сложных задач. Англоязычные бенчмарки были целиком локализованы на русский язык ИИ-тренерами: ruAIME, ruMATH-500, ru GPQA Diamond, ruLCB. Компания также использовала свой бенчмарк Т-Math, чтобы расширить оценку математических способностей на русском языке.
Дообучение даже продвинутых LLM позволяет управлять стоимостью инференса и скоростью генерации, дообучать важные домены (саппорта или распределение внутреннего промтинга), уменьшить количества артефактов и проблем с русским языком.
Модель T-Pro 2.0 доступна по лицензии Apache 2.0, ее можно бесплатно использовать как для решения задач в промптинге, так и для дообучения на свои задачи.
▪️Hugging face: T-Pro 2.0
Датасет T-wix
@ai_machinelearning_big_data
#news #ai #ml #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
👍87❤39🔥29🤔7😁5🗿5💯2❤🔥1
China Telecom совместно с TeleAI спроектировали фреймворк AI Flow, который рассматривает ИИ и сети передачи данных как единую систему.
AI Flow - это не просто очередной метод оптимизации, а цельная парадигма. Она предлагает отойти от идеи монолитного ИИ к распределенному и коллаборативному, где интеллект может перетекать по сети туда, где он в данный момент нужнее всего и где для него есть ресурсы.
Идея в том, чтобы разумно распределять нагрузку: простейшие операции выполняются на самом гаджете, более сложные и требующие низкой задержки — на ближайшем edge-сервере, а самое тяжелые задачи и ресурсоемкий инференс остаются в облаке.
AI Flow предлагает конкретные механизмы для такой концепции - спекулятивное декодирование, где легкая модель на устройстве быстро генерирует черновик ответа, а мощная модель на эдже его лишь верифицирует и корректирует.
Это не просто набор моделей разного размера, а целое семейство с архитектурно согласованными скрытыми представлениями.
Маленькая, средняя и большая модели устроены настолько похоже, что они могут бесшовно передавать друг другу эстафету инференса.
Модель на смартфоне обрабатывает первые несколько слоев, а затем ее промежуточный результат подхватывает модель на сервере и продолжает вычисления ровно с того же места, без какого-либо дополнительного преобразования данных.
Пайплайн AI Flow делает возможным взаимодействие разных моделей, от LLM и VLM до диффузионных генераторов.
Через такую коллаборацию рождается эмерджентный интеллект – коллективная интуиция, превышающая возможности отдельных сетей, где несколько агентов генерируют черновые решения, затем сервер-оркестратор выбирает лучшие фрагменты, объединяет их и возвращает итоговый ответ для уточнения с учетом контекста каждого из них.
В этом и фишка: после такой синергии ответ становится богаче и более осмысленным, ведь сходятся разные точки зрения и узкопрофильные знания моделей-участников.
Ее крупнейшая ветвь содержит 7 млрд. параметров и способна порождать early-exit подсети с эффективным числом параметров в 3, 4, 5 и 6 млрд:
@ai_machinelearning_big_data
#AI #ML #LLM #AIFlow #TeleAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤61👍29🔥11😨5🥰3⚡2🙉1
OpenReasoning-Nemotron - набор LLM на архитектуре Qwen 2.5 и дистиллированных из DeepSeek-R1-0528 ( 671 млрд. параметров):
Семейство было обучено на 5 млн. примеров рассуждений в математике, естественных науках и программировании.
Модели показали достойные результаты pass@1 на бенчах GPQA, MMLU-PRO, AIME, HMMT и LiveCodeBench - без использования RL.
Старшая модель, 32B, выбила 96,7% по HMMT с декодированием GenSelect.
@ai_machinelearning_big_data
#AI #ML #LLM #Reasoning #Nemotron #NVIDIA
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤89👍23🔥19🥰3👏3
Forwarded from Анализ данных (Data analysis)
🚀 Qwen3-Coder — новая мощная open-source модель от Alibaba для кодинга
Модель с архитектурой MoE:
- 480B параметров в общей сложности
- 35B активных параметров
- Контекст 256k, но легко масштабируется до 1M токенов
📈 Производительность:
- На уровне Claude 4 Sonnet
- Лучше или на уровне GPT-4.1 на многих задачах
- Обходит Kimi K2, DeepSeek V3 на ряде бенчмарков
🧩 Модель уже доступна:
- На HuggingFace — можно скачать и запускать
- В OpenRouter — $1/M токенов вход, $5/M выход
(в 3 раза дешевле Claude Sonnet: $3 и $15)
💬 Попробовать бесплатно можно:
- Через чат: ttps://chat.qwen.ai/)
- GitHub link: https://github.com/QwenLM/qwen-code
Qwen3-Coder — это просто одна из лучших моделей для программирования, которые мы когда-либо видели.
#qwen #ml #ai #llm #Alibaba
@data_analysis_ml
Модель с архитектурой MoE:
- 480B параметров в общей сложности
- 35B активных параметров
- Контекст 256k, но легко масштабируется до 1M токенов
📈 Производительность:
- На уровне Claude 4 Sonnet
- Лучше или на уровне GPT-4.1 на многих задачах
- Обходит Kimi K2, DeepSeek V3 на ряде бенчмарков
🧩 Модель уже доступна:
- На HuggingFace — можно скачать и запускать
- В OpenRouter — $1/M токенов вход, $5/M выход
(в 3 раза дешевле Claude Sonnet: $3 и $15)
💬 Попробовать бесплатно можно:
- Через чат: ttps://chat.qwen.ai/)
- GitHub link: https://github.com/QwenLM/qwen-code
Qwen3-Coder — это просто одна из лучших моделей для программирования, которые мы когда-либо видели.
#qwen #ml #ai #llm #Alibaba
@data_analysis_ml
👍82🔥22❤16👨💻2
Архитектура Mixture-of-Recursions (MoR), предложенная Google в соавторстве с KAIST AI объединяет в едином фреймворке традиционные подходы разделения параметров и адаптивные вычисления, заставляя модель думать над каждым токеном с разной глубиной.
Под капотом MoR - рекурсивный трансформер, который прогоняет входные данные через один и тот же блок слоев несколько раз. Но главная фишка в том, что количество этих прогонов, или глубина рекурсии, не фиксированное, а динамическое и определяется для каждого токена индивидуально.
Легковесный обучаемый роутер анализирует токен и решает, сколько вычислительных усилий на него потратить. Простые слова могут пройти всего один цикл рекурсии, в то время как семантически нагруженные термины отправятся на более глубокую обработку из нескольких циклов.
Это дает два главных преимущества:
При одинаковом бюджете на обучение (в FLOPs) и меньшем размере самой модели MoR показывает более низкую перплексию и лучшие результаты в few-shot задачах, чем стандартные и рекурсивные аналоги.
@ai_machinelearning_big_data
#AI #ML #LLM #Architecture #MoR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍91❤46🔥24🥰7👌4😁2👨💻1
🧠 Qwen3-MT — Alibaba продолжает жечь и выпускает еще одну модель, в этот раз для машинного перевода.
🌍 Поддерживает 92+ языка, на которых говорит 95% населения мира
📚 Обучен на триллионах токенов из интернета, открытых документов и книгах, субтитров из видео.
🔬 Что внутри:
- Модель Qwen3-MoE-72B с архитектурой Mixture-of-Experts
- Заточена на переводческие фишки, поддерживает сложную терминологию и даже очень редкие слова.
- RLHF: обучение с подкреплением повышает точность и естественность модели
Возможности:
✅ Обеспечивает качественный перевод в реальном времени
✅ Контроль стиля и терминов
✅ Масштабируемость для API и продакшена
✅ Цена — от $0.5 за миллион токенов
🟡 Попробовать демку: https://huggingface.co/spaces/Qwen/Qwen3-MT-Demo
🟡 ModelScope: https://modelscope.cn/studios/Qwen/Qwen3-MT-demo
🟡 Документация API: https://alibabacloud.com/help/en/model-studio/translation-abilities
🟡 Блог с подробностями: https://qwenlm.github.io/blog/qwen-mt/
@ai_machinelearning_big_data
#Qwen #Alibaba #ml #llm #ai
🌍 Поддерживает 92+ языка, на которых говорит 95% населения мира
📚 Обучен на триллионах токенов из интернета, открытых документов и книгах, субтитров из видео.
🔬 Что внутри:
- Модель Qwen3-MoE-72B с архитектурой Mixture-of-Experts
- Заточена на переводческие фишки, поддерживает сложную терминологию и даже очень редкие слова.
- RLHF: обучение с подкреплением повышает точность и естественность модели
Возможности:
✅ Обеспечивает качественный перевод в реальном времени
✅ Контроль стиля и терминов
✅ Масштабируемость для API и продакшена
✅ Цена — от $0.5 за миллион токенов
@ai_machinelearning_big_data
#Qwen #Alibaba #ml #llm #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124❤32🔥23🥰5🎃4
🚀 Tencent расширяет экосистему Hunyuan LLM и выкладывают в открытый доступ еще 4 компактных моделей — 0.5B, 1.8B, 4B и 7B!
Эти модели заточены под low-power устройства: ПК, смартфоны, авто, умные дома и пользовательские GPU.
Модели легко настраиваются под вертикальные задачи и запускаются даже на одной карте.
💡 Особенности:
✅ Fast/slow thinking режимы: лаконичные или глубокие ответы
✅ 256K контекст и продвинутые агентные способности (tool use, планирование, reasoning)
✅ Хорошие метрики на тестах по языку, математике и логике
✅ Модели готовы к продакшену — работают с SGLang, vLLM, TensorRT-LLM
🖥 GitHub:
- 0.5B: https://github.com/Tencent-Hunyuan/Hunyuan-0.5B
- 1.8B: https://github.com/Tencent-Hunyuan/Hunyuan-1.8B
- 4B: https://github.com/Tencent-Hunyuan/Hunyuan-4B
- 7B: https://github.com/Tencent-Hunyuan/Hunyuan-7B
🤗 Hugging Face:
- 0.5B: https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
- 1.8B: https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
- 4B: https://huggingface.co/tencent/Hunyuan-4B-Instruct
- 7B: https://huggingface.co/tencent/Hunyuan-7B-Instruct
🔗 Подробнее: https://hunyuan.tencent.com/modelSquare/home/list
@ai_machinelearning_big_data
#Tencent #Hunyuan #ml #llm #ai #opensource
Эти модели заточены под low-power устройства: ПК, смартфоны, авто, умные дома и пользовательские GPU.
Модели легко настраиваются под вертикальные задачи и запускаются даже на одной карте.
💡 Особенности:
✅ Fast/slow thinking режимы: лаконичные или глубокие ответы
✅ 256K контекст и продвинутые агентные способности (tool use, планирование, reasoning)
✅ Хорошие метрики на тестах по языку, математике и логике
✅ Модели готовы к продакшену — работают с SGLang, vLLM, TensorRT-LLM
- 0.5B: https://github.com/Tencent-Hunyuan/Hunyuan-0.5B
- 1.8B: https://github.com/Tencent-Hunyuan/Hunyuan-1.8B
- 4B: https://github.com/Tencent-Hunyuan/Hunyuan-4B
- 7B: https://github.com/Tencent-Hunyuan/Hunyuan-7B
🤗 Hugging Face:
- 0.5B: https://huggingface.co/tencent/Hunyuan-0.5B-Instruct
- 1.8B: https://huggingface.co/tencent/Hunyuan-1.8B-Instruct
- 4B: https://huggingface.co/tencent/Hunyuan-4B-Instruct
- 7B: https://huggingface.co/tencent/Hunyuan-7B-Instruct
🔗 Подробнее: https://hunyuan.tencent.com/modelSquare/home/list
@ai_machinelearning_big_data
#Tencent #Hunyuan #ml #llm #ai #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
👍93❤25🔥14👨💻2❤🔥1
Особенно эффективна для создания картинок с нативным текстом.
🔍 Основные моменты:
🔹 Рендеринг текста SOTA показатели — конкурирует с GPT-4o на английском языке, лучший в своем классе на китайском языке
🔹 Двуязычная поддержка, разнообразные шрифты, понимает сложные промпты.
Техотчёт показывает:
- модель минимальные искажения символов при генерации;
- заметно более высокие метрики качества изображения против «стандартных» диффузионок.
🎨 Можешь отлично справляется с созданием изображений в разных стилях — от фотореализма до аниме, от импрессионизма до минимализма.
ModelScope:https://modelscope.cn/models/Qwen/Qwen-Image
@ai_machinelearning_big_data
#qwen #ml #llm #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍67❤17🔥10👨💻3
📈 OpenAI и Anthropic показывают взрывной рост прибыли в 2025.
— OpenAI удвоили ARR* за полгода: $6B → $12B
— Anthropic выросли в 5 раз за 7 месяцев: $1B → $5B
🧻 Интересное распределение выручки:
— OpenAI лидирует в подписках (частные и корпоративные пользователи)
— Anthropic чуть впереди по доходу с API: $3.1B против $2.9B
— Почти половина API-выручки Anthropic поступает всего от двух клиентов: Cursor и GitHub
🧑💻 ChatGPT обрабатывает более 3 миллиардов сообщений в день — и рост продолжается ускоряться.
Если год назад прирост пользователей составлял 2,5× в год, то теперь он достиг 4×.
Code Claude же даёт $400M ARR — в 2 раза больше, чем всего несколько недель назад.
Сегодня почти все ассистенты по умолчанию используют Claude 4 Sonnet.
Но если GPT‑5 перехватит лидерство — и те же Cursor или Copilot перейдут к OpenAI — расклад может быстро поменяться.
@ai_machinelearning_big_data
#OpenAI @Anthropic #ml #llm #ai
— OpenAI удвоили ARR* за полгода: $6B → $12B
— Anthropic выросли в 5 раз за 7 месяцев: $1B → $5B
*ARR (Annual Recurring Revenue) — это годовой повторяющийся доход, один из ключевых финансовых показателей для компаний, особенно в сфере подписок (например, SaaS).
— OpenAI лидирует в подписках (частные и корпоративные пользователи)
— Anthropic чуть впереди по доходу с API: $3.1B против $2.9B
— Почти половина API-выручки Anthropic поступает всего от двух клиентов: Cursor и GitHub
🧑💻 ChatGPT обрабатывает более 3 миллиардов сообщений в день — и рост продолжается ускоряться.
Если год назад прирост пользователей составлял 2,5× в год, то теперь он достиг 4×.
Code Claude же даёт $400M ARR — в 2 раза больше, чем всего несколько недель назад.
Сегодня почти все ассистенты по умолчанию используют Claude 4 Sonnet.
Но если GPT‑5 перехватит лидерство — и те же Cursor или Copilot перейдут к OpenAI — расклад может быстро поменяться.
@ai_machinelearning_big_data
#OpenAI @Anthropic #ml #llm #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍59🔥27❤17🦄4🤣3🤔2🗿2👨💻1