Forwarded from Machinelearning
⚡️ OpenAI релизнули новую модель OpenAI o1, которая в разы мощнее GPT-4o,
Главная фишка - это цепочка рассуждений (CoT) которую выстраивает алгоритм прежде, чем дать ответ.
Заявлено, что модель будет сильно лучше писать код и понимать физику мира
Тот самый секретны проект, над которым так долго работала компания.
Доступ обещают дать уже сегодня.
@ai_machinelearning_big_data
#openai #chatgpt
Главная фишка - это цепочка рассуждений (CoT) которую выстраивает алгоритм прежде, чем дать ответ.
Заявлено, что модель будет сильно лучше писать код и понимать физику мира
Тот самый секретны проект, над которым так долго работала компания.
Доступ обещают дать уже сегодня.
@ai_machinelearning_big_data
#openai #chatgpt
👍22🔥11❤8🤣1
Forwarded from Machinelearning
1. Руководство по дистилляции от OpenAI
Руководство содержит подробное описание процесса передачи знаний от более крупной модели к компактной, c сохранением высокой производительности модели.
Основные аспекты, рассмотренные в руководстве:
- Сохранение выходных данных крупной модели: Создание набора данных, содержащего предсказания большой модели, которые будут использоваться для обучения меньшей модели.
- Оценка производительности моделей: Сравнительный анализ точности и эффективности как крупной, так и компактной моделей на основе различных метрик.
- Создание обучающих данных для компактной модели: Использование предсказаний крупной модели для генерации обучающего набора данных, способствующего эффективному обучению меньшей модели.
- Оценка дообученной компактной модели: Проверка производительности и точности компактной модели после процесса дистилляции для подтверждения соответствия требованиям.
2. Учебник по дистилляции знаний от PyTorch
Руководство от PyTorch, которое содержит практическое введение в технику передачи знаний для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.
Основные аспекты руководства:
- Извлечение скрытых представлений: В гайде показано, как получить промежуточные представления из обученной модели для дальнейшего использования.
- Модификация циклов обучения в PyTorch: Здесь рассматривается интеграция дополнительных функций в стандартные циклы обучения для эффективной передачи знаний.
- На примере показан процесс обучения компактной модели, с ипользованием предсказания более сложной модели в качестве ориентира.
Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом, если вы хотите научиться оптимизировать свои модели для использования в средах с ограниченными ресурсами.
▪Ссылка
3. Jetson Introduction to Knowledge Distillation от Nvidia
В данном руководстве рассматривается процесс передачи знаний от модели OpenCLIP (vision-language model) к модели ResNet18 для классификации на наборе данных STL10.
Особое внимание уделяется тому, как выбор данных, методы дистилляции и архитектура модели, влияют на итоговую точность.
Кроме того, обсуждаются методы профилирования и оптимизации моделей для их развёртывания на устройствах NVIDIA Jetson Orin Nano.
4. Учебник по дистилляции знаний от Keras
Подробно описывается концепция дистилляции знаний и ее применение в обработке медицинских изображений.
5. Руководство по дистилляции от
huggingface 🤗
Здесь показано, как выполнять дистилляцию знаний шаг за шагом на конкретном примере.
6. Дистилляция знаний для задач компьютерного зрения от huggingface
Здесь рассматривается, как сделать файнтюн ViT-модели в MobileNet с помощью API Trainer из Transformers.
#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤6🔥4
Forwarded from Machinelearning
OpenAI утверждает, что эти модели способны генерировать новые и полезные идеи.
Обе будут добавлены с сегодняшнего дня в ChatGPT и API.
Эти ризонинг модели стали лучше использовать внутренние инструменты для решения сложных задач.
Модель o3 установила новый рекорд на AIME 2025 с точностью 98.4%.
А вот o4-mini, набрала 99.5% — лучший результат среди всех моделей.
На Codeforces модели набирают более 2700 баллов, что помещает их в число 200 лучших программистов в мире!
На Humanity Last Exam её показатели находятся на уровне флагманской модели Deep Research.
API — о3 сильно дешевле о1: 10/40$ вместо 15/60$, а o4-mini будет доступна для БЕСПЛАТНЫХ пользователей
С помощью внутренних инструментов модель также умеет рассуждать и работать с изображениями (например, использовать Python для их преобразования).
Эти способности к рассуждению достигнуты благодаря масштабированию как во время обучения, так и во время инференса.
Трансляция: https://www.youtube.com/watch?v=sq8GBPUb3rk
@ai_machinelearning_big_data
#openai
Please open Telegram to view this post
VIEW IN TELEGRAM
❤11👍6🔥5🤣1
⚔️ OpenAI vs. Microsoft — борьба за контроль в ИИ
Между двумя гигантами ИИ — OpenAI и Microsoft — нарастает конфликт.
🧠 OpenAI хочет:
• Освободиться от влияния Microsoft
• Привлечь новые инвестиции
• Преобразоваться в полноценную коммерческую компанию
🧱 Microsoft, в свою очередь:
• Блокирует инициативу
• Может столкнуться с антимонопольной жалобой
• Пытается сохранить эксклюзивный доступ к ключевым разработкам
⚠️ Этот конфликт показывает, что борьба за ИИ — это не только битва за вычисления, но и за управление, прозрачность и доступ.
💡 Справедливая и открытая инфраструктура ИИ — вопрос не будущего, а настоящего.
📌 Читать полностью
@data_analysis_ml
#OpenAI #Microsoft #AI #инфраструктура #технологии #анализ
Между двумя гигантами ИИ — OpenAI и Microsoft — нарастает конфликт.
🧠 OpenAI хочет:
• Освободиться от влияния Microsoft
• Привлечь новые инвестиции
• Преобразоваться в полноценную коммерческую компанию
🧱 Microsoft, в свою очередь:
• Блокирует инициативу
• Может столкнуться с антимонопольной жалобой
• Пытается сохранить эксклюзивный доступ к ключевым разработкам
⚠️ Этот конфликт показывает, что борьба за ИИ — это не только битва за вычисления, но и за управление, прозрачность и доступ.
💡 Справедливая и открытая инфраструктура ИИ — вопрос не будущего, а настоящего.
📌 Читать полностью
@data_analysis_ml
#OpenAI #Microsoft #AI #инфраструктура #технологии #анализ
❤8🔥6👍5🤣1
🆕 Новые подробности: суд опубликовал документы о совместной разработке OpenAI их ИИ-устройства
Иск Google-backed стартапа iyO по товарному знаку раскрыл внутренние материалы OpenAI и io:
● За последний год OpenAI протестировали и проанализировали свыше 30 моделей наушников для изучения эргономики и технических возможностей
● VP продуктов OpenAI Питер Велиндер и CTO io Tang Tan лично испытывали прототипы, которые разработала компания,но они были нестабильны
● Сам Альтман подчеркнул, что устройство не будет ни внутриушным, ни обычным носимым гаджетом: готовая версия либо поместится в кармане или станет настольным аксессуаром
● Разрабатываются разные форм-факторы: стационарные и портативные, проводные и беспроводные решения
● К проекту подключились дизайнер Джони Айв и команда бывших инженеров Apple, работая вместе с OpenAI
Официальный анонс и начало продаж ожидаются не ранее чем через год.
➡️ Читать
#openai #news
Иск Google-backed стартапа iyO по товарному знаку раскрыл внутренние материалы OpenAI и io:
● За последний год OpenAI протестировали и проанализировали свыше 30 моделей наушников для изучения эргономики и технических возможностей
● VP продуктов OpenAI Питер Велиндер и CTO io Tang Tan лично испытывали прототипы, которые разработала компания,но они были нестабильны
● Сам Альтман подчеркнул, что устройство не будет ни внутриушным, ни обычным носимым гаджетом: готовая версия либо поместится в кармане или станет настольным аксессуаром
● Разрабатываются разные форм-факторы: стационарные и портативные, проводные и беспроводные решения
● К проекту подключились дизайнер Джони Айв и команда бывших инженеров Apple, работая вместе с OpenAI
Официальный анонс и начало продаж ожидаются не ранее чем через год.
#openai #news
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍5🔥2🤨1
🚨 Цукерберг переманил ещё 4 исследователей из OpenAI
По сообщениям, Meta усилила свою AI-команду, наняв сразу четырёх топовых специалистов из OpenAI:
• Shengjia Zhao
• Jiahui Yu
• Shuchao Bi
• Hongyu Ren
Все четверо работали над ключевыми направлениями reasoning, мультимодальности и архитектурой LLM.
💬 Zuck be like: *“If you can’t beat them — just buy their team.”*
Meta продолжает агрессивную AI-экспансию после неудачного старта Llama 4 и явно собирается реваншироваться.
📌 Подробности
#openai #ai #llm #zuckerberg #research #technews
По сообщениям, Meta усилила свою AI-команду, наняв сразу четырёх топовых специалистов из OpenAI:
• Shengjia Zhao
• Jiahui Yu
• Shuchao Bi
• Hongyu Ren
Все четверо работали над ключевыми направлениями reasoning, мультимодальности и архитектурой LLM.
💬 Zuck be like: *“If you can’t beat them — just buy their team.”*
Meta продолжает агрессивную AI-экспансию после неудачного старта Llama 4 и явно собирается реваншироваться.
📌 Подробности
#openai #ai #llm #zuckerberg #research #technews
🔥9🤔8❤5👍3😱1🥱1
🔥 Бывший сотрудник OpenAI поделился откровенными впечатлениями о годе работы внутри одной из самых обсуждаемых компаний мира.
Он присоединился к команде в мае 2024, ушёл три недели назад — и решил написать личные размышления, пока всё ещё свежо в памяти.
Он подчёркивает: никаких скандалов или внутренних конфликтов — просто желание снова что-то строить с нуля. Несмотря на это, он признаёт: сложно уйти с работы, где ты видишь рождение AGI своими глазами и участвуешь в запуске Codex.
Культура OpenAI — это хаос, скорость и независимость.
Компания за год выросла с 1000 до более чем 3000 сотрудников. Почти все руководители делают совершенно другую работу, чем пару лет назад. И всё внутри строится снизу вверх: roadmap’ов не было, а идеи рождались и запускались без бюрократии.
Всё общение происходит в Slack — никаких email, почти никакого планирования. Команды могут быть хаотичны и перегружены, но часто это работает: если идея крутая, люди просто начинают делать, и вокруг появляется команда.
Руководители не мешают, а помогают — особенно в исследовательских командах. Исследователь воспринимается как мини-руководитель: выбрал интересную задачу — вперёд. Главное — не «казаться», а «делать». Политика и презентации — не в цене. Лучшие идеи побеждают.
OpenAI умеет разворачиваться на ходу. Как только появляется новая информация, стратегия может кардинально поменяться — и в этом сила. Вдохновлённый атмосферой Segment, автор признаёт: OpenAI удалось сохранить эту гибкость даже при таком масштабе.
Закрытость — часть культуры.
Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри. Но при этом она остаётся самой открытой из «больших AI-лабораторий»: модели попадают в API, доступны не только корпорациям, но и отдельным пользователям.
Внимание к реальным рискам (злоупотребления, манипуляции, self-harm) — важный фокус внутри. Хоть фундаментальные угрозы (в духе "intelligence explosion") тоже обсуждаются, упор в работе на конкретные и прикладные сценарии.
Технологически OpenAI — монорепозиторий на Python, немного Rust и Go. Всё крутится на Azure, но доверяют только 2–3 сервисам. Инфраструктура напоминает ранний Facebook: всё движется быстро, дублируется, много внутренней разработки и отсутствие строгих архитектурных комитетов.
Он отдельно отметил уникальность команды Codex, с которой провёл последние 3 месяца. За 7 недель (!) они с нуля запустили продукт: с контейнерным рантаймом, fine-tuning моделей, git-интеграцией и полноценным асинхронным агентом. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку.
Codex показал: будущее программирования будет похоже на общение с ассистентом, а не набор кода строка за строкой. С момента запуска Codex сгенерировал более 630 000 pull request’ов — это десятки тысяч на каждого инженера в команде.
Несмотря на скандалы в пресе — тысячи людей, искренне верящих, что строят нечто важное. OpenAI остаётся одной из самых амбициозных организаций в мире: не только чат, не только API, но и hardware, агенты, изображения — и это ещё не всё.
📌 Читать
@data_analysis_ml
#openai #ai #ml #llm #chatgpt
Он присоединился к команде в мае 2024, ушёл три недели назад — и решил написать личные размышления, пока всё ещё свежо в памяти.
Он подчёркивает: никаких скандалов или внутренних конфликтов — просто желание снова что-то строить с нуля. Несмотря на это, он признаёт: сложно уйти с работы, где ты видишь рождение AGI своими глазами и участвуешь в запуске Codex.
Культура OpenAI — это хаос, скорость и независимость.
Компания за год выросла с 1000 до более чем 3000 сотрудников. Почти все руководители делают совершенно другую работу, чем пару лет назад. И всё внутри строится снизу вверх: roadmap’ов не было, а идеи рождались и запускались без бюрократии.
Всё общение происходит в Slack — никаких email, почти никакого планирования. Команды могут быть хаотичны и перегружены, но часто это работает: если идея крутая, люди просто начинают делать, и вокруг появляется команда.
Руководители не мешают, а помогают — особенно в исследовательских командах. Исследователь воспринимается как мини-руководитель: выбрал интересную задачу — вперёд. Главное — не «казаться», а «делать». Политика и презентации — не в цене. Лучшие идеи побеждают.
OpenAI умеет разворачиваться на ходу. Как только появляется новая информация, стратегия может кардинально поменяться — и в этом сила. Вдохновлённый атмосферой Segment, автор признаёт: OpenAI удалось сохранить эту гибкость даже при таком масштабе.
Закрытость — часть культуры.
Из-за огромного внимания общества и прессы компания крайне аккуратно делится информацией. Многое не анонсируется даже внутри. Но при этом она остаётся самой открытой из «больших AI-лабораторий»: модели попадают в API, доступны не только корпорациям, но и отдельным пользователям.
Внимание к реальным рискам (злоупотребления, манипуляции, self-harm) — важный фокус внутри. Хоть фундаментальные угрозы (в духе "intelligence explosion") тоже обсуждаются, упор в работе на конкретные и прикладные сценарии.
Технологически OpenAI — монорепозиторий на Python, немного Rust и Go. Всё крутится на Azure, но доверяют только 2–3 сервисам. Инфраструктура напоминает ранний Facebook: всё движется быстро, дублируется, много внутренней разработки и отсутствие строгих архитектурных комитетов.
Он отдельно отметил уникальность команды Codex, с которой провёл последние 3 месяца. За 7 недель (!) они с нуля запустили продукт: с контейнерным рантаймом, fine-tuning моделей, git-интеграцией и полноценным асинхронным агентом. В ночь перед запуском они сидели до 4 утра, а утром уже нажимали на кнопку.
Codex показал: будущее программирования будет похоже на общение с ассистентом, а не набор кода строка за строкой. С момента запуска Codex сгенерировал более 630 000 pull request’ов — это десятки тысяч на каждого инженера в команде.
Несмотря на скандалы в пресе — тысячи людей, искренне верящих, что строят нечто важное. OpenAI остаётся одной из самых амбициозных организаций в мире: не только чат, не только API, но и hardware, агенты, изображения — и это ещё не всё.
📌 Читать
@data_analysis_ml
#openai #ai #ml #llm #chatgpt
❤17👍10🔥6🥴1
> Anthropic отозвала доступ OpenAI к API своих моделей Claude
> Заявление: “Технические сотрудники OpenAI использовали наши инструменты для программирования перед запуском GPT-5”
> “К сожалению, это прямое нарушение условий использования”
🔥 Кажется, война ИИ-компаний вышла на новый уровень.
@data_analysis_ml
#GPT5 #openai #ANTHROPIC
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20😁8❤5👍2
Forwarded from Machinelearning
GPT-OSS — долгожданysq опенсорс для продвинутого reasoning и агентных задач.
— GPT-OSS-120B — 117B параметров, запускается на одной H100 (80GB)
— GPT-OSS-20B — 21B параметров, работает на 16GB GPU (или даже локально!)
💡 Оба варианта — MoE-модели (Mixture of Experts) с 4-битной квантизацией (MXFP4), что обеспечивает быстрое и дешёвое инференс-время (активны только 3.6B и 5.1B параметров).
• Архитектура Token-choice MoE с SwiGLU
• Контекст до 128K токенов с RoPE
• Чередуются full-attn и sliding-window слои
• Модель хорошо работает с CoT (chain-of-thought)
• Поддержка instruction-following и tool-use
• Совместима с transformers, vLLM, llama.cpp, ollama
• Используется тот же токенизатор, что и в GPT-4o
• Открытая лицензия Apache 2.0 (есть небольшое policy-дополнение)
Младшая модель может запускаться даже на локальном железе — идеально для on-device и edge-сценариев.
📎 Пример кода инференса уже доступен — достаточно 16GB GPU с mxfp4!
https://github.com/huggingface/transformers/releases/tag/v4.55.0
@ai_machinelearning_big_data
#openai #opensource #chatgpt
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤6🔥5
Livestream OpenAI, ждём анонса ChatGPT-5
https://www.youtube.com/watch?v=0Uu_VJeVVfo
#Chatgpt5 #openai
https://www.youtube.com/watch?v=0Uu_VJeVVfo
#Chatgpt5 #openai
YouTube
Introducing GPT-5
Sam Altman, Greg Brockman, Sebastien Bubeck, Mark Chen, Yann Dubois, Brian Fioca, Adi Ganesh, Oliver Godement, Saachi Jain, Christina Kaplan, Christina Kim, Elaine Ya Le, Felipe Millon, Michelle Pokrass, Jakub Pachocki, Max Schwarzer, Rennie Song, Ruochen…
❤3👍3🔥2🤣1