1. Руководство по дистилляции от OpenAI
Руководство содержит подробное описание процесса передачи знаний от более крупной модели к компактной, c сохранением высокой производительности модели.
Основные аспекты, рассмотренные в руководстве:
- Сохранение выходных данных крупной модели: Создание набора данных, содержащего предсказания большой модели, которые будут использоваться для обучения меньшей модели.
- Оценка производительности моделей: Сравнительный анализ точности и эффективности как крупной, так и компактной моделей на основе различных метрик.
- Создание обучающих данных для компактной модели: Использование предсказаний крупной модели для генерации обучающего набора данных, способствующего эффективному обучению меньшей модели.
- Оценка дообученной компактной модели: Проверка производительности и точности компактной модели после процесса дистилляции для подтверждения соответствия требованиям.
2. Учебник по дистилляции знаний от PyTorch
Руководство от PyTorch, которое содержит практическое введение в технику передачи знаний для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.
Основные аспекты руководства:
- Извлечение скрытых представлений: В гайде показано, как получить промежуточные представления из обученной модели для дальнейшего использования.
- Модификация циклов обучения в PyTorch: Здесь рассматривается интеграция дополнительных функций в стандартные циклы обучения для эффективной передачи знаний.
- На примере показан процесс обучения компактной модели, с ипользованием предсказания более сложной модели в качестве ориентира.
Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом, если вы хотите научиться оптимизировать свои модели для использования в средах с ограниченными ресурсами.
▪Ссылка
3. Jetson Introduction to Knowledge Distillation от Nvidia
В данном руководстве рассматривается процесс передачи знаний от модели OpenCLIP (vision-language model) к модели ResNet18 для классификации на наборе данных STL10.
Особое внимание уделяется тому, как выбор данных, методы дистилляции и архитектура модели, влияют на итоговую точность.
Кроме того, обсуждаются методы профилирования и оптимизации моделей для их развёртывания на устройствах NVIDIA Jetson Orin Nano.
4. Учебник по дистилляции знаний от Keras
Подробно описывается концепция дистилляции знаний и ее применение в обработке медицинских изображений.
5. Руководство по дистилляции от
huggingface 🤗
Здесь показано, как выполнять дистилляцию знаний шаг за шагом на конкретном примере.
6. Дистилляция знаний для задач компьютерного зрения от huggingface
Здесь рассматривается, как сделать файнтюн ViT-модели в MobileNet с помощью API Trainer из Transformers.
#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63❤22🔥8⚡3
В статье исследуется применение обучения с подкреплением (RL) к большим языковым моделям (LLMs) улучшает их способность решать сложные задачи программирования и рассуждений. Авторы сравнивают три модели: общую модель o1, её специализированную версию o1-ioi (адаптированную для соревнований IOI) и более продвинутую модель o3.
Модель o1 значительно превосходит модели без цепочек рассуждений (например, gpt-4o) по показателям на платформе CodeForces.
Специализированная o1-ioi, оптимизированная для соревнований IOI, показывает хорошие результаты с ручными стратегиями, но её успех зависит от дополнительной настройки и тестовых стратегий.
Модель o3, обученная только с RL и без доменно-специфичных стратегий, демонстрирует ещё более высокую производительность, достигая результатов на уровне элитных программистов мира как на CodeForces, так и на IOI.
Применение в реальных задачах:
Масштабирование RL для общего использования, а не применение специализированных ручных стратегий, является эффективным путём достижения передового уровня ИИ в задачах рассуждения и программирования.
Статья
Тред
Релиз состоится 18 февраля в 04:00 (GMT+3). Похоже, что Grok-3 выйдет с режимом рассуждений.
выпустили новую очень сложную оценку рассуждений LLM:
EnigmaEval: 1184 мультимодальные головоломки, настолько сложные, что на их решение группам людей требуется от многих часов до нескольких дней.
Все топ-модели набрали 0% в Hard set и < 10% в Normal set
Scale
От оценки позы до обнаружения объектов в реальном времени - свежие, передовые инструменты компьютерного зрения на Hugging Face, которые очень просты в использовании.
- ViTPose для оценки позы
- RT-DETRv2 для обнаружения объектов в реальном времени
- DAB-DETR улучшает оригинальный DETR, решая проблемы медленного обучения
- DepthPro от Apple для оценки глубины на одном изображении, выдавая расстояния на уровне пикселей в метрах менее чем за секунду.
Свежий инструмент, который представляет собой готовое решение для создания десктопного GUI-агента. С его помощью можно отдавать команды и автоматизировать задачи на ПК (Windows и macOS) через веб-интерфейс, доступный с любого устройства с интернетом.
Github
@ai_machinelearning_big_data
#news #ai #ml #openai #grok #grok3 #Microsoft #ScaleAI #elonmusk #cv #sota #opensource #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍49❤14🔥9😁2🐳1
С 26 февраля Advanced Voice на базе GPT-4o mini доступна бесплатным пользователям ChatGPT на всех платформах.
Free tier имеет ежедневные ограничения на использование входных и выходных аудиоданных. Пользователи ChatGPT Plus могут использовать полную версию Advanced Voice на основе GPT-4o с дневным лимитом, который в 5 раз превышает лимит бесплатной версии, и могут продолжать использовать функции видео и демонстрации экрана в расширенном голосовом режиме. Подписчики ChatGPT Pro не имеют дневного лимита.
OpenAI в X
Microsoft открыла всем пользователям бесплатный доступ к функциям «Think Deeper» и голосовому управлению Copilot, а также снимет предыдущие ограничения на использование для бесплатных пользователей. Это означает, что пользователи могут вести неограниченное количество "бесед" и голосовых взаимодействий с Copilot. Think Deeper работает на основе модели логического вывода OpenAI o1, которую Microsoft сделала бесплатной в прошлом месяце.
microsoft.com
Octave, TTS-модель, анонсированная в конце декабря 2024 года, стала доступной через web и API. Модель умеет не просто "читать" слова, а понимает их смысл в контексте. Octave способна отыгрывать персонажей, генерировать голоса по запросу и изменять эмоциональную окраску и стиль речи.
Благодаря функции Voice Design, Octave может создать любой ИИ-голос по текстовому описанию. От "терпеливого, чуткого консультанта с голосом ASMR" до "средневекового рыцаря" – Octave воплотит любую фантазию. В ближайшем будущем планируется запуск функции клонирования голоса.
В ходе слепого сравнительного исследования, Octave превзошла систему ElevenLabs Voice Design по качеству звука (71,6%), естественности (51,7%) и соответствию голоса заданному описанию (57,7%).
hume.ai
DeepSeek объявил о введении скидок до 75% на использование своих AI-моделей в непиковые часы. Это решение может оказать давление на конкурентов как в Китае, так и за рубежом, вынуждая их пересматривать свои ценовые стратегии. Согласно информации на сайте компании, в период с 16:30 до 00:30 по Гринвичу стоимость использования API DeepSeek будет значительно снижена. Для моделей R1 и V3 скидки составят 75% и 50% соответственно.
reuters.com
Samsung выпустит первую потребительскую серию PCIe 5.0 SSD 9100 Pro в марте. Впервые среди NVMe SSD от Samsung в линейке будет модель с 8 ТБ (ожидается, что будет доступен во второй половине 2025 года). В спецификации M.2 предусмотрены две дополнительные версии с радиатором или без него, с тремя конфигурациями: 1 ТБ (199,99 долл. США), 2 ТБ (299,99 долл. США) и 4 ТБ (549,99 долл. США).
Серия 9100 Pro демонстрирует значительные улучшения: в ней используется специализированный контроллер и флэш-память V-NAND TLC 7-го поколения. В синтетических тестах скорости последовательного чтения и записи достигают 14,8 ГБ/с и 13,4 ГБ/с, что вдвое больше, чем у предыдущего поколения 980 Pro и примерно на 2–3 ГБ/с быстрее, чем у конкурирующих продуктов, а производительность случайного чтения и записи улучшена до 2200 тыс./2600 тыс. IOPS, что более чем 2х превышает показатели PCIe 4.0.
news.samsung.com
Hf
@ai_machinelearning_big_data
#news #ai #ml #microsoft #openai #DeepSeek
Please open Telegram to view this post
VIEW IN TELEGRAM
👍39❤15🔥11
На стриме показали редактор изображений для ChatGPT.
Основные особенности:
📌 https://openai.com/index/introducing-4o-image-generation/
@ai_machinelearning_big_data
#openai #imagegenerator #chatgpt
Please open Telegram to view this post
VIEW IN TELEGRAM
❤42👍26🔥14❤🔥5🥰1
OpenAI запустила "Академию OpenAI", которая претендует на роль главного учебника по работе с ИИ.
Платформа поможет освоить нейросети на практике, понять их возможности и научиться эффективно использовать ChatGPT и Sora в повседневной жизни и работе.
▪ Обширная база обучающих материалов доступна на отдельном сайте.
▪Live-трансляции и офлайн-мероприятия помогут глубже разобраться в технологиях.
▪ Бесплатный доступ — OpenAI стремится расширить аудиторию, а не ограничивать её ценником.
Программа рассчитана на широкий круг слушателей — от технических специалистов до политиков, представителей бизнеса и академического сообщества.
@ai_machinelearning_big_data
📌Начать обучение
📌 Блог
#ai #freecourses #openai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍64❤16🔥13😁7🗿6🤣4
В рамках этого проекта агентам предлагается воспроизвести 20 статей, представленных на конференции ICML 2024 в категориях Spotlight и Oral.
Для каждой статьи разработаны детальные рубрики, разбивающие задачу воспроизведения на более мелкие подзадачи с четкими критериями оценки. Всего в PaperBench содержится 8 316 индивидуально оцениваемых задач.
Создан судья на основе LLM, который автоматически оценивает попытки воспроизведения, сравнивая их с установленными рубриками. Производительность этого судьи проверяется с помощью отдельного бенчмарка.
Результаты оценки:
Тестирование нескольких передовых моделей показало, что лучшим из протестированных агентов является Claude 3.5 Sonnet (New) с использованием открытого исходного кода, который достиг среднего показателя воспроизведения в 21,0%. Однако модели пока даже не приближаются к человеческому уровеню, установленным группой ведущих докторантов в области машинного обучения.
OpenAI занял 2-е место на собствем собственном бенчмарке)
#openai #Benchmark
Please open Telegram to view this post
VIEW IN TELEGRAM
👍56❤12🔥7😐7
В последние недели OpenAI вела переговоры о приобретении стартапа по производству оборудования io Products — совместного проекта Джони Айва (бывший главный директор по дизайну компании Apple)и Сэма Альтмана по разработке персонального устройства с поддержкой ИИ.
Обсуждалась цена покупки более
500 миллионов долларов. Предполагается, что устройство не будет иметь экрана и будет управляться голосом — как в научно-фантастических фильмах.
В качестве альтернативы также обсуждается партнерство.
Цель проекта — более тесная интеграция ИИ в повседневную жизнь. Проект может поставить OpenAI в прямую конкуренцию с Apple.
🔗 Новость
@ai_machinelearning_big_data
#openai #apple
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥17❤14😎5🙈4
Этот набор данных включает 1 266 задач, требующих от моделей глубокого понимания контекста и эффективного поиска информации.
Особенности:
▪ В отличие от существующих бенчмарков, таких как SimpleQA, BrowseComp фокусируется на вопросах, ответы на которые трудно найти и которые требуют анализа множества источников.
Например, “Найдите мне статью из EMNLP 2018–2023, где первый автор учился в бакалавриате в Dartmouth, а четвёртый — в UPenn”
→ Ответ: Frequency Effects on Syntactic Rule Learning in Transformers
▪ Структура вопросов: Каждый вопрос имеет однозначный, короткий ответ, что облегчает оценку результатов и снижает вероятность неоднозначности.
OpenAI
▪ Примеры вопросов: Вопросы охватывают различные темы и требуют от модели способности устанавливать связи между разрозненными фактами.
OpenAI
💡 По аналогии с тем, как CodeForces навыки программирования, BrowseComp показывает, насколько модель способна ориентироваться в "диких" условиях в вебе.
@ai_machinelearning_big_data
#openai #benchmark
Please open Telegram to view this post
VIEW IN TELEGRAM
👍76🔥26❤8😁5
🔥 OpenAI выкатили сразу три новые модели — 4.1, 4.1 mini и 4.1 nano!
📏 Контекст — до миллиона токенов
💡 Обещают значительные Улучшения в коде
⚡Модели уже доступны через API
GPT-4.1, набрал 55% на бенчмарке SWE-Bench Verified, это — хоороший результат, особенно с учётом того, что GPT-4.1 не оптимизировалась конкретно под задачи логического или многошагового рассуждения.
💬 На презентации одним промптом собрали веб-приложение для изучения языков.
Честно говоря, выглядит не супер. Практически та же цена, что у Gemini 2.5 Pro (у Gemini дешевле входные токены, что важно), и, судя по всему, она не превосходит модели Гугла ни на одном бенчмарке.
Попробовать бесплатно можно здесь и в Cursor.
💲 Цены
@ai_machinelearning_big_data
#openai #chatgpt
📏 Контекст — до миллиона токенов
💡 Обещают значительные Улучшения в коде
⚡Модели уже доступны через API
GPT-4.1, набрал 55% на бенчмарке SWE-Bench Verified, это — хоороший результат, особенно с учётом того, что GPT-4.1 не оптимизировалась конкретно под задачи логического или многошагового рассуждения.
💬 На презентации одним промптом собрали веб-приложение для изучения языков.
Честно говоря, выглядит не супер. Практически та же цена, что у Gemini 2.5 Pro (у Gemini дешевле входные токены, что важно), и, судя по всему, она не превосходит модели Гугла ни на одном бенчмарке.
Попробовать бесплатно можно здесь и в Cursor.
💲 Цены
@ai_machinelearning_big_data
#openai #chatgpt
👍64🔥29🥱21❤13👏3🤬1
OpenAI утверждает, что эти модели способны генерировать новые и полезные идеи.
Обе будут добавлены с сегодняшнего дня в ChatGPT и API.
Впервые модели рассуждений могут использовать и комбинировать все инструменты ChatGPT, включая веб-поиск, Python, анализ изображений, работу с файлами и генерацию изображений.
Модель o3 установила новый рекорд на AIME 2025 с точностью 98.4%.
А вот o4-mini, набрала 99.5% — лучший результат среди всех моделей.
На Codeforces модели набирают более 2700 баллов, что помещает их в число 200 лучших программистов в мире!
На Humanity Last Exam её показатели находятся на уровне флагманской модели Deep Research.
API — о3 сильно дешевле о1: 10/40$ вместо 15/60$, а o4-mini будет доступна для БЕСПЛАТНЫХ пользователей
С помощью внутренних инструментов модель также умеет рассуждать и работать с изображениями (например, использовать Python для их преобразования).
Эти способности к рассуждению достигнуты благодаря масштабированию как во время обучения, так и во время инференса.
Трансляция: https://www.youtube.com/watch?v=sq8GBPUb3rk
@ai_machinelearning_big_data
#openai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53❤22🔥14😁6🌭2🤷2