Oumi - открытая платформа для разработки, файнтюна, оценки и экспериментов с языковыми и мультимодальными моделями, созданная совместными усилиями исследователей из 13 ведущих университетов.
Oumi предоставляет инструменты и рабочие процессы для разработки и запуска масштабных экспериментов на кластере, развертывания моделей в рабочей среде и поддерживает методы распределенного обучения (FSDP, DDP):
В репозитории проекта собраны готовые ноутбуки и скрипты для каждого из этапов жизненного цикла моделей, а подробная документация по использованию поможет легко освоить эту платформу.
@ai_machinelearning_big_data
#AI #ML #Oumi #Framework
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥45👍17❤16
Google расширила возможности Gemini, внедрив функцию запоминания прошлых разговоров для подписчиков Gemini Advanced через Google One AI Premium. Это обновление позволяет Gemini предоставлять более релевантные ответы. Новая функция доступна на английском языке в веб-версии и мобильном приложении Gemini. Google планирует добавить поддержку других языков, а также для бизнес- и корпоративных клиентов Google Workspace в ближайшие недели.
blog.google
Предложение инженера Google об увеличении частоты таймера ядра Linux с 250 до 1000 Гц вызвало интерес в технологическом сообществе и сервис Phoronix провел A/B-тестирование, чтобы оценить влияние этого изменения. Наиболее заметные улучшения наблюдались в ускорении LLM. В других задачах влияние было минимальным и находилось в пределах погрешности измерений системы. Основная идея Кайса Юсефа заключалась в том, что увеличение частоты таймера приведет к улучшению отзывчивости системы и позволит решить проблемы, связанные с 250 Гц: неточные временные интервалы и задержки в балансировке нагрузки.
Тестирование проводилось на AMD Ryzen 9 9950X, 32 ГБ ОЗУ и GPU Radeon RX 7900 XTX. Наибольший прирост производительности наблюдался с Llama, где увеличение частоты таймера привело к росту производительности на 10%.
tomshardware.com
Apple Machine Learning Research опубликовало исследование метода трансферного обучения для графовых нейронных сетей, который значительно улучшает эффективность и точность физического моделирования сложных систем. В работе представлена масштабируемая графовая U-NET (SGUNET), способная адаптироваться к различным размерам сетки и разрешениям.
Предложенный метод позволяет использовать предварительно обученные модели на большом наборе данных (ABC Deformable - ABCD), содержащем 20 000 физических симуляций 3D-форм, для последующей тонкой настройки на целевых задачах с меньшим количеством данных. Это значительно снижает затраты на сбор и аннотацию данных.
Эксперименты на 2 датасетах (2D Deformable Plate и 3D Deforming Plate) показали, что модель, предварительно обученная на ABCD и дообученная на 1/16 части данных, демонстрирует улучшение RMSE на 11.05% по сравнению с моделью, обученной с нуля.
machinelearning.apple.com
Microsoft и Университет Карнеги опубликовали ресёрч о том, что генеративный ИИ оказывает двоякое влияние на когнитивные процессы человека. С одной стороны, ИИ-инструменты снижают воспринимаемую сложность задач, требующих критического мышления. С другой стороны, чрезмерная уверенность в возможностях ИИ приводит к снижению критического мышления и зависимости от сгенерированного контента.
Анализ опроса 319 представителей умственного труда показал, что работники чаще всего используют критическое мышление для обеспечения качества своей работы. При этом, чем выше уверенность работника в собственных навыках, тем больше усилий он прилагает для оценки результатов, предоставляемых ИИ. И наоборот, чем выше уверенность в возможностях ИИ, тем меньше усилий затрачивается на критическое мышление. Исследование также выявило изменения в структуре когнитивных усилий при использовании ИИ - они смещаются от сбора информации к ее проверке, от решения проблем к адаптации ответов ИИ и от выполнения задач к контролю за процессом.
microsoft.com
Новые рекомендации OpenAI указывают на то, что для эффективного использования моделей серии o, стоит отходить от сложных техник промпт-инжиниринга в пользу простых и прямых инструкций. OpenAI предостерегает от использования "boomer prompts" и инструкций вроде "думай шаг за шагом" для этих моделей. Вместо этого рекомендуется давать краткие, четко структурированные указания с использованием разделителей (XML-теги) и четко определять критерии успеха или ограничения.
platform.openai.com
Please open Telegram to view this post
VIEW IN TELEGRAM
👍38❤21🔥7😨3🗿1
PARTNR (Planning And Reasoning Tasks in humanN-Robot collaboration) - бенчмарк, разработанный для оценки способности ИИ к совместной работе с людьми в бытовых задачах.
PARTNR состоит из 100 000 задач на естественном языке, 60 домов и 5 819 уникальных объектов. Задачи разделены на 4 типа: без ограничений, пространственные, временные и гетерогенные, где действия могут быть выполнены только человеком.
Для генерации задач используется полуавтоматический подход с применением LLM и симуляции в реальном времени. Это позволяет минимизировать ошибки, галлюцинации (некорректные инструкции) и невыполнимые действия. В процессе генерации задачи фильтруются с помощью симуляции и аннотируются вручную для разнообразия и точности.
На бенчмарке были проведены эксперименты с использованием LLM для планирования задач. Исследовались различные подходы zero-shot prompting, fine-tuning и RAG. Модели тестировались в условиях полной и частичной наблюдаемости, с централизованным и децентрализованным управлением.
Результаты тестов показали, что LLM испытывают трудности с координацией, отслеживанием задач и восстановлением после ошибок. Например, в децентрализованных настройках выполнение задач занимает на 30% больше шагов по сравнению с централизованным управлением.
Особое внимание уделялось оценке взаимодействия LLM с реальными людьми. По итогам тестирований LLM требуют на 50% больше шагов для выполнения задач по сравнению с людьми.
Прикладная реализация PARTNR содержит абстракции, позволяющие агентам выполнять инструкции на естественном языке в свободной форме в симуляторе Habitat.
Основные абстракции: агент, планировщик, инструмент и навык. Агент имеет доступ к набору инструментов, которые позволяют ему воспринимать состояние среды или взаимодействовать с ней, используя низкоуровневые навыки.
@ai_machinelearning_big_data
#AI #ML #Benchmark #PARTNR
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍40❤16🔥5
Курс содержит пошаговые инструкции с примерами кода, которые помогут научиться создавать автономных агентов с использованием машинного обучения.
Фокус на AI-агентах:
Если вас интересует именно разработка агентов — например, для симуляций, игр или интерактивных систем — данный курс будет полезен.
Каждый урок включает в себя:
- Лекцию, (видео уроки появятся в марте 2025 года)
- Примеры кода на Python с поддержкой Azure AI Foundry и Github Models
- Практические задания
- Ссылки на полезные дополнительные ресурсы
Если это ваш первый опыт работы с агентами, у Microsoft есть еще 1 курс «Генеративный ИИ для начинающих», который содержит 21 урок по построению моделей с помощью GenAI, лучше начать с него.
Переведен на 9 различных языков (русского нет).
▪ Github
@ai_machinelearning_big_data
#course #Microsoft #aiagents #ai #ml #opensource #freecourse
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤49👍20🔥12😁3🥱3
This media is not supported in your browser
VIEW IN TELEGRAM
Он позволяет легко создавать аудиоверсии статей или блогов, упрощая процесс создания подкастов для контент-мейкеров, блогеров или в целях обучения.
Установка:
$ pip install podcastfy
Podcastfy — удобный и простой в использовании инструмент для быстрого прототипирования решений по автоматическому созданию аудиоконтента и интеграции в более крупные ML-проекты.
▪Github
▪Paper
▪Colab
@ai_machinelearning_big_data
#podcast #gemini #openai #elevenlabs #genai #notebooklm
Please open Telegram to view this post
VIEW IN TELEGRAM
❤58👍34🔥11😐2
1. Руководство по дистилляции от OpenAI
Руководство содержит подробное описание процесса передачи знаний от более крупной модели к компактной, c сохранением высокой производительности модели.
Основные аспекты, рассмотренные в руководстве:
- Сохранение выходных данных крупной модели: Создание набора данных, содержащего предсказания большой модели, которые будут использоваться для обучения меньшей модели.
- Оценка производительности моделей: Сравнительный анализ точности и эффективности как крупной, так и компактной моделей на основе различных метрик.
- Создание обучающих данных для компактной модели: Использование предсказаний крупной модели для генерации обучающего набора данных, способствующего эффективному обучению меньшей модели.
- Оценка дообученной компактной модели: Проверка производительности и точности компактной модели после процесса дистилляции для подтверждения соответствия требованиям.
2. Учебник по дистилляции знаний от PyTorch
Руководство от PyTorch, которое содержит практическое введение в технику передачи знаний для развёртывания моделей на устройствах с ограниченными вычислительными ресурсами.
Основные аспекты руководства:
- Извлечение скрытых представлений: В гайде показано, как получить промежуточные представления из обученной модели для дальнейшего использования.
- Модификация циклов обучения в PyTorch: Здесь рассматривается интеграция дополнительных функций в стандартные циклы обучения для эффективной передачи знаний.
- На примере показан процесс обучения компактной модели, с ипользованием предсказания более сложной модели в качестве ориентира.
Руководство содержит пошаговые инструкции и примеры кода, что делает его ценным ресурсом, если вы хотите научиться оптимизировать свои модели для использования в средах с ограниченными ресурсами.
▪Ссылка
3. Jetson Introduction to Knowledge Distillation от Nvidia
В данном руководстве рассматривается процесс передачи знаний от модели OpenCLIP (vision-language model) к модели ResNet18 для классификации на наборе данных STL10.
Особое внимание уделяется тому, как выбор данных, методы дистилляции и архитектура модели, влияют на итоговую точность.
Кроме того, обсуждаются методы профилирования и оптимизации моделей для их развёртывания на устройствах NVIDIA Jetson Orin Nano.
4. Учебник по дистилляции знаний от Keras
Подробно описывается концепция дистилляции знаний и ее применение в обработке медицинских изображений.
5. Руководство по дистилляции от
huggingface 🤗
Здесь показано, как выполнять дистилляцию знаний шаг за шагом на конкретном примере.
6. Дистилляция знаний для задач компьютерного зрения от huggingface
Здесь рассматривается, как сделать файнтюн ViT-модели в MobileNet с помощью API Trainer из Transformers.
#KnowledgeDistillation #Distillation #openai #keras #tutorial #course #freecourses #huggingface #Nvidia #pytorch
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63❤22🔥8⚡3
В статье исследуется применение обучения с подкреплением (RL) к большим языковым моделям (LLMs) улучшает их способность решать сложные задачи программирования и рассуждений. Авторы сравнивают три модели: общую модель o1, её специализированную версию o1-ioi (адаптированную для соревнований IOI) и более продвинутую модель o3.
Модель o1 значительно превосходит модели без цепочек рассуждений (например, gpt-4o) по показателям на платформе CodeForces.
Специализированная o1-ioi, оптимизированная для соревнований IOI, показывает хорошие результаты с ручными стратегиями, но её успех зависит от дополнительной настройки и тестовых стратегий.
Модель o3, обученная только с RL и без доменно-специфичных стратегий, демонстрирует ещё более высокую производительность, достигая результатов на уровне элитных программистов мира как на CodeForces, так и на IOI.
Применение в реальных задачах:
Масштабирование RL для общего использования, а не применение специализированных ручных стратегий, является эффективным путём достижения передового уровня ИИ в задачах рассуждения и программирования.
Статья
Тред
Релиз состоится 18 февраля в 04:00 (GMT+3). Похоже, что Grok-3 выйдет с режимом рассуждений.
выпустили новую очень сложную оценку рассуждений LLM:
EnigmaEval: 1184 мультимодальные головоломки, настолько сложные, что на их решение группам людей требуется от многих часов до нескольких дней.
Все топ-модели набрали 0% в Hard set и < 10% в Normal set
Scale
От оценки позы до обнаружения объектов в реальном времени - свежие, передовые инструменты компьютерного зрения на Hugging Face, которые очень просты в использовании.
- ViTPose для оценки позы
- RT-DETRv2 для обнаружения объектов в реальном времени
- DAB-DETR улучшает оригинальный DETR, решая проблемы медленного обучения
- DepthPro от Apple для оценки глубины на одном изображении, выдавая расстояния на уровне пикселей в метрах менее чем за секунду.
Свежий инструмент, который представляет собой готовое решение для создания десктопного GUI-агента. С его помощью можно отдавать команды и автоматизировать задачи на ПК (Windows и macOS) через веб-интерфейс, доступный с любого устройства с интернетом.
Github
@ai_machinelearning_big_data
#news #ai #ml #openai #grok #grok3 #Microsoft #ScaleAI #elonmusk #cv #sota #opensource #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍49❤14🔥9😁2🐳1