287K subscribers
3.98K photos
691 videos
17 files
4.56K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
加入频道
✔️ OpenAI опубликовали статью, в которой описан план создания лучшего в мире ИИ-кодера.
В статье исследуется применение обучения с подкреплением (RL) к большим языковым моделям (LLMs) улучшает их способность решать сложные задачи программирования и рассуждений. Авторы сравнивают три модели: общую модель o1, её специализированную версию o1-ioi (адаптированную для соревнований IOI) и более продвинутую модель o3.

Модель o1 значительно превосходит модели без цепочек рассуждений (например, gpt-4o) по показателям на платформе CodeForces.
Специализированная o1-ioi, оптимизированная для соревнований IOI, показывает хорошие результаты с ручными стратегиями, но её успех зависит от дополнительной настройки и тестовых стратегий.
Модель o3, обученная только с RL и без доменно-специфичных стратегий, демонстрирует ещё более высокую производительность, достигая результатов на уровне элитных программистов мира как на CodeForces, так и на IOI.
Применение в реальных задачах:
Масштабирование RL для общего использования, а не применение специализированных ручных стратегий, является эффективным путём достижения передового уровня ИИ в задачах рассуждения и программирования.
Статья

✔️ Google о квантовых вычислениях «Наш последний прорыв: мы смогли выполнить сложные вычисление за 5 минут, на что одному из самых быстрых суперкомпьютеров в мире потребовалось бы более 10 миллиардов лет — это дольше, чем существует наша Вселенная».
Тред

✔️ Илон Маск анонсировал выпуск новой версии Grok 3 от его стартапа xAI. Он заявил, что это будет «самый умный ИИ на земле»
Релиз состоится 18 февраля в 04:00 (GMT+3). Похоже, что Grok-3 выйдет с режимом рассуждений.

✔️ Вслед за «Последним экзаменом человечества» ScaleAI
выпустили новую очень сложную оценку рассуждений LLM:

EnigmaEval: 1184 мультимодальные головоломки, настолько сложные, что на их решение группам людей требуется от многих часов до нескольких дней.
Все топ-модели набрали 0% в Hard set и < 10% в Normal set
Scale

✔️ 4 SOTA модели компьютерного зрения
От оценки позы до обнаружения объектов в реальном времени - свежие, передовые инструменты компьютерного зрения на Hugging Face, которые очень просты в использовании.
- ViTPose для оценки позы
- RT-DETRv2 для обнаружения объектов в реальном времени
- DAB-DETR улучшает оригинальный DETR, решая проблемы медленного обучения
- DepthPro от Apple для оценки глубины на одном изображении, выдавая расстояния на уровне пикселей в метрах менее чем за секунду.

✔️ Computer use ootb
Свежий инструмент, который представляет собой готовое решение для создания десктопного GUI-агента. С его помощью можно отдавать команды и автоматизировать задачи на ПК (Windows и macOS) через веб-интерфейс, доступный с любого устройства с интернетом.
Github

@ai_machinelearning_big_data


#news #ai #ml #openai #grok #grok3 #Microsoft #ScaleAI #elonmusk #cv #sota #opensource #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4914🔥9😁2🐳1
🌟 DeepSearcher: ИИ-комбайн для ваших данных.

Проект объединяет использование LLM, векторные базы данных для выполнения задач поиска, оценки, ризонинга на основе предоставленных данных (файлы, текст, источники).

Позиционируется разработчиками как инструмент для управления знаниями предприятия, интеллектуальных QA-систем и сценариев поиска информации.

DeepSearcher умеет использовать при необходимости информацию из интернета, совместим с векторными базами Milvus и их сервис-провайдером Zilliz Cloud, эмбедингами Pymilvus, OpenAI и VoyageAI. Есть возможность подключения LLM DeepSeek и OpenAI по API напрямую или через TogetherAI и SiliconFlow.
Поддерживается локальная загрузка файлов, подключение веб-краулеров FireCrawl, Crawl4AI и Jina Reader.

В ближайших планах - добавление возможности веб-клиппера, расширение списка поддерживаемых векторных баз, создание RESTful API интерфейса.

▶️ Локальная установка и запуск:

# Clone the repository
git clone https://github.com/zilliztech/deep-searcher.git

# Create a Python venv
python3 -m venv .venv
source .venv/bin/activate

# Install dependencies
cd deep-searcher
pip install -e .

# Quick start demo
from deepsearcher.configuration import Configuration, init_config
from deepsearcher.online_query import query

config = Configuration()

# Customize your config here
config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o-mini"})
init_config(config = config)

# Load your local data
from deepsearcher.offline_loading import load_from_local_files
load_from_local_files(paths_or_directory=your_local_path)

# (Optional) Load from web crawling (`FIRECRAWL_API_KEY` env variable required)
from deepsearcher.offline_loading import load_from_website
load_from_website(urls=website_url)

# Query
result = query("Write a report about xxx.") # Your question here


📌Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Agents #DeepSearcher
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5519🔥7🐳3👌2🙈1💘1
⚡️Agentic Reward Modeling –свежий проект от THU-KEG, цель которого переосмыслить подход к обучению агентных систем.

Этот инструмент направлен на разработку методов вознаграждения, где агент не просто выполняет команды, а учится понимать свои действия в контексте более сложных задач и долгосрочных целей.

Основные особенности:

- Вместо стандартных методов RL, где вознаграждения зачастую зависят от заранее заданных критериев, здесь акцент сделан на выработку более сложных стратегий, адаптирующихся под изменяющуюся среду и цели.
- Инструмент помогает моделировать вознаграждения таким образом, чтобы агент мог самостоятельно корректировать свои действия, учиться на ошибках и, в итоге, демонстрировать более «человеческое» принятие решений.
- Разработчики могут использовать данный подход в многоагентных системах и комплексных задачах, где важна динамическая оценка эффективности действий.

Этот инструмент интересен не только своим теоретическим потенциалом, но и практическими применениями в области создания более автономных и интеллектуальных систем. Agentic Reward Modeling открывает новые возможности для исследования агентов, способных обучаться в реальном времени, что делает его перспективным для дальнейших исследований и интеграций в реальные приложения.

Paper: https://arxiv.org/abs/2502.19328
Code:
https://github.com/THU-KEG/Agentic-Reward-Modeling

@ai_machinelearning_big_data

#ai #ml #opnesource #agents #aiagents
👍3110🔥5
🌟 AutoDidact — свежий инструмент с открытым исходным кодом, который позволяет автономно обучать исследовательских агентов на базе небольших LLM.

Что внутри:
✔️Автономное обучение
AutoDidact исследует, как небольшие языковые модели могут самостоятельно улучшать свои исследовательские и аналитические способности. Инструмент генерирует вопросы и ответы на основе предоставленных документов, после чего модель обучается искать информацию и верифицировать собственные ответы.

✔️ Использование reinforcement learning
Ключевым элементом проекта является применение алгоритма Group Relative Policy Optimization (GRPO), который позволяет модели совершенствовать стратегию поиска и повышения точности ответов через цикл обратной связи.

✔️Все этапы — от генерации вопросов до создания эмбеддингов и проведения обучения — выполняются локально с использованием открытых моделей, что делает процесс полностью автономным и адаптируемым под различные наборы данных.

✔️ Self-Bootstrapping с Llama-8B:
Модель автоматически генерирует значимые пары «вопрос-ответ» из предоставленного корпуса документов, что позволяет ей самостоятельно обучаться и улучшать навыки поиска информации.

✔️ Модель сама оценивает точность своих ответов, создавая замкнутый цикл обратной связи, который способствует постоянному улучшению результатов.

✔️ Оптимизация процесса обучения:
Инструмент снижает необходимость ручного создания тестовых кейсов и настройки сложных систем верификации, автоматизируя процесс генерации данных для обучения. Это существенно экономит время и ресурсы на этапе разработки и тестирования.

🟡Github

@ai_machinelearning_big_data


#ml #ai #agents #python
Please open Telegram to view this post
VIEW IN TELEGRAM
👍44🔥2010
🌟 Magma – это фундаментальная модель от Microsoft, предназначенная для создания мульти-модальных AI-агентов, способных воспринимать окружение и действовать в цифровом и физическом мире.

Эта модель объединяет данные из различных источников (изображения, видео, данные о робототехнических манипуляциях и тд) и позволяет решать сложные задачи, требующие одновременной обработки текстовой, визуальной и пространственной информации.

Как работает Magma:
🟢 Используется единый визуальный энкодер, который преобразует изображения и видео в векторные представления, обеспечивая универсальное понимание визуальных данных.
🟢 Далее применяется техника Set-of-Mark (SoM) для маркировки ключевых объектов в изображениях (например, интерактивных кнопок или частей робота), что позволяет модели точно «привязывать» действия к нужным элементам сцены.
🟢Техника Trace-of-Mark (ToM) отвечает за планирование действий, анализируя динамику видеоданных и предсказывая последовательности будущих движений или изменений состояния объектов.
🟢Интеграция визуальной информации с текстовыми данными осуществляется через языковую модель, которая генерирует ответы в виде текста, пространственных координат или команд для выполнения конкретных задач.

Для чего нужен:

🟢Magma обеспечивает мульти-модальное понимание данных, объединяя вербальный, пространственный и временной аспекты, что значительно расширяет возможности AI-агентов.
🟢 Применим в широком спектре задач – от навигации по пользовательским интерфейсам до управлени роботами и играми – благодаря способности адаптироваться к новым задачам без дообучения (zero-shot).
🟢Позволяет разрабатывать интеллектуальные системы, которые не просто анализируют данные, но и планируют и осуществляют последовательность действий, что особенно важно для робототехники и интерактивных приложений.

🟡Github
🟡Проект
🟡Статья
🟡HF
🟡Video

@ai_machinelearning_big_data

#AI #ML #LLM #opensource #agents #Microsoft
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍58🔥199👌5
🔥 Awesome MCP Servers

Тщательно отобранный список (Awesome List) с MCP серверами (Model Control Plane Servers).

✔️ Что такое MCP серверы?
MCP серверы являются микросервисами, которые могут быть использованы LLM для выполнения вашей задачи.
По сути это мост между LLM и внешним миром: сайтами, базами данных, файлами и сервисами и тд.

Коллекция из 300+ MCP-серверов для ИИ-агентов 100% oпенсорс.!

Здесь можно найти платины на все случаи жизни:

Автоматизация Браузера
Облачные Платформы
Командная Строка
Коммуникации
Базы данных
Инструменты Разработчика
Файловые Системы
Финансы
Игры
Службы определения местоположения
Маркетинг
Мониторинг
Поиск
Спорт
Путешествия И Транспорт
Другие инструменты и интеграций

🟡Github

@ai_machinelearning_big_data


#mcp #ai #agents #awesome
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍55🔥128🥰5
🔟 Open‑source Deep Research Assistants 🤖

Глубокие исследовательские агент
ы — не просто чат‑боты, а полноценные ИИ‑ассистенты, способные искать информацию, взаимодействовать с инструментами, планировать и писать отчёты. Ниже — 10 мощных open‑source проектов, которые уже можно протестировать:

1. DeerFlow — модульная система от Bytedance: DeerFlow — open‑source фреймворк от Bytedance для создания модульных LLM-агентов.
Поддерживает:
- планирование действий,
- анализ кода,
- генерацию отчётов (включая Text-to-Speech),
- адаптивную интеграцию инструментов.
Создан для исследований, автоматизации и построения сложных агентных пайплайнов.
https://github.com/bytedance/deer-flow

2. Alita — самообучающийся агент с поддержкой Model Context Protocols (MCP), всё в одном модуле. Alita — агент, который сам придумывает, как ему расширить себя, не полагаясь на заранее написанные сценарии, и уже демонстрирует топовые результаты на сложных тестах.
https://github.com/CharlesQ9/Alita

3. WebThinker — автономный веб‑поиск с логикой "думай‑ищи‑пиши", RL‑обучением и глубокой навигацией
https://github.com/RUC-NLPIR/WebThinker

4. SimpleDeepSearcher — это лёгкий, но эффективный open‑source фреймворк от RUCAIBox, предназначенный для автономного веб-поиска через импровизированные многотуровые сессии:

- Использует Supervised Fine‑Tuning (SFT) вместо сложного RL, что значительно упрощает обучение и снижает вычислительные затраты
- Генерирует реалистичные траектории поиска и рассуждений, симулируя поведение пользователя в живом поисковом окружении .
- Критически отбирает данные по нескольким критериям качества: разнообразие запросов, сложность, структура ответов

5. AgenticSeek — приватный on‑device ассистент с выбором эксперта под задачу и голосовым управлением
https://github.com/Fosowl/agenticSeek

6. Suna — универсальный ассистент: браузер, CLI, работа с файлами, API, деплой
https://github.com/kortix-ai/suna

7. DeepResearcher — это комплексный open-source фреймворк от GAIR‑NLP, предназначенный для обучения LLM‑агентов, способных проводить глубокие исследования в автономном режиме, взаимодействуя с вебом. Использует несколько агентов‑браузеров, которые совместно исследуют веб и обрабатывают информацию
https://github.com/GAIR-NLP/DeepResearcher

8. Search‑R1 — агент на PPO/GRPO с поддержкой LLaMA3, Qwen2.5 и кастомных поисковиков. Агент учится эффективному циклу «думай — ищи — думай — отвечай» через RL, достигая важных улучшений в точности ответов и эффективности поиска.
https://github.com/PeterGriffinJin/Search-R1

9. ReCall — это фреймворк на основе RL, который учит LLM "должным образом" вызывать и комбинировать инструменты, используя сгенерированные задачи, без необходимости вручную собирать примеры вызовов — и всё это в открытом доступе.
https://github.com/Agent-RL/ReCall

10. OWL — мультиагентная система на CAMEL‑AI для динамического взаимодействия между агентами
https://github.com/camel-ai/owl

Агенты умеют планировать, взаимодействовать с браузером, запускать скрипты, интегрироваться с API и работать автономно.

Всё проекты — с открытым кодом. Можно изучить, собрать и доработать под свои задачи.

@ai_machinelearning_big_data

#ml #rl #aiagents #ai #agents
Please open Telegram to view this post
VIEW IN TELEGRAM
85🔥40👍21👌21
🌟 Self-Hosted AI Package: комплексное решение для локального развертывания ИИ.

Self-Hosted AI Package - это готовый шаблон на основе Docker Compose, который позволяет быстро развернуть полнофункциональную локальную среду с использованием ИИ и low-code инструментов.

Основная цель проекта: предложить разработчикам удобный и быстрый способ для начала работы с локальными ИИ-системами.

✔️ Поддерживаемые инструменты и сервисы:

🟢Self-hosted n8n - Low-code платформа с более 400 вариантами интеграций;

🟢Supabase - База данных с открытым исходным кодом, популярная для агентов ИИ;

🟢Ollama - кросс-платформенный бэкэнд для локального запуска LLM;

🟢Open WebUI - ChatGPT-подобный интерфейс для взаимодействия с моделями и агентами n8n;

🟢Flowise - No/low code конструктор ИИ-агентов, который очень хорошо сочетается с n8n;

🟢Qdrant - Высокопроизводительное векторное хранилище с открытым исходным кодом и обширным API.

🟢Neo4j - Движок для создания графов знаний, на котором работают GraphRAG, LightRAG и Graphiti.

🟢SearXNG - Метапоисковая система с открытым исходным кодом, объединяющая результаты с 229 поисковыми сервисами;

🟢Caddy - Управляемый HTTPS/TLS для пользовательских доменов;

🟢Langfuse - Инженерная платформа с открытым исходным кодом для наблюдаемости агентов.

Проект активно развивается, авторы даже запустили публичную Kanban-доску, где отслеживаются внедрение новых функций и исправление ошибок.

⚠️ Перед запуском служб необходимо настроить переменные окружения для Supabase, следуя их руководству.

⚠️ Основным компонентом набора является файл docker compose, предварительно сконфигурированный с сетью и диском, поэтому больше ничего устанавливать не нужно. После установки нужно будет выполнить действия из Quick start and usage, чтобы начать работу.


▶️Установка:

# Clone repo
git clone -b stable https://github.com/coleam00/local-ai-packaged.git
cd local-ai-packaged

# For Nvidia GPU
python start_services.py --profile gpu-nvidia

# For AMD GPU users on Linux
python start_services.py --profile gpu-amd

# For Mac Run fully on CPU
python start_services.py --profile cpu

#For everyone else
python start_services.py --profile cpu


📌Лицензирование: Apache 2.0 License.


🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Agents #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
70👍32🔥17❤‍🔥1
🌟 NXTscape: браузер с локальными ИИ-агентами для Mac.

NXTscape - опенсорсный браузер для Mac OS на базе Chromium, где ИИ-агенты работают у вас на устройстве, а не в облаке ИТ-гигантов.

Самое важное: ключи API, история и данные никогда не покидают локальную систему. Подключаете OpenAI, Anthropic или локальные модели через Ollama и автоматизируете рутину действий в интернете.

Проект прост в переходе с Chrome: миграция занимает пару кликов, все расширения работают, его код открыт, можно форкнуть или проверить каждую строчку.

В планах на будущее: MCP Store, магазин ИИ-агентов, в нем обещают запуск прямо из адресной строки. Плюс встроенный ИИ-блокировщик рекламы, который планируют сделать умнее аналогов.

Теперь ваши 70+ вкладок могут управляться агентами, а не вы ими, достаточно скачать стабильный релиз с Github.


📌Лицензирование: AGPL-3.0 License.


🟡Сообщество в Discord
🖥 GitHub


@ai_machinelearning_big_data

#AI #ML #Agents #Github #NXTscape
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8937🔥23🤔9🥰4😘1
📌Подборка материалов по оптимизации агентных систем.

Awesome-Self-Evolving-Agents - подборка материалов по теме оптимизации агентов в концепции саморазвивающихся систем, в которой собраны работы с 2023 по 2025 год по 3-м направлениям: оптимизация одиночного агента, оптимизация мультиагентных систем и методы их оценки.

Содержание

🟡Оптимизация одного агента

🟢Оптимизация поведения LLM

🟢Оптимизация промпта

🟢Оптимизация памяти

🟢Инструменты

🟡Мультиагентная оптимизация

🟡Оценка

🟠LLM-судья

🟠Агент-судья

🟠Безопасность и элайнмент саморазвивающихся агентов


@ai_machinelearning_big_data

#AI #ML #LLM #Agents #AwesomeList #Github
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5927🔥10
📌Как создавали RL-агент AutoGLM-OS, который выбил SOTA на OSWorld, обогнав OpenAI и Anthropic.

Автономные агенты, способные управлять рабочим столом - это Грааль современного HCI. Но их обучение сопряжено с трудностями: GUI созданы для людей, а не для машин, а масштабирование RL упирается в неэффективность и нестабильность сред.

В Z.ai сделали фреймворк COMPUTERRL, который лег в основу агента AutoGLM-OS. Результат - state-of-the-art на бенчмарке OSWorld: 48.1% успешных выполнений и это лучше, чем у OpenAI CUA 03 (42.9%), UI-TARS-1.5 (42.5%) и Claude 4.0 Sonnet (30.7%).

OSWorld — это крупный бенчмарк из 369 заданий для проверки многомодальных ИИ-агентов в реальных условиях. Он работает в Ubuntu, Windows и macOS.

В нем ИИ выполняет открытые задачи: работает с веб- и десктопными приложениями, управляет файлами, запускает процессы. Каждое задание имеет четкие начальные условия и скрипты для оценки, чтобы результаты можно было воспроизвести.


Такие высокие показатели - результат комбинации 3-х инноваций.

🟡Новая парадигма взаимодействия API-GUI.

Фреймворк объединяет GUI-взаимодействия с быстрыми и точными API-вызовами образуя систему, которая через LLM автоматически анализирует примеры задач, генерирует необходимый API-код для стандартных приложений Ubuntu и даже создает для него базовые тесты.
Таким образом, агент использует быстрые API там, где это возможно, и переключается на GUI для общих задач, что повышает и скорость, и надежность. Абляция показала, что переход от GUI-only к API-GUI поднимает средний показатель успеха с 11.2% до 26.2%.

🟡Масштабируемая распределенная RL-инфраструктура.

OSWorld крайне ресурсоемок, и запуск множества его экземпляров на одном узле это тот еще квест. Z.ai полностью переработали эту среду, используя qemu-in-docker для легковесного развертывания VM, gRPC для связи между узлами и полностью асинхронный фреймворк AgentRL. Это позволило создать кластер из тысяч параллельных виртуальных сред, к котором онлайн-обучение RL-агентов стало максимально эффективным.

🟡Стратегия обучения Entropulse.

Entropulse решает проблему коллапса энтропии, чередуя фазы RL с периодическими сессиями SFT. Во время RL-фазы собираются все успешные траектории, и на их основе формируется новый SFT-датасет. Затем модель дообучается на этом датасете, что позволяет восстановить её исследовательскую способность без потери производительности. После этого запускается вторая, более эффективная фаза RL.

Эта стратегия позволила AutoGLM-OS, построенному на базе 9B GLM-4, достичь финального результата в 48.1%, в то время как после первой RL-фазы показатель был 42.0%.


🟡Arxiv


@ai_machinelearning_big_data

#AI #ML #Agents #AutoGLM #Zai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6620🔥7💅3💘2